還不如人類五歲小孩，難度為零的視覺測試，GPT-4o卻挑戰(zhàn)失敗了

小大

用微信掃描二維碼
分享至好友和朋友圈

關鍵詞：

2024-07-15 15:15:33 學術頭條

近期的研究探討了GPT-4o、Claude 3.5 Sonnet等視覺語言模型（VLM）在圖像理解方面的能力。盡管這些先進的模型在處理人類行為識別、物品識別等復雜場景時表現(xiàn)出色，但在一系列基礎視覺任務上的表現(xiàn)卻差強人意。研究通過7項涉及基本幾何形狀的任務測試發(fā)現(xiàn)，這些VLM的平均準確率僅有56.2%，顯示出它們更像是基于線索推測而非真正“觀看”。相關論文以“Vision language models are blind”為標題，已在arXiv網站發(fā)布。

研究中，即便是辨認線條交叉點數(shù)量、圓圈是否重疊這類對人類來說極為直觀的任務，VLM的完成度也并不理想。比如，在識別交叉線數(shù)量時，最高準確率不過77.33%，且隨著線條間距縮小，其性能下滑。同樣，判斷圓圈重疊時，沒有模型能達到完美，且圓圈間距減小時，錯誤率增加，表明VLM在捕捉細微差異上存在困難。

此外，VLM在識別被圈定字母、重疊形狀數(shù)量等任務上的表現(xiàn)亦暴露出不足。它們雖然能夠正確拼寫被圈字母所在的單詞，卻難以準確指出被圈的究竟是哪個字母，有時還會錯誤地生成不存在的字符。在計數(shù)重疊或嵌套的幾何圖形時，模型往往依賴訓練數(shù)據(jù)中的常見模式（如奧運五環(huán)標志）進行猜測，導致準確性受限。

值得注意的是，VLM在識別網格的行列數(shù)以及計算單色路徑數(shù)量的任務上也面臨挑戰(zhàn)，僅在加入輔助信息（如網格內填充文本）后，其表現(xiàn)才有所提升，但仍遠未達到完美。這暗示著VLM在無文本輔助的純粹視覺推理上存在局限。

研究者認為，當前VLM采用的晚期融合方法可能是其視覺理解能力受限的關鍵因素，未來的研究或許應探索早期融合策略，即在模型處理的更早階段結合視覺和語言信息，以期提升其圖像理解的精準度。此外，針對特定任務對模型進行微調也被視為一個潛在的研究方向，旨在培養(yǎng)出在視覺理解上更為高效的VLM。

還不如人類五歲小孩，難度為零的視覺測試，GPT-4o卻挑戰(zhàn)失敗了。

(責任編輯：盧其龍 CN070)

關閉

還不如人類五歲小孩，難度為零的視覺測試，GPT-4o卻挑戰(zhàn)失敗了

相關新聞

今日熱點

頻道熱點

還不如人類五歲小孩，難度為零的視覺測試，GPT-4o卻挑戰(zhàn)失敗了