團(tuán)隊(duì)的共同一作林之秋（Zhiqiu Lin）是卡內(nèi)基梅隆大學(xué)的博士研究生，由Deva Ramanan教授指導(dǎo)，專注于視覺(jué)-語(yǔ)言大模型的自動(dòng)評(píng)估與優(yōu)化。團(tuán)隊(duì)的馬紫晛（Zixian Ma）是華盛頓大學(xué)的博士研究生，由Ranjay Krishna教授指導(dǎo)，專注于視覺(jué)-語(yǔ)言大模型的評(píng)測(cè)以及與人的交互。

在諸如 MME、MMBench、MMMU 和 ScienceQA 等復(fù)雜的視覺(jué)問(wèn)答（VQA）基準(zhǔn)上，GPT-4o、Qwen2-VL 等視覺(jué)語(yǔ)言模型已經(jīng)取得了顯著進(jìn)展。然而，這些模型真的理解自然圖像嗎？

近日，卡內(nèi)基梅隆大學(xué)與華盛頓大學(xué)的研究團(tuán)隊(duì)推出了 NaturalBench，這是一項(xiàng)發(fā)表于 NeurIPS'24 的以視覺(jué)為核心的 VQA 基準(zhǔn)。它通過(guò)自然圖像上的簡(jiǎn)單問(wèn)題——即自然對(duì)抗樣本（Natural Adversarial Samples）——對(duì)視覺(jué)語(yǔ)言模型發(fā)起嚴(yán)峻挑戰(zhàn)。

• ??論文鏈接: https://arxiv.org/abs/2410.14669
• ??網(wǎng)站: https://huggingface.co/datasets/BaiqiL/NaturalBench

視覺(jué)語(yǔ)言模型（VLMs），如 GPT-4o、BLIP-3、LLaVA-OneVision、Llama3.2-Vision、Molmo 和 Qwen2-VL，在 MMMU 和 MME 等復(fù)雜視覺(jué)問(wèn)答（VQA）基準(zhǔn)上表現(xiàn)出色。這些基準(zhǔn)涵蓋了大學(xué)課程、常識(shí)推理、圖表理解，以及數(shù)學(xué)、編程、物理和時(shí)序預(yù)測(cè)等任務(wù)。

然而，研究團(tuán)隊(duì)發(fā)現(xiàn)，這些模型在應(yīng)對(duì)自然圖像中的簡(jiǎn)單問(wèn)題時(shí)仍存在不足。下圖展示了人類能輕松解答的 VQA 示例，但即使是最先進(jìn)的模型也常會(huì)出錯(cuò)，研究團(tuán)隊(duì)將這些問(wèn)題稱為「自然對(duì)抗樣本」。

模型之所以能在以往流行的 VQA 基準(zhǔn)上表現(xiàn)出色，主要依賴于其過(guò)度的語(yǔ)言偏見（Language Bias）。為證明這一點(diǎn)，研究團(tuán)隊(duì)展示了六大基準(zhǔn)中的一些問(wèn)題，即使不查看圖像也能作答。

例如，模型可以通過(guò)語(yǔ)言先驗(yàn)（Language Prior）回答諸如「馬薩諸塞州的首府是什么？」（「波士頓」）和「圖片中有黑色長(zhǎng)頸鹿嗎？」（「否」）這樣的問(wèn)題，而無(wú)需依賴圖像信息。

為了解決這一問(wèn)題，NaturalBench 設(shè)計(jì)了配對(duì)任務(wù)，將兩幅圖片與兩個(gè)相反答案的問(wèn)題匹配，以避免模型可以憑「盲猜」僥幸答對(duì)。

NaturalBench 數(shù)據(jù)集收集過(guò)程

NaturalBench 通過(guò)一個(gè)簡(jiǎn)單的流程從 Flickr30K 等圖文數(shù)據(jù)集中構(gòu)建，具體步驟如下：

1. 找出 CLIP 無(wú)法正確匹配的圖文對(duì)。

2. 使用 ChatGPT 為每個(gè)圖文對(duì)生成相反答案的問(wèn)題。

通過(guò)避免對(duì)圖像或問(wèn)題進(jìn)行非自然干擾，NaturalBench 生成了自然的對(duì)抗樣本。這些樣本基于自然圖像提出的問(wèn)題，人類可以輕松理解并回答，但對(duì)模型來(lái)說(shuō)卻極具挑戰(zhàn)性。

通過(guò)該流程及人工質(zhì)檢，研究團(tuán)隊(duì)最終收集了 10,000 個(gè)高質(zhì)量 VQA 樣本，用于可靠評(píng)估視覺(jué)語(yǔ)言模型。

NaturalBench 實(shí)驗(yàn)結(jié)果

基于 NaturalBench 中「兩張圖片 + 兩個(gè)問(wèn)題」配對(duì)的格式，研究團(tuán)隊(duì)提出了更可靠的視覺(jué)為中心評(píng)估指標(biāo) ——Group Accuracy (G-Acc)。只有當(dāng)模型正確回答一個(gè)樣本中的所有四個(gè)（圖片、問(wèn)題）組合時(shí)，才能得一分。

研究人員發(fā)現(xiàn)了以下重要的實(shí)驗(yàn)結(jié)論：

1、先前的 VQA 基準(zhǔn)存在盲猜問(wèn)題：流行的 VQA 基準(zhǔn)，（如 MME 和 ScienceQA）可以通過(guò)微調(diào)不具視覺(jué)能力的 GPT-3.5 來(lái)解決，其表現(xiàn)甚至超過(guò)了經(jīng)過(guò)視覺(jué)微調(diào)的 LLaVA-1.5。然而，在 NaturalBench 上，這種「盲猜」模型只能得到零分！

這表明，當(dāng)前的視覺(jué)語(yǔ)言模型可能在視覺(jué)問(wèn)答任務(wù)上依賴強(qiáng)大的語(yǔ)言盲猜能力「渾水摸魚」。

2、當(dāng)前開源模型的表現(xiàn)有限：研究團(tuán)隊(duì)對(duì) 53 個(gè)視覺(jué)語(yǔ)言模型進(jìn)行了測(cè)試，結(jié)果顯示，大多數(shù)開源模型（如 BLIP-3、Cambrian-1、LLaVA-OneVision、Llama3.2-Vision、Molmo 和 Qwen2-VL）的得分僅比隨機(jī)水平高 10%-20%。即使是經(jīng)過(guò)視覺(jué)微調(diào)的 GPT-4o，其表現(xiàn)仍比人類低 50%。

這表明，目前的視覺(jué)語(yǔ)言模型在自然圖像的視覺(jué)理解能力上還有巨大提升空間。

NaturalBench 實(shí)驗(yàn)討論

研究人員對(duì)提升視覺(jué)語(yǔ)言模型的方向進(jìn)行了探討，并發(fā)現(xiàn)兩個(gè)重點(diǎn)：

1、讓大模型不再「盲選」：大多數(shù)模型失敗的關(guān)鍵在于，無(wú)論圖像內(nèi)容如何，它們總是盲目選擇相同的選項(xiàng)。在 GPT-4o 出錯(cuò)的問(wèn)題中，超過(guò) 80% 是因?yàn)槟Ｐ驮谌魏螆D像下都選擇了同一答案（如「是」）。研究人員發(fā)現(xiàn)，糾正這一傾向后，模型性能可提升兩到三倍！

研究團(tuán)隊(duì)采用了一種基于評(píng)分的評(píng)估方式（VQAScore），通過(guò)調(diào)整同一問(wèn)題下兩個(gè)不同選項(xiàng)的得分差，確保模型在回答「是」和「否」時(shí)的比例保持一致。僅憑這一簡(jiǎn)單調(diào)整，像 GPT-4o 這樣的強(qiáng)大模型的表現(xiàn)幾乎翻了兩倍！

這意味著 NaturalBench 可以作為一個(gè)糾正模型偏見的基準(zhǔn)，幫助減少模型的盲猜行為和幻覺(jué)問(wèn)題。

2、大模型仍需提升組合性思維（compositional reasoning）能力：NaturalBench 的大部分問(wèn)題要求模型同時(shí)具備多種視覺(jué)技能（compositional reasoning），包括對(duì)象（object）、屬性（attribute）、關(guān)系（relation）和邏輯（logic）等維度。

為此，研究團(tuán)隊(duì)為 NaturalBench 中的每個(gè)問(wèn)題標(biāo)注了 1 到 8 個(gè)技能標(biāo)簽，對(duì)組合推理能力進(jìn)行了細(xì)致評(píng)估。結(jié)果表明，即便是 GPT-4o，在空間關(guān)系、邏輯推理等方面仍有顯著的提升空間。

NaturalBench 對(duì)動(dòng)態(tài)評(píng)測(cè)（Dynamic Evaluation）的意義

傳統(tǒng)機(jī)器學(xué)習(xí)模型在靜態(tài)基準(zhǔn)上追平人類表現(xiàn)通常需要多年，例如 MNIST 用了 15 年，ImageNet 用了 7 年。然而，由于當(dāng)前大模型大量使用互聯(lián)網(wǎng)數(shù)據(jù)，數(shù)據(jù)集泄露使新基準(zhǔn)在數(shù)月內(nèi)就可能過(guò)時(shí)。因此，近期研究提倡動(dòng)態(tài)評(píng)估（Dynamic Evaluation），常見的方法是通過(guò)人機(jī)協(xié)作（human-and-model-in-the-loop）收集對(duì)抗樣本。

例如，Adversarial NLI 和 Dynabench 要求標(biāo)注者不斷設(shè)計(jì)難題使模型出錯(cuò)，而 Adversarial VQA 讓標(biāo)注者為圖片反復(fù)生成問(wèn)題，直到模型失敗。

相比之下，NaturalBench 不針對(duì)特定 VQA 模型，且只需標(biāo)注者一次性驗(yàn)證，大大提高了動(dòng)態(tài)基準(zhǔn)構(gòu)建的效率。研究團(tuán)隊(duì)還使用先進(jìn)的 LongCLIP 等模型，從 DOCCI 和 XM3600 數(shù)據(jù)集中收集了更復(fù)雜且多語(yǔ)種的 VQA 樣本，證明了 NaturalBench 在未來(lái)大模型的動(dòng)態(tài)評(píng)估中具有廣泛的適用性。

最后，NaturalBench 數(shù)據(jù)集已經(jīng)開源：https://huggingface.co/datasets/BaiqiL/NaturalBench/ 

期待未來(lái)更加強(qiáng)大的視覺(jué)語(yǔ)言模型問(wèn)世！