GPT-4o再次掀起多模態(tài)大模型的浪潮。

如果他們能以近似人類的熟練程度，在不同領(lǐng)域執(zhí)行廣泛的任務(wù)，這對(duì)許多領(lǐng)域帶來革命性進(jìn)展。

因而，構(gòu)建一個(gè)全面的評(píng)估基準(zhǔn)測試就顯得格外重要。然而評(píng)估大型視覺語言模型能力的進(jìn)程顯著落后于它們自身的發(fā)展。

來自上海AI Lab、香港大學(xué)、上海交大、浙江大學(xué)等多家機(jī)構(gòu)提出了 MMT-Bench。

圖片

這是一個(gè)全方位的多模態(tài)基準(zhǔn)測試，旨在全面評(píng)估大型視覺語言模型（LVLMs）在多模態(tài)多任務(wù)理解方面的表現(xiàn)。

研究團(tuán)隊(duì)還對(duì)當(dāng)前幾個(gè)代表的視覺大模型進(jìn)行了能力評(píng)估，結(jié)果發(fā)現(xiàn)感知錯(cuò)誤、推理錯(cuò)誤是所有模型最常見的兩大錯(cuò)誤。

多模態(tài)多任務(wù)AGI基準(zhǔn)測試MMT-Bench

MMT-Bench的廣度體現(xiàn)在三個(gè)方面。

圖片

首先，MMT-Bench數(shù)據(jù)經(jīng)過精心設(shè)計(jì)，包含32K個(gè)多選視覺語言問題，涵蓋了32個(gè)核心元任務(wù)和162個(gè)子任務(wù)，這比此前的評(píng)測數(shù)據(jù)集MMBench大8.1倍。

其次，MMT-Bench包含了13種圖像類型，如自然場景、合成圖像、深度圖、富文本圖像、繪畫、屏幕截圖、點(diǎn)云、醫(yī)學(xué)圖像等。這樣的圖片多樣性要求模型能夠解釋理解各種視覺輸入。

第三，MMT-Bench涵蓋了多種多模態(tài)情景，如車輛駕駛、GUI導(dǎo)航和具身AI，測試了14種多模態(tài)能力，包括視覺識(shí)別、定位、推理、OCR、計(jì)數(shù)、3D感知、時(shí)間理解等。

構(gòu)建評(píng)測任務(wù) 。

MMT-Bench的評(píng)測任務(wù)在構(gòu)建時(shí)旨在包含盡可能多的多模態(tài)任務(wù)。為此，研究人員首先提出多模態(tài)理解的元任務(wù)。然后，通過去重和篩選重要任務(wù)總結(jié)出32個(gè)元任務(wù)。

接著，將每個(gè)元任務(wù)分解為幾個(gè)子任務(wù)。子任務(wù)是否被保留在MMT-Bench中，需要滿足三個(gè)標(biāo)準(zhǔn)：

• 1、子任務(wù)是否檢驗(yàn)了基本的多模態(tài)能力；
• 2、子任務(wù)對(duì)當(dāng)前的大型視覺語言模型（LVLMs）是否具備挑戰(zhàn)性；
• 3、子任務(wù)的測試樣本是否可以公開獲取。

經(jīng)過選擇，MMT-Bench共包含了162個(gè)子任務(wù)，這比之前任務(wù)最多的評(píng)測集TinyLVLM-eHub大3.8倍。

MMT-Bench與此前評(píng)測數(shù)據(jù)的詳細(xì)比較如下表所示。

圖片

數(shù)據(jù)收集。

圖片

MMT-Bench的研究人員設(shè)計(jì)了一個(gè)高效的數(shù)據(jù)收集流程，以構(gòu)建每個(gè)子任務(wù)的多選視覺語言問題評(píng)估數(shù)據(jù)。

首先，他們通過Google、Paper With Code、Kaggle和ChatGPT等多種數(shù)據(jù)來源，根據(jù)子任務(wù)的名稱全面搜索相關(guān)數(shù)據(jù)集。下載數(shù)據(jù)集后，再細(xì)致地評(píng)估它們是否適合評(píng)估子任務(wù)，確保數(shù)據(jù)集的可用性和相關(guān)性。

接著，研究人員定義了一種統(tǒng)一的元數(shù)據(jù)格式，用于整理下載的數(shù)據(jù)集。每個(gè)元數(shù)據(jù)樣本包括圖像和元信息，其中元信息包括生成評(píng)測問題和答案所需的必要信息，以及所需推理能力的標(biāo)注信息和視覺圖片的類型。

為了提高評(píng)估效率，在每個(gè)任務(wù)中，研究人員通過隨機(jī)抽樣將樣本數(shù)量最大限制為200，并且每個(gè)數(shù)據(jù)集包含相同數(shù)量的樣本。

最后，對(duì)于每個(gè)子任務(wù)，研究人員從它們的元數(shù)據(jù)中生成多選視覺語言問題及其選項(xiàng)和答案。具體來說，根據(jù)特定任務(wù)，研究人員或手動(dòng)設(shè)計(jì)規(guī)則，或使用ChatGPT來進(jìn)行高質(zhì)量的QA生成。

例如，在基于草圖進(jìn)行圖像檢索的任務(wù)中，使用對(duì)應(yīng)的圖像作為正確答案，并從元數(shù)據(jù)中隨機(jī)抽取其他圖像來生成錯(cuò)誤選項(xiàng)。而在生成視頻描述的任務(wù)中，則使用ChatGPT編寫容易混淆的錯(cuò)誤選項(xiàng)。

綜上，MMT-Bench共包含31,325個(gè)精心設(shè)計(jì)的多選問題，涵蓋13種輸入圖像類型，如自然場景、合成圖像、富文本圖像、醫(yī)學(xué)圖像等，覆蓋32個(gè)核心元任務(wù)和162個(gè)子任務(wù)，用于多任務(wù)多模態(tài)理解。

與之前的LVLMs基準(zhǔn)測試相比，MMT-Bench中的問題涵蓋了多種多模態(tài)場景，如GUI導(dǎo)航和文檔理解，測試了包括視覺識(shí)別、定位、推理、OCR、計(jì)數(shù)、3D感知、時(shí)間理解等14種能力。這些特點(diǎn)確保MMT-Bench滿足評(píng)估多任務(wù)AGI的任務(wù)廣度要求。

評(píng)測結(jié)果

研究人員基于MMT-Bench對(duì)30種公開可用的大型視覺語言模型（LVLMs）進(jìn)行了綜合評(píng)估。

結(jié)果顯示MMT-Bench的基準(zhǔn)測試給現(xiàn)有的LVLMs帶來了重大挑戰(zhàn)，即使是InternVL-Chat、GPT-4o和GeminiProVision等先進(jìn)模型，其準(zhǔn)確率也僅分別為63.4%、65.5%和61.6%。

圖片

綜合而言，閉源的專有模型GPT-4o目前在MMT-Bench中取得了領(lǐng)先地位，超過了InternVL-chat、QWen-VL-Plus、GPT-4V和GeminiProVision等其他模型。

值得注意的是，開源模型InternVL-chat和QwenVL-Max正緊隨GPT-4o之后，這為未來開源社區(qū)模型能與閉源專有模型競爭甚至超越它們的前景增添了信心。

圖片

在所有元任務(wù)的評(píng)測結(jié)果中，研究人員還發(fā)現(xiàn)：

1）大多數(shù)大型視覺語言模型在視覺識(shí)別（Visual Recognition）和視覺描述（Visual Captioning）任務(wù)中表現(xiàn)出色，凸顯了LVLMs在識(shí)別“物體是什么”和描述圖像中展示內(nèi)容的能力。然而，對(duì)于精細(xì)感知任務(wù)（如定位、像素級(jí)感知等）或復(fù)雜推理任務(wù)（如圖像評(píng)測判斷），大多數(shù)LVLMs仍表現(xiàn)較差。

2）對(duì)于LLaVA-v1.5和LLaVA-v1.5-Xtuner，隨著模型大小的增加（從7B增加到13B），其性能顯著提高，而從InternLM升級(jí)到InternLM2也提高了LLaVA的性能。這表明即便保持訓(xùn)練數(shù)據(jù)和視覺編碼器保持不變，采用更大或改進(jìn)的LLMs也能夠提升多任務(wù)性能。

3）BLIP2即使沒有經(jīng)過指令調(diào)整，也在性能上超過了大多數(shù)經(jīng)過數(shù)百萬指令數(shù)據(jù)調(diào)整的LVLMs，這表明在某些任務(wù)中使用指令調(diào)整的數(shù)據(jù)甚至可能損害其他任務(wù)的泛化能力。

任務(wù)地圖。

得益于MMT-Bench中任務(wù)的廣泛覆蓋，研究人員可以在任務(wù)地圖上評(píng)估LVLMs的多模態(tài)性能。

通過分析任務(wù)地圖中任務(wù)之間的關(guān)系，可以系統(tǒng)地解釋不同任務(wù)在多模態(tài)能力中的作用?；谌蝿?wù)地圖，研究人員發(fā)現(xiàn)LVLMs在彼此相近的任務(wù)上獲得更一致的性能排名。此外，任務(wù)地圖還可以用來發(fā)現(xiàn)領(lǐng)域外（OoD）任務(wù)和領(lǐng)域內(nèi)任務(wù)。

圖片

錯(cuò)誤分析。

為了分析LVLMs在MMT-Bench上的錯(cuò)誤分布，研究人員檢查了三個(gè)LVLMs：GPT-4V、GeminiProVision和InternVL-Chat-V1.2（簡稱InternVL）。

圖片

結(jié)果發(fā)現(xiàn)，感知錯(cuò)誤（Perception Error）是所有模型中最常見的錯(cuò)誤類型。

其中GPT-4V的感知錯(cuò)誤率顯著低于GeminiProVision（76.9%）和InternVL（67.2%），表明其在感知任務(wù)中的表現(xiàn)優(yōu)越。

推理錯(cuò)誤是第二常見的錯(cuò)誤類型，其中InternVL的推理錯(cuò)誤率最高（14.8%），其次是GeminiProVision（10.4%）和GPT-4V（9.94%），這凸顯了所有模型在復(fù)雜推理任務(wù)中所面臨的挑戰(zhàn)。

圖片

圖片

最后簡單一下，MMT-Bench是一個(gè)旨在評(píng)估LVLMs在多模態(tài)多任務(wù)理解方面的一個(gè)綜合性基準(zhǔn)測試。MMT-Bench的廣度體現(xiàn)在其精心構(gòu)建的包含31325個(gè)多選問題的數(shù)據(jù)上，這些問題涵蓋了162個(gè)多模態(tài)任務(wù)。

評(píng)估結(jié)果揭示了當(dāng)前LVLMs仍面臨由MMT-Bench所帶來的重大挑戰(zhàn)。MMT-Bench的目標(biāo)是衡量LVLMs在多任務(wù)AGI路徑上的進(jìn)展，并在未來將繼續(xù)擴(kuò)展其所涵蓋的任務(wù)集。研究人員相信，MMT-Bench將進(jìn)一步激發(fā)LVLMs的研究和開發(fā)，使得人們能夠更接近實(shí)現(xiàn)真正智能的多模態(tài)系統(tǒng)。

論文地址：
https://arxiv.org/abs/2404.16006項(xiàng)目主頁地址：
https://mmt-bench.github.io/代碼地址：
https://github.com/OpenGVLab/MMT-Bench數(shù)據(jù)集地址：
https://huggingface.co/datasets/Kaining/MMT-Bench