多模態(tài)大語言模型（Multimodal Large Language Model，MLLM）依賴于LLM豐富的知識儲備以及強大的推理和泛化能力來解決多模態(tài)問題，目前已經(jīng)涌現(xiàn)出一些令人驚嘆的能力，比如看圖寫作和看圖寫代碼。

但僅根據(jù)這些樣例很難充分反映MLLM的性能，目前仍然缺乏對MLLM的全面評測。

為此，騰訊優(yōu)圖實驗室聯(lián)合廈門大學(xué)在新建的評測基準(zhǔn)MM上首次對現(xiàn)有12種開源MLLM模型進(jìn)行了全面定量評測并公布了16個排行榜，包含感知和認(rèn)知兩個總榜以及14個子榜單：

論文鏈接：https://arxiv.org/pdf/2306.13394.pdf

項目鏈接：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Evaluation

現(xiàn)有MLLM的定量評測方法主要分為三類，但都存在一定的局限導(dǎo)致難以全面反映其性能。

第一類方法在傳統(tǒng)的公開數(shù)據(jù)集上進(jìn)行評測，例如圖像描述（Image Caption）和視覺問答（VQA）數(shù)據(jù)集。

但一方面這些傳統(tǒng)數(shù)據(jù)集可能難以反映MLLM涌現(xiàn)的新能力，另一方面由于大模型時代的訓(xùn)練集都不再統(tǒng)一，因此難以保證這些評測數(shù)據(jù)集沒有被其他MLLM訓(xùn)練過。

第二種方式是收集新的數(shù)據(jù)進(jìn)行開放式評測，但這些數(shù)據(jù)要么未公開[1]，要么數(shù)量太少（僅有50張）[2]。

第三種方式聚焦于MLLM的某個特定方面，比如物體幻覺（Object Hallucination）[3]或者對抗魯棒性[4]，無法做全面評測。

目前亟需一個全面的評測基準(zhǔn)來匹配MLLM的快速發(fā)展。研究人員認(rèn)為一個通用的全面評測基準(zhǔn)應(yīng)該具有以下特點：

（1）應(yīng)該覆蓋盡可能多的范圍，包括感知和認(rèn)知能力。前者指的是識別物體，包括其存在性、數(shù)量、位置和顏色等。后者指的是綜合感知信息以及LLM中的知識來進(jìn)行更復(fù)雜的推理。其中前者是后者的基礎(chǔ)。

（2）數(shù)據(jù)或者標(biāo)注應(yīng)該盡可能避免采用已有的公開數(shù)據(jù)集，以減少數(shù)據(jù)泄露的風(fēng)險。

（3）指令應(yīng)該盡可能簡潔并且符合人類的認(rèn)知習(xí)慣。不同的指令設(shè)計可能會極大影響模型的輸出，但所有的模型都在統(tǒng)一的簡潔指令下進(jìn)行評測可以保證公平性。一個好的MLLM模型應(yīng)該具備泛化到這種簡潔指令上的能力，避免陷入Prompt Engineering。

（4）MLLM在該簡潔指令下的輸出應(yīng)該是直觀的并且便于定量統(tǒng)計。MLLM開放式的回答給量化統(tǒng)計提出了很大挑戰(zhàn)?，F(xiàn)有方法傾向于使用GPT或者人工打分，但可能面臨著不準(zhǔn)確和主觀性的問題。

圖1. MME評測基準(zhǔn)示例。每張圖片對應(yīng)兩個問題，答案分別為Yes[Y]和No[N]。問題加上「Please answer yes or no」共同構(gòu)成指令。

基于以上原因，一個新的MLLM評測基準(zhǔn)MME被構(gòu)建出來，它同時具備以上四個特點：

1. MME同時評測感知和認(rèn)知能力。除了OCR外，感知能力還包括粗粒度和細(xì)粒度目標(biāo)識別。前者識別物體的存在性、數(shù)量、位置和顏色。后者識別電影海報、名人、場景、地標(biāo)和藝術(shù)品。認(rèn)知能力包括常識推理、數(shù)值計算、文本翻譯和代碼推理。總的子任務(wù)數(shù)達(dá)到14種，如圖1所示。

2. MME中所有的指令-答案對都是人工構(gòu)建的。對于少量使用到的公開數(shù)據(jù)集，僅使用其圖像而沒有依賴其原始標(biāo)注。同時，研究人員也盡力通過人工拍攝和圖像生成的方式來采集數(shù)據(jù)。

3. MME的指令被設(shè)計得盡量簡潔以避免Prompt Engineering對模型輸出的影響。研究人員再次申明一個好的MLLM應(yīng)該泛化到這種簡潔且使用頻繁的指令，這對所有模型都是公平的。圖1中顯示了每個子任務(wù)的指令。

4. 得益于指令設(shè)計「Please answer yes or no」，可以方便地根據(jù)模型輸出的「Yes」或「No」進(jìn)行定量統(tǒng)計，這種方式可以同時保證準(zhǔn)確性和客觀性。值得注意的是，研究人員也嘗試過設(shè)計選擇題的指令，但發(fā)現(xiàn)當(dāng)前的MLLM還難以跟隨這類較為復(fù)雜的指令。

研究人員一共評測了12種先進(jìn)的MLLM模型，包括BLIP-2 [5]、LLaVA [6]、MiniGPT-4 [7]、 mPLUG-Owl [2]、LLaMA-Adapter-v2 [8]、Otter [9]、Multimodal-GPT [10]、InstructBLIP [11]、 VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] 和 LaVIN [15]。

其中，統(tǒng)計指標(biāo)有三種，包括Accuracy，Accuracy+和Score。其中對于每個任務(wù)，Accuracy是基于問題統(tǒng)計而來，Accuracy+是基于圖片統(tǒng)計而來（圖片對應(yīng)的兩個問題都需要回答正確），Score是Accuracy和Accuracy+的和。

感知的總分為10種感知類子任務(wù)Score的總和，認(rèn)知的總分是4種認(rèn)知類任務(wù)Score的總和。具體詳見項目鏈接。

12種模型在14種子任務(wù)上的測試比較如圖2所示：

圖2. 12種模型在14種子任務(wù)上的比較。每種子任務(wù)的滿分為200分。

一共16個榜單，包括感知類和認(rèn)知類的總榜單以及14個子任務(wù)的榜單也已發(fā)布。兩個總榜單分別如圖3和圖4所示，值得注意的是BLIP-2和InstructBLIP在這兩個榜單中都保持在前三。

圖片

圖3.感知類任務(wù)總榜單

圖4.認(rèn)知類任務(wù)總榜單

圖5.所有榜單

另外研究人員也總結(jié)了MLLM模型在實驗中暴露的一些通用問題，如圖6所示，希望可以為后續(xù)的模型優(yōu)化提供指導(dǎo)。

圖片

圖6. MLLM暴露的通用問題。[Y]/[N]表示真實的答案是Yes/No。[R]是MLLM生成的答案。

第一個問題是不跟隨指令。

盡管已經(jīng)采用了非常簡潔的指令設(shè)計，但仍然有MLLM自由回答問題而不是跟隨指令。

如圖6中的第一行所示，指令已經(jīng)申明「Please answer yes or no」，但MLLM僅給出了一個陳述性回答。如果在回答的開頭沒有出現(xiàn)「Yes」或者「No」，都判定該回答錯誤。一個好的MLLM，尤其是經(jīng)過指令微調(diào)后，應(yīng)該能夠泛化到這種簡單的指令上。

第二個問題是缺乏感知能力。

如圖6中的第二行所示，MLLM錯誤地識別了第一張圖片中香蕉的數(shù)量和第二張圖片中的數(shù)字，導(dǎo)致回答錯誤。研究人員也注意到感知的性能很容易受到指令變化的影響，因為同一張圖的兩個指令只相差一個單詞，但導(dǎo)致了完全不同的感知結(jié)果。

第三個問題是缺乏推理能力。

如圖6中的第三行所示，從紅色的文字可以看出MLLM已經(jīng)知道了第一張圖片不是一個辦公場所，但仍然給出了一個錯誤的回答「Yes」。

相似地，在第二張圖片中，MLLM已經(jīng)計算得到了正確的算數(shù)結(jié)果，但最終也給出了錯誤的答案。添加思維鏈Prompt，例如「Let’s think step by step」也許能帶來更好的效果。期待這方面有更深入的研究。

第四個問題跟隨指令的物體幻視。如圖6中的第四行所示，當(dāng)指令中含有圖片中不存在的物體時，MLLM將會幻想該物體存在并最終給出一個「Yes」的回答。

這種總是回答「Yes」的方式導(dǎo)致了Accuracy接近于50%，Accuracy+接近于0。這表明抑制目標(biāo)幻視的重要性，并且也需要進(jìn)一步思考MLLM生成的答案的可靠性。