難度大升級的多任務長視頻理解評測基準MLVU來了！

由智源聯(lián)合北郵、北大和浙大等多所高校推出。

究竟有多難呢？最終排名第一的GPT-4o單選正確率還不足65%。

而且研究發(fā)現(xiàn)，大部分模型的性能都會隨著視頻時長增加顯著下降。

研究進一步證明，提升上下文窗口，提升圖像理解能力，以及使用更強大的LLM Backbone對長視頻理解的性能具有顯著的提升作用。

目前相關(guān)論文及數(shù)據(jù)集已公開，具體細節(jié)下面一起看看吧~

MLVU的構(gòu)建過程

當前流行的Video Benchmark主要針對短視頻設(shè)計，大部分視頻的長度都在1分鐘以內(nèi)。

且現(xiàn)有評測基準往往專注在特定領(lǐng)域的視頻（例如電影、第一視角）和特定的視頻評測任務（例如Captioning，Temporal Perception，Action Understanding）。

此外，現(xiàn)有部分長視頻理解評測任務往往只和局部幀有關(guān)，或者針對經(jīng)典電影進行問答，這導致MLLMs可以直接憑借text prompt正確回答而無需對視頻進行分析。

針對以上不足，新基準MLVU從以下3個層面進行構(gòu)建：

時長和來源更豐富

MLVU的視頻時長覆蓋了3分鐘到超過2小時，平均視頻時長12分鐘，極大擴展了當前流行的Video Benchmark的時長范圍。

另外，MLVU的大部分任務標注過程中進行了片段-問題對應標注。

例如，Video Summarization任務分段標注了視頻的前3分鐘，前6分鐘……

這意味著，MLLMs可以靈活地在MLVU上選擇測試不同時長情況下的長視頻理解能力。

同時，MLVU收集了包括電影、電視劇、紀錄片、卡通動畫片、監(jiān)控視頻、第一視角視頻和游戲視頻等多個類型的長視頻，覆蓋了長視頻理解的多個領(lǐng)域范圍。

任務類別更全面

團隊針對長視頻理解設(shè)計了9類不同的任務，并進一步將任務分為三類：全面理解、單細節(jié)理解、多細節(jié)理解。

• 全面理解任務：要求MLLMs理解和利用視頻的全局信息來解決問題
• 單細節(jié)理解任務：要求MLLMs根據(jù)問題定位長視頻中的某一細節(jié)，并利用該細節(jié)來解決問題
• 多細節(jié)理解任務：要去MLLMs定位和理解長視頻中的多個相關(guān)片段來完成和解決問題

此外，還包括了單項選擇題和開放生成式問題，全面考察MLLMs在不同場景下的長視頻理解能力。

以下為9大任務的示例：

問題設(shè)置與答案標注更合理

為了突出新舊基準變化，直接以情節(jié)問答（Plot Question Answering）任務為例。

假如以電影、電視的角色作為問題線索來對MLLMs進行提問，舊基準的常見問題有兩種。

一是挑“經(jīng)典”下手，這導致MLLMs在沒有對視頻進行分析的情況下，直接使用了自有知識回答問題。

另一部分試圖避免這個問題，但由于長視頻的復雜性，僅僅利用代詞和描述性語句來指代情節(jié)細節(jié)非常困難。

他們的問題非常寬泛或者需要在問題中額外指定具體的時間片段而不是讓MLLMs自己根據(jù)題目尋找對應細節(jié)。

MLVU通過精細的人工標注克服了這些問題。

在所有的情節(jié)問答任務中，MLVU均使用“具有詳細細節(jié)的代詞”來指代情節(jié)中的人物、事件或背景，避免了問題泄露帶來的潛在影響，MLLMs需要根據(jù)問題提供的線索識別和定位相關(guān)片段才能進一步解決問題。

此外，MLVU的Plot QA問題具備豐富的多樣性，增強了評測的合理性和可靠性。

模型在MLVU上的表現(xiàn)

團隊在MLVU上對20個流行的MLLM進行了評測，包括開源模型和閉源模型。

實驗結(jié)果表明，盡管GPT-4o在所有任務中均取得了第1名，但它的單選平均準確率只有64.6%。

且所有模型都在需要細粒度理解能力的任務上（單細節(jié)、多細節(jié)理解任務）表現(xiàn)糟糕。

此外，大部分模型的性能都會隨著視頻時長增加顯著下降。

另一明顯結(jié)論是，開源模型和閉源模型之間存在較大的差距。

開源模型中單項選擇題性能最強的InternVL-1.5單選平均準確度僅有50.4%；開放生成式題目最強的LLaMA-Vid得分僅有4.22，均遠遠落后于GPT-4o的64.6%和5.80。

不過研究發(fā)現(xiàn)，提升上下文窗口，提升MLLM的圖像理解能力，以及使用更強大的LLM Backbone對長視頻理解的性能具有顯著的提升作用。

這揭示了未來MLLMs在提升長視頻理解能力的重要改進方向。

論文：https://arxiv.org/abs/2406.04264

項目鏈接：https://github.com/JUNJIE99/MLVU