OpenAI和谷歌接連兩場(chǎng)發(fā)布會(huì)，把AI視頻推理卷到新高度。

但業(yè)界還缺少可以全面評(píng)估大模型視頻推理能力的基準(zhǔn)。

終于，多模態(tài)大模型視頻分析綜合評(píng)估基準(zhǔn)Video-MME，全面評(píng)估多模態(tài)大模型的綜合視頻理解能力，填補(bǔ)了這一領(lǐng)域的空白。

Gemini 1.5 Pro在這份榜單中遙遙領(lǐng)先，顯示出在視頻理解領(lǐng)域的“霸主”地位。Video-MME一經(jīng)推出，被谷歌首席科學(xué)家Jeff Dean連續(xù)轉(zhuǎn)發(fā)了三次。

GPT-4o、谷歌Gemini 1.5 Pro標(biāo)榜的視頻推理能力終于在全新的、更復(fù)雜的多模態(tài)基準(zhǔn)Video-MME上首次得到了驗(yàn)證。

同時(shí)，各大公司以及研究機(jī)構(gòu)，例如NVIDIA、ByteDance等模型也加入了混戰(zhàn)。

Video-MME由中科大、廈大、港中文等高校聯(lián)合推出，代碼和數(shù)據(jù)集均已開源。

全人工標(biāo)注高質(zhì)量數(shù)據(jù)集

該基準(zhǔn)采取全人工標(biāo)注，具有區(qū)別于現(xiàn)有數(shù)據(jù)集的顯著特點(diǎn)。在以下的例子中，準(zhǔn)確回答該問(wèn)題需要同時(shí)從視覺、字幕以及音頻中同時(shí)獲取信息，有效信息直接橫跨30分鐘的間隔：

Video-MME具有以下顯著特點(diǎn)：

時(shí)間維度的廣泛性：視頻時(shí)長(zhǎng)從11秒到1小時(shí)不等，涵蓋短（<2分鐘）、中（4-15分鐘）、長(zhǎng)（30-60分鐘）三種不同的視頻時(shí)長(zhǎng)，全面評(píng)估模型在不同時(shí)間跨度下的上下文多模態(tài)理解能力；

數(shù)據(jù)模態(tài)的豐富性：除了視頻幀，Video-MME還整合了字幕和音頻模態(tài)輸入，全面評(píng)估大模型的多模態(tài)處理能力；

視頻類型的多樣性：覆蓋了知識(shí)、影視、體育、藝術(shù)、生活記錄和多語(yǔ)言6個(gè)主要領(lǐng)域，涉及30個(gè)細(xì)粒度子領(lǐng)域；

注釋質(zhì)量的高標(biāo)準(zhǔn)：900個(gè)視頻，共254小時(shí)的內(nèi)容由具備大模型背景的專業(yè)人員手動(dòng)標(biāo)注與驗(yàn)證，產(chǎn)生了2,700個(gè)問(wèn)答對(duì)。問(wèn)題類型涵蓋感知、認(rèn)知和總結(jié)概括等12種類型；

可靠的有效時(shí)長(zhǎng) （Certificate Length準(zhǔn)確回答問(wèn)題所需的最短時(shí)長(zhǎng)）：對(duì)于短視頻、中視頻和長(zhǎng)視頻，Video-MME數(shù)據(jù)集的有效時(shí)長(zhǎng)中位數(shù)分別為26.0秒、164.7秒和890.7秒，要求模型消化更長(zhǎng)的視頻內(nèi)容才能回答問(wèn)題；

全面的實(shí)驗(yàn)評(píng)估：文章選取了6種代表性的開源視頻語(yǔ)言模型以及閉源模型Gemini 1.5 Pro和GPT-4V/o進(jìn)行全面的實(shí)驗(yàn)分析。同時(shí)文章還選取了基于圖片的多模態(tài)大模型進(jìn)行評(píng)測(cè)（泛化到多圖輸入），證明其同時(shí)適用于圖片&視頻多模態(tài)大模型。

文章選取了多種代表性的開源視頻多模態(tài)大模型，包括ST-LLM、VideoChat2-Mistral、Chat-UniVi-V1.5、LLaVA-NeXT-Video和VILA-1.5，以及閉源模型Gemini和GPT-4V/o 。同時(shí)，基于圖片的多模態(tài)大模型包括Qwen-VL-Chat、Qwen-VL-Max和InternVL-Chat-V1.5。

在商業(yè)模型中，Gemini 1.5 Pro在視頻理解方面表現(xiàn)突出，在加以字幕輔助的情況下以81.3%的準(zhǔn)確率領(lǐng)先，并在與GPT-4V和GPT-o的對(duì)比中分別超出18%和4.1%。

盡管隨著視頻時(shí)長(zhǎng)增加，其表現(xiàn)略有下降，但在長(zhǎng)視頻上的表現(xiàn)（加字幕）優(yōu)于所有開源模型在短視頻上的表現(xiàn)。

同時(shí)，Gemini 1.5 Pro還支持音頻模態(tài)的輸入，模態(tài)支持的更廣。而在開源模型中，來(lái)自NVIDIA的VILA-1.5以59.4%的準(zhǔn)確率表現(xiàn)最佳。然而，相比Gemini 1.5 Pro，VILA-1.5在計(jì)數(shù)問(wèn)題、動(dòng)作識(shí)別和時(shí)間感知方面仍然存在顯著差距。

同時(shí)，隨著視頻時(shí)長(zhǎng)的增加，所有模型的表現(xiàn)均呈現(xiàn)明顯的下降趨勢(shì)，這也說(shuō)明面對(duì)更長(zhǎng)的上下文記憶以及更為復(fù)雜的任務(wù)時(shí)模型還有很大的提升空間。此外，實(shí)驗(yàn)還揭示了字幕和音頻信息能顯著增強(qiáng)視頻理解能力，尤其是對(duì)于長(zhǎng)視頻的理解。

在三十種不同類型的視頻上，Gemini 1.5 Pro展現(xiàn)出不同的性能。例如，有的任務(wù)對(duì)字幕和語(yǔ)音的依賴程度更高，如Basketball的長(zhǎng)視頻，加上字幕和語(yǔ)音能夠顯著提升性能。詳細(xì)的實(shí)驗(yàn)結(jié)果請(qǐng)參照論文原文。

綜合實(shí)驗(yàn)結(jié)果可以看出，當(dāng)前的多模態(tài)大模型在視頻理解，尤其是長(zhǎng)視頻理解方向仍然有很長(zhǎng)進(jìn)步空間，一方面是要提升模型的多模態(tài)長(zhǎng)上下文理解能力，Gemini 1.5 Pro最高支持百萬(wàn)長(zhǎng)度的上下文窗口，這是其表現(xiàn)優(yōu)異的依仗，另一方面也亟需構(gòu)建相應(yīng)的高質(zhì)量長(zhǎng)視頻理解數(shù)據(jù)集，這方面當(dāng)下仍處于空白。

論文鏈接：https://arxiv.org/pdf/2405.21075
項(xiàng)目主頁(yè)：https://video-mme.github.io
項(xiàng)目倉(cāng)庫(kù)：https://github.com/BradyFU/Video-MME