融合物理知識的大型視頻語言模型PhysVLM，開源了！

它不僅在 PhysGame 基準(zhǔn)上展現(xiàn)出最先進(jìn)的性能，還在通用視頻理解基準(zhǔn)上（Video-MME, VCG）表現(xiàn)出領(lǐng)先的性能。

在這項研究之前，想讓AI像人類兒童一樣，通過觀察世界理解基本的物理常識，是一個主要挑戰(zhàn)。

圖片

對于現(xiàn)實世界的視頻來說，全面覆蓋和解釋所有正常的物理現(xiàn)象既困難又不必要。

相比之下，游戲視頻（gameplay videos）通常包含違反物理常識的“故障現(xiàn)象”（glitches），這有助于簡化物理常識理解的定義和評估，即專注于解釋物理常識的違反現(xiàn)象，而不是試圖列舉所有存在的正常物理現(xiàn)象。

為此，PhysVLM在專門整理的一套數(shù)據(jù)集上訓(xùn)練，包括用于評估的PhysGame benchmark、用于監(jiān)督微調(diào)的PhysInstruct數(shù)據(jù)集和用于偏好對齊的PhysDPO數(shù)據(jù)集。

PhysGame benchmark 設(shè)計

如圖所示， PhysGame包含880個含有故障現(xiàn)象的游戲視頻，每個視頻都配有一個高質(zhì)量的多項選擇題，專門針對故障現(xiàn)象的性質(zhì)進(jìn)行標(biāo)注。

圖片

△PhysGame類別分布

PhysGame涵蓋了四個關(guān)鍵的物理領(lǐng)域（即力學(xué)、運(yùn)動學(xué)、光學(xué)和材料屬性），并細(xì)分為12個具體類別（如重力和速度）。

• 力學(xué)（Mechanics）：該類別涉及力與力矩及其對運(yùn)動的影響，提供了解釋和分析視頻中物體運(yùn)動的基礎(chǔ)原理。典型案例包括重力、彈性和摩擦力。
• 運(yùn)動學(xué)（Kinematics）：該領(lǐng)域研究不考慮力的情況下的運(yùn)動，涉及精細(xì)分類，如隨時間變化的速度和加速度。
• 光學(xué)（Optics）：該領(lǐng)域關(guān)注光的行為與特性及其與物質(zhì)的相互作用，包括反射、折射以及吸收與透射。
• 材料屬性（Material properties）：該領(lǐng)域指的是物質(zhì)固有的特性，包括顏色、剛性、物體形狀以及人體姿態(tài)。

PhysGame benchmark構(gòu)建

視頻收集和過濾:

PhysGame中的視頻主要從Reddit頁面抓取，該頁面包含帶有異常事件和故障現(xiàn)象的游戲視頻。為了平衡不同的類別，團(tuán)隊還通過關(guān)鍵詞搜索從 YouTube增強(qiáng)視頻數(shù)據(jù)。團(tuán)隊根據(jù)以下兩項標(biāo)準(zhǔn)進(jìn)行人工篩查：

• 重復(fù)檢查：Reddit論壇可能會多次引用同一視頻，導(dǎo)致重復(fù)下載。團(tuán)隊手動檢查，確保PhysGame benchmark中的視頻不存在重復(fù)；
• 內(nèi)容檢查：下載的視頻可能包含非游戲元素，團(tuán)隊對這些內(nèi)容進(jìn)行了嚴(yán)格篩選，確保它們不被納入PhysGame benchmark中。

選項生成:

本文以多項選擇題的形式創(chuàng)建問答對。具體來說，正確選項描述了視頻中違反物理常識原則的特定故障現(xiàn)象。為了增強(qiáng)干擾選項的可信度，本文要求干擾選項中的故障現(xiàn)象應(yīng)與視頻中觀察到的個體或動作高度相關(guān)，這使視頻LLM理解故障內(nèi)容，而不僅僅通過識別包含的物體或動作來選擇答案。

質(zhì)量控制: 

為了保證數(shù)據(jù)集的質(zhì)量，本文進(jìn)行了一項包括人工檢查和自動LLM輔助檢查在內(nèi)的雙重質(zhì)量控制過程：

• 人工檢查：所有初步標(biāo)注的問答對都經(jīng)過不同人工標(biāo)注人員的嚴(yán)格交叉檢查。對于正確選項，檢查人員必須評估它們是否全面準(zhǔn)確地描述了所有存在的物理常識違反實例。對于干擾選項，檢查人員需評估它們是否足夠具有迷惑性；
• LLM 輔助檢查: 團(tuán)隊去除那些僅憑問題和選項，不需要查看視頻就能由GPT-4o正確回答的問答對。

圖片

△PhysGame示例

PhysInstruct&PhysDPO數(shù)據(jù)集構(gòu)建

PhysInstruct:

為了提升視頻LLM的物理常識理解能力，團(tuán)隊開發(fā)了PhysInstruct數(shù)據(jù)集用于監(jiān)督微調(diào)。視頻收集過程與PhysGame中的流程相同。為了防止數(shù)據(jù)泄漏，團(tuán)隊嚴(yán)格排除任何已包含在PhysGame中的視頻。團(tuán)隊遵循Self-instruct范式通過提示GPT-4o來構(gòu)建PhysInstruct。

PhysDPO:

團(tuán)隊構(gòu)建了偏好對齊數(shù)據(jù)集PhysDPO，以提供更可信和可靠的回答。如圖3所示，團(tuán)隊將PhysInstruct 數(shù)據(jù)集中生成的答案視為preferred回答，而dis-preferred回答則通過元信息篡改（meta-information hacking）、時間篡改（temporal hacking）和空間篡改（spatial hacking）生成。團(tuán)隊用誤導(dǎo)性的元信息以及減少幀數(shù)和降低幀分辨率的視頻幀來提示 GPT-4o。

以下是PhysDPO數(shù)據(jù)集構(gòu)建流程圖：

圖片

模型評估與分析

PhysGame benchmark 實驗結(jié)果:

• 在所有專有模型中，GPT-4o和Gemini-1.5-pro表現(xiàn)最佳，分別達(dá)到了56.1%和55.2%的平均準(zhǔn)確率。在所有細(xì)分領(lǐng)域中，GPT-4o在摩擦和加速度方面表現(xiàn)優(yōu)越。相比之下，Gemini-1.5-pro在理解與重力、彈性、反射、吸收與透射、顏色和剛性相關(guān)的物理常識方面表現(xiàn)更強(qiáng)。
• 現(xiàn)有的開源模型遠(yuǎn)遠(yuǎn)落后于專有模型。即便是表現(xiàn)最好的開源模型 LLaVA-OneVision，其平均準(zhǔn)確率僅為47.7%。相比之下，本文提出的PhysVLM在所有專有和開源模型中都達(dá)到了最先進(jìn)的性能。與開源方法相比，本文的PhysVLM在12個評估領(lǐng)域中的6個領(lǐng)域達(dá)到了最高性能。值得注意的是，PhysVLM-DPO在平均準(zhǔn)確率這一指標(biāo)上比最佳表現(xiàn)的專有模型GPT-4o超出了3.4%。

PhysGame benchmark實驗結(jié)果

Video-MME benchmark實驗結(jié)果:

本文的PhysVLM模型在所有7B模型中表現(xiàn)優(yōu)越。令人驚訝的是，作為7B模型，PhysVLM-SFT和PhysVLM-DPO在整體表現(xiàn)上分別比 34B 模型 LLaVA-NeXT-Video提高了3.2%和3.8%的絕對值。通過比較PhysVLM-SFT和PhysVLM-DPO，團(tuán)隊發(fā)現(xiàn)，使用所提出的PhysDPO數(shù)據(jù)進(jìn)行 DPO訓(xùn)練在短視頻和長視頻上的表現(xiàn)都有所提升，而在中等長度的視頻上的表現(xiàn)略有下降。

圖片

△Video-MME benchmark實驗結(jié)果

VCG benchmark實驗結(jié)果:

在僅使用SFT的模型中，本文的PhysVLM-SFT在平均得分方面表現(xiàn)最佳。在四個子類別的評估中，PhysVLM-SFT在信息正確性和一致性類別上表現(xiàn)尤為出色。與使用DPO或PPO訓(xùn)練的PPLLaVA和LLaVA-Next-Video相比，本文的PhysVLM-DPO也展現(xiàn)出卓越的性能，進(jìn)一步驗證了所提出的PhysVLM模型在通用視頻理解中的出色能力。

VCG benchmark實驗結(jié)果

PhysVLM相關(guān)論文、代碼、數(shù)據(jù)均已開源:

pre-prints: https://arxiv.org/abs/2412.01800
代碼鏈接: https://github.com/PhysGame/PhysGame
leaderboard: https://physgame.github.io/#leaderboard