沒人懷疑，OpenAI開年推出的史詩巨作Sora，將改變視頻相關(guān)領(lǐng)域的內(nèi)容生態(tài)。

但Google DeepMind、UC伯克利和MIT的研究人員更進一步，在他們眼里，「大視頻模型」也許能夠像世界模型一樣，真正的做到理解我們身處的這個世界。

論文地址：https://arxiv.org/abs/2402.17139

在作者看來，視頻生成將徹底改變物理世界的決策，就像語言模型如何改變數(shù)字世界一樣。

研究人員認為，與文本類似，視頻可以作為一個統(tǒng)一的接口，吸收互聯(lián)網(wǎng)知識并表征不同的任務。

例如，經(jīng)典的計算機視覺任務可以被視為下一代幀生成任務（next-frame generation task）。

模型可以通過生成操作視頻（例如「如何制作壽司」）來回答人們的問題，這可能比文本響應更直觀。

視覺和算法推理也可以作為下一幀/視頻生成任務。

視頻也可以統(tǒng)一不同實體（embodiment）的觀察空間（observation space），因此可以使用單個視頻生成模型為不同機器人生成視覺執(zhí)行計劃：

而且就像谷歌剛剛發(fā)布的世界生成模型Genie一樣，視頻生成也是復雜游戲的真實模擬器，可以與基于模型的規(guī)劃相結(jié)合，或者用于創(chuàng)建游戲。

生成視頻模擬器對于優(yōu)化科學和工程領(lǐng)域的控制輸入也很有用，在這些領(lǐng)域可以收集大量視頻數(shù)據(jù)，但底層的物理動力學很難明確表達（例如，云運動、與軟物體的交互）。

預測下一幀，會像預測下一個字那樣改變世界

過去幾年，從互聯(lián)網(wǎng)文本數(shù)據(jù)集訓練大語言模型（LLMs）的工作取得了巨大進展。

LLM在各種任務上的出色表現(xiàn)讓人不禁想把人工智能的議程縮減為擴大這些系統(tǒng)的規(guī)模。

然而，大語言模型上取得的突破似乎也開始面臨了很多的局限。

首先，可公開獲取的文本數(shù)據(jù)的數(shù)量正變得越來越大。這將成為進一步擴展的瓶頸。

其次，也許更重要的是，僅靠自然語言可能不足以描述所有智能行為，也無法捕捉我們所處物理世界的所有信息（例如，想象一下僅用語言教人如何打結(jié)）。

雖然語言是描述高層次抽象概念的強大工具，但它并不總是足以捕捉物理世界的所有細節(jié)。

值得慶幸的是，互聯(lián)網(wǎng)上有豐富的視頻數(shù)據(jù)，僅YouTube上就有超過一萬年的連續(xù)視頻內(nèi)容，其中包含了大量關(guān)于世界的知識信息。

然而，今天在互聯(lián)網(wǎng)文本或視頻數(shù)據(jù)上訓練出來的機器學習模型卻表現(xiàn)出了截然不同的能力。LLMs 已經(jīng)能夠處理需要復雜推理、工具使用和決策制定的復雜任務。

相比之下，視頻生成模型的探索較少，主要集中在創(chuàng)建供人類消費的娛樂視頻。

鑒于語言建模領(lǐng)域正在發(fā)生的范式轉(zhuǎn)變，研究人員提出這樣一個問題：

我們能否將視頻生成模型提升到與語言模型類似的自主代理、模擬環(huán)境和計算引擎的水平，從而使機器人、自動駕駛和科學等需要視覺模式的應用能夠更直接地受益于互聯(lián)網(wǎng)視覺知識和預訓練視頻模型。

研究人員認為視頻生成對于物理世界的意義就如同語言模型對于數(shù)字世界的意義。

為了得出這一觀點，我們首先確定了使語言模型能夠解決許多現(xiàn)實世界任務的關(guān)鍵組成部分：(1) 能夠從互聯(lián)網(wǎng)吸收廣泛信息的統(tǒng)一表示法（即文本）、

(2) 統(tǒng)一的接口（即文本生成），通過它可以將不同的任務表達為生成建模，以及

(3) 語言模型能與外部環(huán)境（如人類、工具和其他模型）交互，根據(jù)外部反饋采取相應行動和優(yōu)化決策，如通過人類反饋強化學習、規(guī)劃、搜索（姚等人，2023 年）和優(yōu)化等技術(shù)。

從語言模型的這三個方面出發(fā)，研究人員發(fā)現(xiàn)：

(1) 視頻可以作為一種統(tǒng)一的表征，吸收物理世界的廣泛信息；

(2) 視頻生成模型可以表達或支持計算機視覺、嵌入式人工智能和科學領(lǐng)域的各種任務；

(3) 視頻生成作為一種預訓練目標，為大型視覺模型、行為模型和世界模型引入了互聯(lián)網(wǎng)規(guī)模的監(jiān)督，從而可以提取動作、模擬環(huán)境交互和優(yōu)化決策。

為了進一步說明視頻生成如何對現(xiàn)實世界的應用產(chǎn)生深遠影響，他們深入分析通過指令調(diào)整、上下文學習、規(guī)劃和強化學習（RL）等技術(shù)，在游戲、機器人、自動駕駛和科學等領(lǐng)域?qū)⒁曨l生成用作任務求解器、問題解答、策略/代理和環(huán)境模擬器。

視頻生成的前提設置

研究人員將視頻片段表示為一系列圖像幀 x = (x 0 , ..., x t )。圖像本身可被視為具有單幀 x = (x 0 , ) 的特殊視頻。條件視頻生成模型是條件概率 p(x|c)，其中 c 是條件變量。條件概率 p(x | c) 通常由自回歸模型、擴散模型或掩蔽Transformer模型進行因子化。

根據(jù)不同的因式分解，p(x | c)的采樣要么對應于連續(xù)預測圖像（斑塊），要么對應于迭代預測所有幀（x 0 ，...，x t ）。

根據(jù)條件變量 c 的內(nèi)容，條件視頻生成可以達到不同的目的。

統(tǒng)一表征法和任務接口

在本節(jié)中，作者首先介紹了視頻是如何作為一種統(tǒng)一的表征，從互聯(lián)網(wǎng)中捕捉各種類型的信息，從而形成廣泛的知識。

然后，討論如何將計算機視覺和人工智能中的各種任務表述為條件視頻生成問題，從而為現(xiàn)實世界中的視頻生成決策提供基礎(chǔ)。

作為信息統(tǒng)一表征的視頻

雖然互聯(lián)網(wǎng)文本數(shù)據(jù)通過大型語言模型為數(shù)字/知識世界提供了很多價值，但文本更適合捕捉高級抽象概念，而不是物理世界的低級細節(jié)。

研究人員列舉幾類難以用文本表達，但可以通過視頻輕松捕捉的信息。

-視覺和空間信息：這包括視覺細節(jié)（如顏色、形狀、紋理、光照效果）和空間細節(jié)（如物體在空間中的排列方式、相對位置、距離、方向和三維信息）。

與文本格式相比，這些信息自然是以圖像/視頻格式存在的。

-物理和動力學：這包括物體和環(huán)境如何在物理上相互作用的細節(jié)，如碰撞、操作和其他受物理規(guī)律影響的運動。

雖然文字可以描述高層次的運動（如 "一輛汽車在街道上行駛"），但往往不足以捕捉低層次的細節(jié)，如施加在車輛上的扭矩和摩擦力。視頻可以隱含地捕捉到這些信息。

-行為和動作信息：這包括人類行為和代理動作等信息，描述了執(zhí)行任務（如如何組裝一件家具）的低層次細節(jié)。

與精確的動作和運動等細節(jié)信息相比，文本大多能捕捉到如何執(zhí)行任務的高級描述。

為什么是視頻？

有人可能會問，即使文本不足以捕捉上述信息，為什么還要用視頻呢？

視頻除了存在于互聯(lián)網(wǎng)規(guī)模之外，還可以為人類所解讀（類似于文本），因此可以方便地進行調(diào)試、交互和安全推測。

此外，視頻是一種靈活的表征方式，可以表征不同空間和時間分辨率的信息，例如以埃級（10 -10 m）運動的原子和以每秒萬億幀速度運動的光。

作為統(tǒng)一任務接口的視頻生成

除了能夠吸收廣泛信息的統(tǒng)一表征外，研究人員還從語言建模中看到，需要一個統(tǒng)一的任務接口，通過它可以使用單一目標（如下一個標記預測）來表達不同的任務。

同時，正是信息表征（如文本）和任務接口（如文本生成）之間的一致性，使得廣泛的知識能夠轉(zhuǎn)移到特定任務的決策中。

經(jīng)典計算機視覺任務

在自然語言處理中，有許多任務（如機器翻譯、文本摘要、問題解答、情感分析、命名實體識別、語音部分標記、文本分類等）都是視覺任務。

文本分類、對話系統(tǒng)，傳統(tǒng)上被視為不同的任務，但現(xiàn)在都統(tǒng)一到了語言建模的范疇內(nèi)。

這使得不同任務之間的通用性和知識共享得以加強。

同樣，計算機視覺也有一系列廣泛的任務，包括語義分割、深度估計、表面法線估計、姿態(tài)估計、邊緣檢測和物體跟蹤。

最近的研究表明，可以將不同的視覺任務轉(zhuǎn)換成上圖所示的視頻生成任務，而且這種解決視覺任務的統(tǒng)一方法可以隨著模型大小、數(shù)據(jù)大小和上下文長度的增加而擴展。

將視覺任務轉(zhuǎn)換為視頻生成任務一般涉及以下步驟：

(1) 將任務的輸入和輸出（如分割圖、深度圖）結(jié)構(gòu)化到統(tǒng)一的圖像/視頻空間中；

(2) 對圖像幀重新排序，使輸入圖像后跟有特定任務的預期輸出圖像（如常規(guī)輸入圖像后跟有深度圖）；

(3) 通過提供輸入-輸出對示例作為條件視頻生成模型的輸入，利用上下文學習來指定所需的任務。

視頻即答案

在傳統(tǒng)的視覺問題解答（VQA）. 隨著視頻生成技術(shù)的發(fā)展，一種新穎的任務是將視頻作為答案，例如，在回答 「如何制作折紙飛機 」時生成視頻。

與語言模型可以對文本中的人類詢問生成定制回復類似，視頻模型也可以對具有大量低級細節(jié)的如何操作問題生成定制回復。

對于人類來說，這樣的視頻回答可能比文本回答更受歡迎。

在上圖中，研究人員展示了由文本到視頻模型生成的視頻，這些視頻是對一組 「如何做 」問題的回答。

此外，還可以考慮以初始幀為生成條件，在用戶特定場景中合成視頻答案。

盡管有如此宏大的前景，但當今文本到視頻模型合成的視頻一般都太短/太簡單，沒有足夠的信息來完全回答用戶的問題。

合成視頻幀以回答用戶問題的問題與使用語言模型進行規(guī)劃有相似之處，人們可以利用語言模型或視覺語言模型將高層次目標（如 「如何制作壽司」）分解為具體的子目標（如 「首先，將米飯放在滾動墊上」），并為每個子目標合成計劃，同時驗證合成計劃的合理性。

視覺推理和思維鏈

有了統(tǒng)一的信息表征和統(tǒng)一的任務界面，語言模型中就出現(xiàn)了推理，模型可以推導出相關(guān)信息，作為解決更復雜問題的中間步驟。

同樣，以視頻作為統(tǒng)一的表示和任務界面，視頻生成也通過預測圖像的遮蔽區(qū)域顯示出視覺推理的早期跡象，如上圖所示。

通過生成具有正確輔助線集的視頻，下一幀預測是否可用于解決更復雜的幾何問題，這將是一個有趣的課題。

在利用下一幀預測進行視覺推理和解決幾何問題的基礎(chǔ)上，還可以利用以下方法進一步描述推理過程和算法。

具體來說，利用視頻描述了廣度優(yōu)先搜索（BFS）算法的執(zhí)行狀態(tài)。

在這種情況下，學習生成視頻就相當于學習搜索，如上圖所示。

雖然圖 3 和圖 4 中的示例可能看起來有些矯揉造作，但它們作為早期指標表明，視頻生成作為一種預訓練任務，可能會引發(fā)類似于語言模型的推理行為，從而揭示了利用視頻生成解決復雜推理和算法任務的機會。

作為統(tǒng)一狀態(tài)-行動空間的視頻

視頻生成可以吸收廣泛的知識并描述不同的視覺任務。

研究人員將通過提供體現(xiàn)式人工智能中使用視頻作為統(tǒng)一表征和任務界面的具體實例來進一步支持這一觀點。

數(shù)據(jù)碎片化是體現(xiàn)式人工智能長期面臨的挑戰(zhàn)之一，在這種情況下，一個機器人在執(zhí)行一組任務時收集的數(shù)據(jù)集很難用于不同機器人或不同任務的學習。

跨機器人和跨任務知識共享的主要困難在于，每種類型的機器人和任務都有不同的狀態(tài)-行動空間。為了解決這一難題，可以使用像素空間作為跨任務和環(huán)境的統(tǒng)一狀態(tài)行動空間。

在這一框架下，可將機器人規(guī)劃視為條件視頻生成問題，從而受益于互聯(lián)網(wǎng)預訓練視頻生成模型。

大多數(shù)現(xiàn)有工作都是為每個機器人訓練一個視頻生成模型，這削弱了將視頻作為統(tǒng)一的狀態(tài)-動作空間用于體現(xiàn)式學習的潛在優(yōu)勢。

在上圖中提供了在 Open X-Embodiment 數(shù)據(jù)集 之前和新生成的視頻計劃看起來都非常逼真，并成功完成了指定任務。

視頻生成即模擬

視頻生成技術(shù)不僅能解決前文提到的眾多任務，還能夠在另一個重要領(lǐng)域發(fā)揮作用——模擬各種系統(tǒng)和過程的視覺效果，進而根據(jù)模擬結(jié)果優(yōu)化系統(tǒng)的控制策略。

這一能力對于那些能夠收集到大量視頻數(shù)據(jù)，但難以精確描述底層物理動態(tài)的應用場景尤為重要，如云層的流動、與柔軟物體的交互等。

游戲環(huán)境的生成

多年來，游戲已成為測試AI算法的理想平臺。舉個例子，街機學習環(huán)境（Arcade Learning Environment）推動了深度Q學習技術(shù)的發(fā)展，這一技術(shù)成功讓AI智能體首次在Atari游戲中達到了人類的水平。

同樣的，我們可以通過與游戲引擎中的真實模擬結(jié)果進行對比，來驗證生成式模擬器的質(zhì)量。

- 模擬復雜游戲環(huán)境

通過動作條件下的視頻生成技術(shù)，可以模擬出像Minecraft這類復雜電腦游戲的環(huán)境動態(tài)。

基于此，研究人員提出了一個能夠根據(jù)以往的游戲進程預測未來的動作和游戲狀態(tài)的Transformer模型。

游戲中的觀察結(jié)果和玩家動作都被轉(zhuǎn)化為了Token，這樣就把預測下一步動作簡化為了預測下一個Token。

值得注意的是，在這種情況下，模型既可以作為世界模型，也可以作為行動策略。

如圖6所示，給定一個以行動結(jié)束的觀察和行動交替序列，模型就能推斷出下一個觀察結(jié)果（世界模型）；給定一個以觀察結(jié)束的類似序列，模型就能推斷出下一個要采取的行動（策略）。

借助這種策略和動態(tài)分析骨干，還可以應用基于模型的強化學習算法，如Dyna、Dreamer和MuZero，來進一步優(yōu)化策略。

- 創(chuàng)造新型游戲環(huán)境

在游戲AI領(lǐng)域，程序化創(chuàng)造新型游戲內(nèi)容和關(guān)卡是一個熱門研究方向，而這也已被證實對訓練和評價強化學習（RL）智能體非常有用。

如圖7所示，通過學習大規(guī)?；ヂ?lián)網(wǎng)上未經(jīng)標注的游戲數(shù)據(jù)中的潛動作，然后訓練一個可控制動作的視頻模型，可以實現(xiàn)從一張?zhí)崾緢D像生成無限可能的多樣化互動環(huán)境。

雖然這項工作還處于探索階段，但在未來，我們或許可以通過集成學習到的獎勵模型，讓RL智能體在完全由生成模型創(chuàng)造的游戲環(huán)境中進行訓練。

機器人與自動駕駛

模擬SE(3)動作空間是機器人學習領(lǐng)域的一大挑戰(zhàn)，尤其體現(xiàn)在如何將在虛擬模擬器中訓練的策略成功應用到真實機器人上的問題。

此前的研究成功地在真實機器人的視頻數(shù)據(jù)上，針對Language Table環(huán)境，學習了一個基于動作的下一幀預測模型，并采用了一個簡單的笛卡爾（Cartesian）動作空間。

如圖8所示，可以看到，下一幀預測能夠預測出SE(3)空間中更為通用的末端執(zhí)行器動作所產(chǎn)生的視覺效果。

生成式SE(3)模擬器的一個直接應用是評估機器人策略，這在涉及真實機器人評估的安全考慮時特別重要。

除了評估，此前的研究還在Language Table環(huán)境中使用來自生成式模擬器的rollouts訓練了強化學習（RL）策略。

下一個步驟可能是，使用Dyna式算法并結(jié)合模擬的演示和真實環(huán)境的數(shù)據(jù)來學習策略。

在這種情況下，當策略在執(zhí)行時，真實世界的視頻會被收集起來，為生成式模擬器提供額外的示范和反饋。

最后，通過在多樣化環(huán)境中進行視頻演示，生成式模擬器能夠有效地訓練多任務和多環(huán)境策略，這在之前是無法實現(xiàn)的，因為通常一個策略一次只能接觸到一個真實世界環(huán)境。

科學與工程

視頻已經(jīng)成為了跨越眾多科學和工程領(lǐng)域的一個統(tǒng)一的表現(xiàn)形式，對醫(yī)學成像、計算機圖像處理、計算流體動力學等領(lǐng)域的研究產(chǎn)生了影響。

在一些情況下，雖然我們可以通過攝像頭輕松捕捉到視覺信息，但是很難識別背后的動態(tài)系統(tǒng)（比如云的運動，或者電子顯微鏡下原子的運動）。

而基于控制輸入的視頻生成模型可以成為一個有效的視覺模擬工具，進而幫助我們得到更優(yōu)的控制方案。

下圖展示了硅原子在碳原子單層上，在電子束的刺激下的動態(tài)變化。可以看到，這種生成式模擬器能夠準確地在像素層面捕捉硅原子的移動。

除了幫助縮小模擬與現(xiàn)實之間的差距，生成式模擬器還有一個優(yōu)點是它們的計算成本是固定的，這在傳統(tǒng)計算方法無法應對的情況下尤為重要。

總結(jié)

總結(jié)而言，研究人員認為，視頻生成技術(shù)在物理世界的作用，就像語言模型在數(shù)字世界中的角色一樣重要。

團隊通過展示視頻如何能夠像語言模型一樣，廣泛地表達信息和執(zhí)行任務來支持這個觀點。

并且，從新的角度探討了視頻生成技術(shù)的應用，這些應用通過結(jié)合推理、場景中的學習、搜索、規(guī)劃和強化學習等方法，來解決現(xiàn)實世界中的問題。

雖然視頻生成模型面臨著如虛假生成（幻覺）和泛化能力等挑戰(zhàn)，但它們有潛力成為自主的AI智能體、規(guī)劃者、環(huán)境模擬器和計算平臺，并最終可能作為一種人工智能大腦，在物理世界中進行思考和行動。