最近幾天，Sora 成為了全世界關(guān)注的焦點。與之相關(guān)的一切，都被放大到極致。

Sora 如此出圈，不僅在于它能輸出高質(zhì)量的視頻，更在于 OpenAI 將其定義為一個「世界模擬器」（world simulators）。

英偉達(dá)高級研究科學(xué)家 Jim Fan 甚至斷言：「Sora 是一個數(shù)據(jù)驅(qū)動的物理引擎」，「是一個可學(xué)習(xí)的模擬器，或『世界模型』」。

「Sora 是世界模型」這種觀點，讓一直將「世界模型」作為研究重心的圖靈獎得主 Yann LeCun 有些坐不住了。在 LeCun 看來，僅僅根據(jù) prompt 生成逼真視頻并不能代表一個模型理解了物理世界，生成視頻的過程與基于世界模型的因果預(yù)測完全不同。

圖源：https://twitter.com/ylecun/status/1758740106955952191

雖然 Sora 的發(fā)布讓整個 AI 界為之瘋狂，但 LeCun 并不看好。他不止一次的公開表達(dá)過對自回歸和 LLM 的批評，而自回歸模型是包括 Sora 等在內(nèi)的 GPT 系列 LLM 模型所依賴的學(xué)習(xí)范式，也就是說，從 ChatGPT 到 Sora，OpenAI 都是采用的自回歸生成式路線。

然而 LeCun 多次唱衰這種技術(shù)路線，他曾表達(dá)過一些不滿，比如「從現(xiàn)在起 5 年內(nèi)，沒有哪個頭腦正常的人會使用自回歸模型?！埂缸曰貧w生成模型弱爆了?。ˋuto-Regressive Generative Models suck!）」「LLM 對世界的理解非常膚淺?！沟妊哉?。

世界模型和自回歸 LLM 到底該如何定義？身為全球知名的 AI 研究學(xué)者，LeCun 自然不是一位全然的批評家，最近，他給出了世界模型的新定義。在他看來，自回歸生成模型僅僅是世界模型的一種簡化的特殊情況。與大家在互聯(lián)網(wǎng)上看到的動不動就是長篇大論的科普不同，LeCun 以一種簡單直白的方式給出了世界模型的定義。

圖源：https://twitter.com/ylecun/status/1759933365241921817

對于給定的：

• 觀察值 x (t)；
• 對世界狀態(tài)的先前估計 s (t)；
• 動作建議 a (t)；
• 潛在變量建議 z (t)。

世界模型需要計算出：

• 表征：h (t) = Enc (x (t))；
• 給出預(yù)測：s (t+1) = Pred ( h (t), s (t), z (t), a (t) )。

其中，

• Enc () 是一個編碼器（我們可以理解為一個可訓(xùn)練的確定性函數(shù)，例如神經(jīng)網(wǎng)絡(luò)）；
• Pred () 是一個隱藏狀態(tài)預(yù)測器（也是一個可訓(xùn)練的確定性函數(shù)）；
• 潛在變量 z (t) 代表未知信息，可以準(zhǔn)確預(yù)測將來會發(fā)生什么。z (t) 變量必須從一個分布中進(jìn)行采樣，或者在一組中變化。它參數(shù)化了（或分布）一系列可能的預(yù)測。換句話說，變量 z (t) 定義了一個可能性空間，我們根據(jù)這個空間來預(yù)測未來可能發(fā)生的情況。

訣竅是通過觀察三元組 (x (t),a (t),x (t+1)) 來訓(xùn)練整個模型，同時防止 Encoder 坍縮。

自回歸生成模型（例如 LLM，Sora 就是這種路線）是一種簡化的特殊情況，原因在于：

1. Encoder 是恒等函數(shù)：h (t) = x (t)；

2. 狀態(tài)是過去輸入的窗口；

3. 沒有動作變量 a (t)；

4. x (t) 是離散的；

5. 預(yù)測器計算 x (t+1) 結(jié)果的分布，并使用潛在 z (t) 從該分布中選擇一個值。

方程簡化為：

s (t) = [x (t),x (t-1),...x (t-k)]

x (t+1) = Pred ( s (t), z (t), a (t) )

在這種情況下不存在坍縮問題。

這可能就是 LeCun 極力反對 Sora 是世界模型這種說法的一個重要原因 —— 它只是世界模型中一種簡化的特殊情況。

不過話說回來，Jim Fan 又在 LeCun 的這條推文下方留言，他堅持道：「Sora 本質(zhì)上是一種無操作（no-op）的世界模型。你可以設(shè)置世界的初始狀態(tài)，在潛在空間中運行模擬，并被動地觀察會發(fā)生什么?，F(xiàn)在沒有辦法進(jìn)行積極干預(yù)?！?/span>

至于 Sora 到底是不是世界模型我們暫且不議，混淆大家多時的「世界模型」的定義，現(xiàn)在終于被 LeCun 講明白了。