去年初，Meta 首席 AI 科學家 Yann LeCun 針對「如何才能打造出接近人類水平的 AI」提出了全新的思路。他勾勒出了構(gòu)建人類水平 AI 的另一種愿景，指出學習世界模型（即世界如何運作的內(nèi)部模型）的能力或許是關(guān)鍵。這種學到世界運作方式內(nèi)部模型的機器可以更快地學習、規(guī)劃完成復(fù)雜的任務(wù)，并輕松適應(yīng)不熟悉的情況。

LeCun 認為，構(gòu)造自主 AI 需要預(yù)測世界模型，而世界模型必須能夠執(zhí)行多模態(tài)預(yù)測，對應(yīng)的解決方案是一種叫做分層 JEPA（聯(lián)合嵌入預(yù)測架構(gòu)）的架構(gòu)。該架構(gòu)可以通過堆疊的方式進行更抽象、更長期的預(yù)測。

6 月 9 日，在 2023 北京智源大會開幕式的 keynote 演講中，LeCun 又再次講解了世界模型的概念，他認為基于自監(jiān)督的語言模型無法獲得關(guān)于真實世界的知識，這些模型在本質(zhì)上是不可控的。

今日，Meta 推出了首個基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯(lián)合嵌入預(yù)測架構(gòu)（Image Joint Embedding Predictive Architecture, I-JEPA），它通過創(chuàng)建外部世界的內(nèi)部模型來學習， 比較圖像的抽象表示（而不是比較像素本身）。

I-JEPA 在多項計算機視覺任務(wù)上取得非常不錯的效果，并且計算效率遠高于其他廣泛使用的計算機視覺模型。此外 I-JEPA 學得的表示也可以用于很多不同的應(yīng)用，無需進行大量微調(diào)。

舉個例子，Meta 在 72 小時內(nèi)使用 16 塊 A100 GPU 訓練了一個 632M 參數(shù)的視覺 transformer 模型，還在 ImageNet 上實現(xiàn)了 low-shot 分類的 SOTA 性能，其中每個類只有 12 個標簽樣本。其他方法通常需要 2 到 10 倍的 GPU 小時數(shù)，并在使用相同數(shù)據(jù)量訓練時誤差率更高。

相關(guān)的論文《Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture》已被 CVPR 2023 接收。當然，所有的訓練代碼和模型檢查點都將開源。

• 論文地址：https://arxiv.org/pdf/2301.08243.pdf
• GitHub 地址：https://t.co/DgS9XiwnMz

通過自監(jiān)督學習獲取常識型知識

I-JEPA 基于一個事實，即人類僅通過被動觀察就可以了解關(guān)于世界的大量背景知識，這些常識信息被認為是實現(xiàn)智能行為的關(guān)鍵。

通常，AI 研究人員會設(shè)計學習算法來捕獲現(xiàn)實世界的常識，并將其編碼為算法可訪問的數(shù)字表征。為了高效，這些表征需要以自監(jiān)督的方式來學習，即直接從圖像或聲音等未標記的數(shù)據(jù)中學習，而不是從手動標記的數(shù)據(jù)集中學習。

在高層級上，JEPA 的一個輸入中某個部分的表征是根據(jù)其他部分的表征來預(yù)測的。同時，通過在高抽象層次上預(yù)測表征而不是直接預(yù)測像素值，JEPA 能夠直接學習有用的表征，同時避免了生成模型的局限性。

相比之下，生成模型會通過刪除或扭曲模型輸入的部分內(nèi)容來學習。然而，生成模型的一個顯著缺點是模型試圖填補每一點缺失的信息，即使現(xiàn)實世界本質(zhì)上是不可預(yù)測的。因此，生成模型過于關(guān)注不相關(guān)的細節(jié)，而不是捕捉高級可預(yù)測的概念。

自監(jiān)督學習的通用架構(gòu)，其中系統(tǒng)學習捕獲其輸入之間的關(guān)系。

邁向能力廣泛的 JEPA 的第一步

I-JEPA 的核心思路是以更類似于人類理解的抽象表征來預(yù)測缺失信息。與在像素 /token 空間中進行預(yù)測的生成方法相比，I-JEPA 使用抽象的預(yù)測目標，潛在地消除了不必要的像素級細節(jié)，從而使模型學習更多語義特征。

另一個引導 I-JEPA 產(chǎn)生語義表征的核心設(shè)計是多塊掩碼策略。該研究使用信息豐富的上下文來預(yù)測包含語義信息的塊，并表明這是非常必要的。

I-JEPA 使用單個上下文塊來預(yù)測源自同一圖像的各種目標塊的表征。

I-JEPA 中的預(yù)測器可以看作是一個原始的（和受限的）世界模型，它能夠從部分可觀察的上下文中模擬靜態(tài)圖像中的空間不確定性。更重要的是，這個世界模型是語義級的，因為它預(yù)測圖像中不可見區(qū)域的高級信息，而不是像素級細節(jié)。

預(yù)測器如何學習建模世界的語義。對于每張圖像，藍框外的部分被編碼并作為上下文提供給預(yù)測器。然后預(yù)測器輸出它期望在藍框內(nèi)區(qū)域的表示。為了可視化預(yù)測，Meta 訓練了一個生成模型， 它生成了由預(yù)測輸出表示的內(nèi)容草圖，并在藍框內(nèi)顯示樣本輸出。很明顯，預(yù)測器識別出了應(yīng)該填充哪些部分的語義（如狗的頭部、鳥的腿、狼的前肢、建筑物的另一側(cè)）。

為了理解模型捕獲的內(nèi)容，Meta 訓練了一個隨機解碼器，將 I-JEPA 預(yù)測的表示映射回像素空間，這展示出了探針操作后在藍框中進行預(yù)測時的模型輸出。這種定性評估表明，I-JEPA 正確捕獲了位置不確定性，并生成了具有正確姿態(tài)的高級對象部分（如狗的頭部、狼的前肢）。

簡而言之，I-JEPA 能夠?qū)W習對象部分的高級表示，而不會丟棄它們在圖像中的局部位置信息。

高效率、強性能

I-JEPA 預(yù)訓練在計算上也很高效，在使用更多計算密集型數(shù)據(jù)增強來生成多個視圖時不會產(chǎn)生任何開銷。目標編碼器只需要處理圖像的一個視圖，上下文編碼器只需要處理上下文塊。

實驗發(fā)現(xiàn)，I-JEPA 在不使用手動視圖增強的情況下學習了強大的現(xiàn)成語義表示，具體可見下圖。此外 I-JEPA 還在 ImageNet-1K 線性探針和半監(jiān)督評估上優(yōu)于像素和 token 重建方法。

ImageNet-1k 數(shù)據(jù)集上的線性評估。

I-JEPA 還能與以往在語義任務(wù)上依賴手動數(shù)據(jù)增強的方法競爭。相比之下，I-JEPA 在對象計數(shù)和深度預(yù)測等低級視覺任務(wù)上取得了更好的性能。通過使用較小剛性歸納偏置的更簡單模型，I-JEPA 適用于更廣泛的任務(wù)集合。

low shot 分類準確性：使用 1% 標簽時 ImageNet-1k 上的半監(jiān)督評估結(jié)果（每類只有 12 張標簽圖像）。

AI 智能向人類水平更近了一步

I-JEPA 展示了無需通過手動圖像變換來編碼額外知識時，學習有競爭力的現(xiàn)成圖像表示的潛力。繼續(xù)推進 JEPA 以從更豐富模態(tài)中學習更通用世界模型將變得特別有趣，比如人們從一個短上下文中對視頻中的將來事件做出長期空間和時間預(yù)測，并利用音頻或文本 prompt 對這些預(yù)測進行調(diào)整。

Meta 希望將 JEPA 方法擴展到其他領(lǐng)域，比如圖像 - 文本配對數(shù)據(jù)和視頻數(shù)據(jù)。未來，JEPA 模型可以在視頻理解等任務(wù)中得到應(yīng)用。這是應(yīng)用和擴展自監(jiān)督方法來學習更通用世界模型的重要一步。