?Deepmind 旨在建立一個能夠?qū)W習(xí)直觀物理學(xué)的模型，并剖析模型實現(xiàn)這種能力的原因。

從 AlphaFold? 到數(shù)學(xué)推理，DeepMind 一直在嘗試將 AI 和基礎(chǔ)科學(xué)結(jié)合?，F(xiàn)在，DeepMind 又創(chuàng)建了一個可以學(xué)習(xí)簡單物理規(guī)則的新模型。

發(fā)育心理學(xué)家測試分析了嬰兒如何通過目光來跟隨物體的運動。例如，當(dāng)播放視頻中有一個球突然消失時，孩子們會表現(xiàn)出驚訝。

DeepMind 的計算機(jī)科學(xué)家 Luis Piloto 及其同事希望為人工智能 (AI) 開發(fā)類似的測試。該團(tuán)隊使用立方體和球等簡單物體的動畫視頻訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)，該模型通過從大量數(shù)據(jù)中發(fā)現(xiàn)模式來學(xué)習(xí)。研究論文于 7 月 11 日發(fā)表在《Nature Human Behaviour》上。

• 論文地址：https://www.nature.com/articles/s41562-022-01394-8
• 數(shù)據(jù)集地址：https://github.com/deepmind/physical_concepts

該模型通過自動編碼和跟蹤對象進(jìn)行物理學(xué)習(xí)，因此命名為 PLATO (Physics Learning through Auto-encoding and Tracking Objects)。PLATO 接收來自視頻的原始圖像和突出顯示場景中每個對象目標(biāo)的圖像版本。PLATO 旨在開發(fā)對象物理特性的內(nèi)部表征，例如它們的位置和速度。

該系統(tǒng)接受了大約 30 個小時的視頻訓(xùn)練，這些視頻展示了簡單的運動機(jī)制（例如一個球從斜坡上滾下來），并開發(fā)了預(yù)測這些對象在不同情況下行為的能力。特別地，PLATO 學(xué)習(xí)了連續(xù)性和穩(wěn)固性，保證目標(biāo)的軌跡是不間斷的，物體形狀是持久的。隨著視頻的播放，模型的預(yù)測會變得更加準(zhǔn)確。

當(dāng)播放帶有「不可能」事件的視頻時，例如一個物體突然消失，PLATO 可以度量視頻和它自己的預(yù)測之間的差異，從而提供一種「驚訝」的衡量標(biāo)準(zhǔn)。

Piloto 說：「PLATO 并非設(shè)計為嬰兒行為模型，但它可以測試關(guān)于人類嬰兒如何學(xué)習(xí)的假設(shè)。我們希望認(rèn)知科學(xué)家最終可以使用它來模擬嬰兒的行為。」

英屬哥倫比亞大學(xué)的計算機(jī)科學(xué)家 Jeff Clune 表示，「將 AI 與人類嬰兒的學(xué)習(xí)方式進(jìn)行比較是一個重要的研究方向。PLATO 的研究者手工設(shè)計了許多賦予人工智能模型優(yōu)勢的先驗知識。」Clune 等研究人員正試圖讓程序開發(fā)自己的算法來理解物理世界。

運用發(fā)展心理學(xué)的知識

為了在 AI 系統(tǒng)中追求更豐富的物理直覺，DeepMind 的研究團(tuán)隊從發(fā)展心理學(xué)中汲取靈感。研究團(tuán)隊構(gòu)建了一個深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)整合了發(fā)展心理學(xué)的核心見解，即物理學(xué)是在離散對象及其相互作用的層面上理解的。

直覺物理學(xué)的核心依賴于一組離散的概念（例如，對象的持久性、穩(wěn)固性、連續(xù)性等），可以區(qū)分、操作和單獨探測。傳統(tǒng)的 AI 學(xué)習(xí)直觀物理的標(biāo)準(zhǔn)方法通過視頻或狀態(tài)預(yù)測指標(biāo)、二元結(jié)果預(yù)測、問答性能或強化學(xué)習(xí)任務(wù)來學(xué)習(xí)物理世界。這些方法似乎需要理解直覺物理學(xué)的某些方面，但并沒有明確地操作或戰(zhàn)略性地探索一組明確的概念。

另一方面，發(fā)展心理學(xué)認(rèn)為一個物理概念對應(yīng)于一組未來如何展開的期望。例如人們期望物體不會神奇地從一個地方突然傳送到另一個地方，而是通過時間和空間追蹤連續(xù)的路徑，這就有了連續(xù)性的概念。因此，有一種測量特定物理概念知識的方法：違反期望 (VoE) 范式。

使用 VoE 范式探索特定概念時，研究人員向嬰兒展示視覺上相似的陣列（稱為探測（probe）），這些陣列與物理概念一致（物理上可能）或不一致（物理上不可能）。在這個范式中，「驚訝」是通過凝視持續(xù)時間來衡量的。

方法介紹

首先，DeepMind 提出了一個非常豐富的視頻語料庫 ——Physical Concepts 數(shù)據(jù)集。該數(shù)據(jù)集包含 VoE 探測視頻，針對五個重要的物理概念，這些概念在發(fā)展心理學(xué)中被視為核心要素，包括連續(xù)性、目標(biāo)持久性和穩(wěn)固性。第四種是不可變性，用于捕捉某些目標(biāo)屬性 (例如形狀) 不會改變的概念；第五個概念是方向慣性，涉及到運動物體在與慣性原理一致的方向上發(fā)生變化的期望。

最重要的是 Physical Concepts 數(shù)據(jù)集還包括一個單獨的視頻語料庫作為訓(xùn)練數(shù)據(jù)。這些視頻展示了各種程序生成的物理事件。

圖 2：用于訓(xùn)練模型的視頻數(shù)據(jù)集示例

PLATO 模型架構(gòu)

Deepmind 旨在建立一個能夠?qū)W習(xí)直觀物理學(xué)的模型，并剖析模型實現(xiàn)這種能力的原因。PLATO 模型中實例化了 AI 領(lǐng)域一些先進(jìn)的系統(tǒng)。

首先是目標(biāo)個性化過程。目標(biāo)個性化過程將視覺的連續(xù)感知輸入切割成一組離散的實體，其中每個實體都有一組對應(yīng)的屬性。在 PLATO 中，每個分段的視頻幀通過感知模塊分解為一組目標(biāo)代碼（圖 3a-c），從而實現(xiàn)從視覺輸入到個體目標(biāo)的映射。PLATO 沒有學(xué)習(xí)分割場景，但給定一個分割目標(biāo)，其學(xué)習(xí)一個壓縮表示。

其次，目標(biāo)跟蹤（或目標(biāo)索引）為每個目標(biāo)分配一個索引，從而實現(xiàn)跨時間目標(biāo)感知和動態(tài)屬性計算之間的對應(yīng)關(guān)系（圖 3b，c）。在 PLATO 中，目標(biāo)代碼在目標(biāo)緩沖區(qū)中的幀上累積和跟蹤（圖 3d）。

最后一個組件是這些被跟蹤目標(biāo)的關(guān)系處理，這一過程受到發(fā)展心理學(xué)中提出的「物理推理系統(tǒng)」的啟發(fā)，該系統(tǒng)可以動態(tài)地處理物體的表征，產(chǎn)生新的表征，這些表征會受到物體與其他物體之間關(guān)系和互動的影響。

PLATO 學(xué)習(xí)目標(biāo)內(nèi)存和目標(biāo)感知歷史之間的交互作用（圖 3d），以生成針對下一個目標(biāo)的預(yù)測視頻幀并更新基于目標(biāo)的內(nèi)存。

圖 3：PLATO 包括兩個組件：感知模塊（左）和動態(tài)預(yù)測（右）

實驗結(jié)果

在測試時，當(dāng)使用五種不同的隨機(jī)種子進(jìn)行訓(xùn)練時，PLATO 在所有五個探測類別中都顯示出強大的 VoE 效果。

圖 5：PLATO 在 Physical Concepts 數(shù)據(jù)集的探測中顯示出穩(wěn)健的效果。

Physical Concepts 數(shù)據(jù)集中的訓(xùn)練語料庫共包含 300000 個視頻。用保守計算方法，大約需要 52 天的持續(xù)視覺體驗。從 AI 和開發(fā)的角度來看，這存在一個問題，即在測試中產(chǎn)生 VoE 效果實際上需要多少訓(xùn)練數(shù)據(jù)。為了評估這一點，Deepmind 在大小逐漸減小的數(shù)據(jù)集上訓(xùn)練了三個 PLATO 動態(tài)預(yù)測器的隨機(jī)種子（圖 6），計算了所有五個探測類別的 VoE 效應(yīng)的總平均值。

在僅對 50000 個示例進(jìn)行訓(xùn)練后，研究結(jié)果表明，在使用少至 50000 個示例（相當(dāng)于 28 小時的視覺體驗）進(jìn)行訓(xùn)練后，Deepmind 的模型中出現(xiàn)了穩(wěn)健的 VoE 效果。

圖 6：PLATO 只需短短 28 小時的視覺體驗就能顯示出強大的效果。

泛化測試：Deepmind 采用 ADEPT 數(shù)據(jù)集，該數(shù)據(jù)集旨在探索直觀的物理知識。如圖 7 所示，PLATO 對所有三個探測類別都顯示出清晰的 VoE 效果。

圖 7：PLATO 展示了在不可見目標(biāo)和動態(tài)上的魯棒效果，而無需任何重新訓(xùn)練。

更多內(nèi)容，請查看原論文。?