英偉達Jim Fan最新TED演講上線：AI下一個前沿是「基礎(chǔ)智能體」！
「AI的下一個前沿將是『基礎(chǔ)智能體』（Foundation Agent）——一個掌握廣泛技能，控制許多身體，并能夠泛化到多個環(huán)境中的單一算法」。
等了三個月，英偉達高級科學(xué)家Jim Fan在TED AI 2023上的演講視頻終于上線了。
視頻中，Jim Fan提出了「Foundation Agent」，一個可以在虛擬世界和現(xiàn)實世界里泛化的通用智能體模型。
他具體解釋了，這項技術(shù)將如何從根本上改變我們的生活，進入到從視頻游戲和元宇宙，到無人機、仿人機器人的方方面面，并探討了單一模型如何掌握跨越這些不同現(xiàn)實的技能。
Jim Fan認為，「基礎(chǔ)智能體」應(yīng)該在3個維度上進行擴展：
- 技能：能解決的任務(wù)數(shù)量；
- 具身：能控制的身體形態(tài)的多樣性；
- 現(xiàn)實：智能體能掌握的虛擬或物理空間的數(shù)量。這包括有不同規(guī)則的游戲、模擬和真實世界場景。
我們?yōu)槭裁聪胍粋€單一的「基礎(chǔ)智能體」，而不是許多更小的模型？
在每個AI領(lǐng)域的發(fā)展歷史中，都能發(fā)現(xiàn)這樣模式：從專家模型 -> 通用模型 -> 專業(yè)化的通用模型。
這里的「專業(yè)化的通用模型」通常遠比原先的專家模型更強大，就像 LlaMA 的精煉版本遠超過5年前的定制化NLP系統(tǒng)一樣。
此外，Jim Fan本人還分享了演講時的心得。
「在TED演講時，我腳下只有一個「信心」顯示器，只顯示當前的幻燈片和計時器。這意味著我需要完全記住整段演講。一開始讓我很擔心，但事實證明，這是與聽眾建立聯(lián)系，直接觸及他們心靈的最佳方式」。
值得一提的是，Jim Fan還公開了這次演講的PPT，一起看看這場演講的精彩亮點吧。
TED演講全文
2016年的春天，我坐在哥倫比亞大學(xué)的一間教室里，并沒有專心聽講。相反，我正用電腦觀看一場棋盤游戲錦標賽。
這不是一場普通的比賽，而是一場非常、非常特別的比賽——AlphaGo與李世石開啟對決。
這場比賽，AI在五盤棋中贏了三盤，成為有史以來第一個在圍棋比賽中擊敗人類冠軍的「棋手」。
到現(xiàn)在，我仍然記得那天自己見證歷史的激動心情。AI智能體終于進入主流的時刻。
但當興奮褪去后，我意識到，AlphaGo雖然強大，但它只能做一件事，而且只能做一件事。
它無法玩任何其他游戲，比如《超級馬里奧》、《我的世界》，當然也不能幫你洗臟衣服，或今晚為你做一頓豐盛的晚餐。
我們真正想要的是：像機器人Wall-E那樣多才多藝的AI智能體，像《星球大戰(zhàn)》中的各種各樣機器人的載體或化身。
又或是像《頭號玩家》一樣，可以跨越無限的虛擬或現(xiàn)實世界。
那么我們?nèi)绾卧诓痪玫膶韺崿F(xiàn)這些科幻想法呢?
如下左圖是邁向通用AI智能體的一個實踐者指南。當前的大多數(shù)研究工作按以下三個維度展開：
AI智能體可以掌握的技能數(shù)量；可以控制的身體形態(tài)或載體；以及它所能掌握的現(xiàn)實情況。AlphaGo就在左下角的位置，但右上角才是我們真正要達到的目標。
Voyager玩轉(zhuǎn)「我的世界」
接下來，讓我們一次看一個維度。
今年早些時候，我?guī)ьI(lǐng)了「Voyager」項目，這是一個能在多種技能上大規(guī)模擴展的智能體。沒有任何游戲能比《我的世界》更好地支持無限的創(chuàng)造性玩法。
這有一個有趣的事實：《我的世界》現(xiàn)在有1.4億活躍玩家。這個數(shù)字相當于英國人口的2倍多。
這款游戲之所以如此受歡迎，是因為它是開放式的：沒有固定的游戲情節(jié)，你可以在游戲中做任何想做的事情。
當我們讓Voyager在《我的世界》中自由活動時，會發(fā)現(xiàn)它可以在沒有任何人干預(yù)的情況下，連續(xù)玩上幾個小時的游戲。
這段視頻展示了Voyager在一次游戲中連續(xù)行動的片段。
它可以探索地形，開采各種材料，與怪物戰(zhàn)斗，制作數(shù)百種配方，并解鎖一個不斷擴展的技能樹。
那么，其中的奧妙是什么呢？核心要義是「編碼即行動」。
首先，我們使用社區(qū)制作的Minecraft JavaScript API將3D世界轉(zhuǎn)換為文本表示。Voyager調(diào)用GPT-4，用JavaScript編寫代碼片段，這些代碼片段將成為游戲中的可執(zhí)行技能。
然而，就像人類工程師一樣，Voyager也會犯錯。它并不總是在第一次嘗試時，就正確地完成程序。
因此，我們?yōu)樗砑恿艘粋€「自我反思」機制，以便改進。
「自我反思」有三個反饋來源：JavaScript代碼執(zhí)行錯誤；智能體狀態(tài)，如健康和饑餓；以及世界狀態(tài)，如附近的地形和敵人。
因此，Voyager會執(zhí)行一個動作，觀察這個動作對世界和自身的影響，反思如何才能做得更好，并嘗試一些新的行動方案，然后不斷重復(fù)。
一旦技能成熟，Voyager就會把它保存到技能庫中，作為一種持久的記憶。
你可以把技能庫看作一個完全由語言模型編寫的代碼庫。
通過這種方式，Voyager在《我的世界》中探索和實驗過程中，能夠以遞歸的方式擴展自身的能力。
讓我們一起看個例子。
Voyager發(fā)現(xiàn)自己很餓，需要盡快獲得食物。它檢測到附近有四個實體：一只貓、一個村民、一頭豬和一些小麥種子。
Voyager開始了內(nèi)心獨白：「我要殺死貓，還是村民來獲取食物？這主意糟透了。小麥種子如何？我可以用種子種植農(nóng)場，但那需要很長時間。對不起，小豬，你被選中了」。
隨后，Voyager在它的物品欄中發(fā)現(xiàn)了一塊鐵。
于是，它從技能庫中回想起了一個舊技能來制作鐵劍，并開始學(xué)習一個新技能「獵豬」。現(xiàn)在我們也知道，不幸的是，Voyager不是素食主義者。
還有一個問題：Voyager如何無限期地探索下去？
我們只給了它一個高級指令，那就是盡可能多地獲取獨一無二的物品。
Voyager自己實現(xiàn)了一個curriculum：主動找到逐步更難、更新穎的挑戰(zhàn)來解決。
將所有這些整合在一起，Voyager不僅能掌握，還能在過程中發(fā)現(xiàn)新的技能。而我們沒有預(yù)先編程任何內(nèi)容，一切都是Voyager的主意。
當一個智能體永遠充滿好奇心，永遠追求新的探險，這就是我們所說的終身學(xué)習。與AlphaGo相比，Voyager能做的事情非常多，但仍只能在《我的世界》中控制一個身體。
MetaMorph讓AI有多個身體
那么問題來了：我們能否有一個可以在不同載體上工作的算法？一起來看MetaMorph，這是我在斯坦福共同開發(fā)的一個項目。
我們創(chuàng)建了一個基礎(chǔ)模型，它不僅能控制一個機器人，還能控制數(shù)千個手臂和腿部配置各異的機器人。
Metamorph能夠處理來自不同機器人身體的各種運動特征。
如下我們?nèi)绾蝿?chuàng)建MetaMorph的直觀方法。首先，我們設(shè)計一個特殊的詞來描述身體部件，這樣每個機器人本質(zhì)上就是用這種詞寫成的一句話。
然后，我們對其應(yīng)用Transformer，就像ChatGPT一樣，但MetaMorph寫出的不是文本，而是運動控制。
我們展示了MetaMorph能夠控制成千上萬個機器人上下樓梯、穿越復(fù)雜地形，避開障礙物。
放眼未來，如果我們可以大大擴展這個機器人詞匯量，我設(shè)想MetaMorph 2.0將能夠泛化到機器手、人形機器人、狗、無人機甚至更多領(lǐng)域。
與Voyager相比，MetaMorph在多體控制方面邁出了一大步。
不同虛擬環(huán)境模擬
現(xiàn)在，讓我們將一切再提升一個層次，在不同的環(huán)境之間轉(zhuǎn)移技能和載體。來看IsaacSim，這是英偉達的模擬平臺。
IsaacSim最大的優(yōu)勢是，將物理模擬加速到比實時快1000倍。
例如，這個小人只用了3天的模擬時間，就通過10年的高強度訓(xùn)練，學(xué)會了令人印象深刻的武術(shù)。
而這個賽車場景則是，仿真技術(shù)跨過「恐怖谷」的地方。
多虧了硬件加速光線追蹤技術(shù)，我們才能渲染出極其復(fù)雜的場景，并呈現(xiàn)出令人嘆為觀止的細節(jié)。
你在這里看到的逼真效果將幫助我們訓(xùn)練計算機視覺模型，這些模型將成為每個人工智能智能體的眼睛。
更重要的是，IsaacSim可以程序化地生成具有無限變化的世界，因此沒有兩個世界看起來是一樣的。
這里有一個有趣的想法。
如果一個智能體能夠掌握10000個模擬，那么它很有可能會泛化到真實物理世界，因為我們的世界也只是第10001個「實境」。讓我們沉浸其中吧。
隨著我們在這張圖上的進展，我們最終會到達右上角，那是一個能在所有三個軸上進行泛化的單一智能體，那就是「基礎(chǔ)智能體」。
我相信，基礎(chǔ)智能體的訓(xùn)練將與ChatGPT非常相似。
所有語言任務(wù)都可以表達為文本輸入和文本輸出。無論是寫詩、將英語翻譯成西班牙語還是編寫Python代碼，都是一樣的。
而ChatGPT只需在大量數(shù)據(jù)中進行大規(guī)模擴展即可。
原理一樣?；A(chǔ)智能體將任務(wù)提示作為輸入，并輸出操作。
我們只需在大量現(xiàn)實數(shù)據(jù)中對其進行大規(guī)模擴展，即可對其進行訓(xùn)練。
我相信在未來，一切能夠移動的東西最終都將是自主的。
有一天我們會發(fā)現(xiàn)，所有的AI智能體，無論是《Wall-E》、《星球大戰(zhàn)》，還是《頭號玩家》。
無論是在物理空間還是虛擬空間，對于同一個基礎(chǔ)智能體來說都只是不同的提示。
朋友們，這將是我們探索人工智能的下一個巨大挑戰(zhàn)。
