有人說(shuō)，機(jī)器人領(lǐng)域進(jìn)展緩慢，甚至和機(jī)器學(xué)習(xí)的其他子領(lǐng)域相比顯得毫無(wú)進(jìn)展。

谷歌 DeepMind 機(jī)器人科學(xué)家，SayCan、RT-1、RT-2 等具身智能項(xiàng)目參與者 Alex Irpan 同意這一說(shuō)法。但他認(rèn)為，這是因?yàn)闄C(jī)器人學(xué)是一個(gè)和現(xiàn)實(shí)緊密連接的領(lǐng)域，現(xiàn)實(shí)的復(fù)雜性決定了他們不免碰壁。他還指出，這些問(wèn)題不是機(jī)器人技術(shù)所獨(dú)有的。同樣的問(wèn)題也適用于大語(yǔ)言模型（LLM）等技術(shù)。這些模型在面對(duì)現(xiàn)實(shí)世界時(shí)，會(huì)遇到與機(jī)器人學(xué)類(lèi)似的復(fù)雜性問(wèn)題。

最近，他寫(xiě)了一篇題為「The Tragedies of Reality Are Coming for You（現(xiàn)實(shí)的悲劇正在向你襲來(lái)）」的博客來(lái)闡述這一觀點(diǎn)。

現(xiàn)實(shí)的悲劇正在向你襲來(lái)

2023 年，我參加了一次 ML 會(huì)議。夜未央，酒酣耳熱，話題轉(zhuǎn)到了一個(gè)問(wèn)題上：「如果你能把任何一個(gè)機(jī)器學(xué)習(xí)子領(lǐng)域的資源都給另一個(gè)子領(lǐng)域，你會(huì)砍掉哪個(gè)，把資源給誰(shuí)？」

我不記得別人是怎么說(shuō)的，但有一個(gè)人說(shuō)他們會(huì)砍掉機(jī)器人。當(dāng)我進(jìn)一步追問(wèn)時(shí)，他們說(shuō)機(jī)器人技術(shù)進(jìn)展太慢，相對(duì)于其他領(lǐng)域來(lái)說(shuō)，什么都沒(méi)有發(fā)生。

他們說(shuō)機(jī)器人技術(shù)比純軟件的機(jī)器學(xué)習(xí)子領(lǐng)域進(jìn)展緩慢，我認(rèn)為他們說(shuō)得沒(méi)錯(cuò)，但我還想補(bǔ)充兩點(diǎn)：

• 機(jī)器人學(xué)習(xí)進(jìn)展較慢的原因是：如果不解決難題，就很難有所作為。
• 機(jī)器人技術(shù)的難題并非機(jī)器人獨(dú)有。

在機(jī)器人技術(shù)領(lǐng)域，人們常說(shuō)的一句話是「現(xiàn)實(shí)是混亂的」。相對(duì)于代碼而言，我會(huì)將其延伸為「現(xiàn)實(shí)是復(fù)雜的」。在機(jī)器人技術(shù)中，你往往要將混亂的現(xiàn)實(shí)推向一個(gè)足夠好的抽象層，以便代碼能夠在其上發(fā)揮作用。作為一個(gè)領(lǐng)域，計(jì)算機(jī)科學(xué)花了數(shù)十年時(shí)間在硬件和軟件之間創(chuàng)建了良好的抽象層。代碼描述了如何將電力輸送到硬盤(pán)、處理器和顯示器，它足夠可靠，我甚至不需要考慮它。

這樣做有很多好處。一旦你完成了這項(xiàng)艱巨的工作，并將你的工作進(jìn)展轉(zhuǎn)移到抽象的邏輯空間中，一切都會(huì)變得更容易。代碼和數(shù)據(jù)的可復(fù)制性令人難以置信。我在 3 臺(tái)設(shè)備上同步了代表這篇博文草稿的文件副本，甚至不用花費(fèi)任何精力思考。

不過(guò)，就像 Joel Spolsky 所說(shuō)，所有抽象在某種程度上都有漏洞，而我發(fā)現(xiàn)機(jī)器人技術(shù)中的漏洞往往更大。有很多出錯(cuò)的方式與代碼的正確性無(wú)關(guān)。

這和這個(gè)學(xué)科的一些基本原理有關(guān)嗎？有一點(diǎn)。很多機(jī)器人硬件比筆記本電腦或 Linux 服務(wù)器更具實(shí)驗(yàn)性。消費(fèi)類(lèi)機(jī)器人還不是一大產(chǎn)業(yè)?！笇?shí)驗(yàn)性」往往意味著「奇怪的、更容易出現(xiàn)故障的狀態(tài)」。

但是，我不認(rèn)為硬件是造成問(wèn)題的主要原因?，F(xiàn)實(shí)才是問(wèn)題的根源。Benjamin Holson 在他的「Mythical Non-Roboticist（神話般的非機(jī)器人學(xué)家）」一文中說(shuō)得非常好：

第一個(gè)難點(diǎn)在于，機(jī)器人要處理的是現(xiàn)實(shí)世界中不完美的感知和不完美的執(zhí)行。全局可變狀態(tài)是一種糟糕的編程風(fēng)格，因?yàn)樗娴暮茈y處理，但對(duì)于機(jī)器人軟件來(lái)說(shuō)，整個(gè)物理世界都是全局可變狀態(tài)，你只能不可靠地觀察它，并希望你的行動(dòng)能接近你想要實(shí)現(xiàn)的目標(biāo)。

機(jī)器人研究依賴(lài)于在現(xiàn)實(shí)與軟件之間搭建新的橋梁，但這也發(fā)生在機(jī)器人研究之外。任何與現(xiàn)實(shí)對(duì)接的軟件，對(duì)現(xiàn)實(shí)的了解都是不完美的。任何試圖影響現(xiàn)實(shí)世界變化的軟件，都必須應(yīng)對(duì)現(xiàn)實(shí)的全局可變狀態(tài)。任何軟件，如果其行為依賴(lài)于現(xiàn)實(shí)中發(fā)生的事情，就會(huì)招致對(duì)抗性的噪聲和復(fù)雜性。

游戲 AI 就是一個(gè)很好的例子。國(guó)際象棋 AI 是可靠的超人。然而，如果你以特定方式下棋，一些超人圍棋 AI 是可以擊敗的，正如 Tony T. Wang 等人在 ICML 2023 論文「Adversarial Policies Beat Superhuman Go AIs」中發(fā)現(xiàn)的那樣。對(duì)抗性技術(shù)找到了足夠清晰以至于人類(lèi)可以復(fù)制的策略。

在附錄 G.2 中，我們的一位作者，一位圍棋專(zhuān)家，能夠在沒(méi)有任何算法幫助的情況下，通過(guò)學(xué)習(xí)對(duì)手的對(duì)局記錄來(lái)實(shí)現(xiàn)這種 [cyclic] 攻擊。他們?cè)?KGS 在線圍棋服務(wù)器上以標(biāo)準(zhǔn)人類(lèi)條件對(duì)局，在與作者無(wú)關(guān)的頂級(jí) KataGo 機(jī)器人對(duì)局中取得了超過(guò) 90% 的勝率。

作者甚至在給機(jī)器人 9 個(gè)讓子的情況下獲勝，這是一個(gè)巨大的優(yōu)勢(shì)：擁有這些讓子的人類(lèi)職業(yè)棋手在面對(duì)任何對(duì)手（無(wú)論是人類(lèi)還是人工智能）時(shí)，勝率幾乎都是 100%。他們還擊敗了 KataGo 和 Leela Zero，二者每局棋的搜索次數(shù)都達(dá)到了 10 萬(wàn)次，這通常遠(yuǎn)遠(yuǎn)超出了人類(lèi)的能力范圍。此后，其他人類(lèi)也利用 cyclic 攻擊擊敗了其他各種頂級(jí)圍棋 AI。

與此同時(shí)，幾年前，OpenAI 創(chuàng)建了一個(gè)系統(tǒng)，該系統(tǒng)擊敗了 Dota 2 的衛(wèi)冕世界冠軍。在向公眾開(kāi)放該系統(tǒng)以測(cè)試其穩(wěn)健性后，一個(gè)團(tuán)隊(duì)設(shè)計(jì)了一套策略，取得了 10 場(chǎng)連勝。

基于這一點(diǎn)，你可能會(huì)持一種悲觀的觀點(diǎn)，認(rèn)為即使是連接 19 x 19 圍棋棋盤(pán)或 Dota 2 這樣一個(gè)簡(jiǎn)單的「現(xiàn)實(shí)」，其額外復(fù)雜性就足以使穩(wěn)健行為具有挑戰(zhàn)性。我認(rèn)為這種觀點(diǎn)有失公允，因?yàn)檫@兩個(gè)系統(tǒng)都沒(méi)有將穩(wěn)健性作為最高目標(biāo)，但我確實(shí)認(rèn)為它們是一個(gè)有趣的案例研究。

最近，圍繞 LLM 的炒作浪潮一浪高過(guò)一浪 —— 他們能做什么，他們能在哪里應(yīng)用。這其中隱含的一個(gè)信念是，LLM 可以極大地改變?nèi)藗冊(cè)诠ぷ骱托蓍e中與技術(shù)交互的方式。換句話說(shuō)，LLM 將改變我們與現(xiàn)實(shí)交互的方式。事實(shí)上，我也加入了這股炒作浪潮，具體來(lái)說(shuō)，我懷疑基礎(chǔ)模型短期炒作過(guò)度，長(zhǎng)期炒作不足。然而，這也意味著，對(duì)于一個(gè)歷來(lái)不善于考慮現(xiàn)實(shí)的領(lǐng)域來(lái)說(shuō)，現(xiàn)實(shí)的一切混亂都將到來(lái)。

就在這個(gè)人說(shuō)機(jī)器人技術(shù)是浪費(fèi)資源的同一個(gè) ML 會(huì)議上，我提到我們正在用真實(shí)機(jī)器人進(jìn)行基礎(chǔ)模型實(shí)驗(yàn)。有人說(shuō)這似乎有點(diǎn)嚇人，我向他們保證這只是一個(gè)研究原型。但我也覺(jué)得 LLM 生成和執(zhí)行軟件有點(diǎn)嚇人，我覺(jué)得他們隱隱擔(dān)心一個(gè)卻不擔(dān)心另一個(gè)很有意思。硅谷的人有點(diǎn)自相矛盾。他們既相信軟件能推動(dòng)初創(chuàng)企業(yè)實(shí)現(xiàn)驚人的變革，又相信他們的軟件不值得深思或反省。我認(rèn)為，比特世界與原子世界一樣，都是現(xiàn)實(shí)的一部分。它們?cè)诓煌膶用嫔线\(yùn)行，但都是現(xiàn)實(shí)的一部分。

我注意到（有些幸災(zāi)樂(lè)禍），LLM 從業(yè)者也開(kāi)始遭遇之前機(jī)器人技術(shù)碰到過(guò)的痛點(diǎn)。比如「我們無(wú)法復(fù)制這些訓(xùn)練，因?yàn)檫@太耗費(fèi)資金了」。是啊，這個(gè)問(wèn)題在機(jī)器人領(lǐng)域已經(jīng)討論了至少十年。再比如，「我沒(méi)法讓必應(yīng)告訴我《阿凡達(dá) 2》的上映日期，因?yàn)樗恢痹谡{(diào)出關(guān)于自己的新聞報(bào)道，并在生成前進(jìn)行自我修正?！?/span>

我們現(xiàn)在所處的世界，任何公開(kāi)的互聯(lián)網(wǎng)文本都會(huì)不可逆轉(zhuǎn)地影響檢索增強(qiáng)生成。歡迎來(lái)到全局可變狀態(tài)。每當(dāng)我看到有人聲稱(chēng) ChatGPT 的行為出現(xiàn)了倒退，我就會(huì)想起我和其他人為了解釋機(jī)器人性能突然莫名下降而想出的各種「陰謀論」，以及問(wèn)題究竟是出在模型、環(huán)境，還是我們的過(guò)度推斷。

俗話說(shuō)「所有的機(jī)器人 demo 都在撒謊」，人們發(fā)現(xiàn)所有的 LLM demo 也都在撒謊。我認(rèn)為，從根本上說(shuō)，這是無(wú)法避免的，因?yàn)槿祟?lèi)的注意力是有限的。重要的是評(píng)估謊言的類(lèi)型、大小和重要性。他們是否展示了模型 / 機(jī)器人如何泛化？他們有沒(méi)有提到這些例子是如何精挑細(xì)選的？一旦將現(xiàn)實(shí)聯(lián)系起來(lái)，這些問(wèn)題就會(huì)變得更加復(fù)雜。梅西目前看起來(lái)是個(gè)不錯(cuò)的球員，但「他能在斯托克城寒冷的雨夜做到這一點(diǎn)嗎」？

讓問(wèn)題變得復(fù)雜的是，這些問(wèn)題的答案并不總是「否」。梅西可以在斯托克城的寒冷雨夜做到這一點(diǎn)。他足夠優(yōu)秀。這讓問(wèn)題變得困難，因?yàn)檎_地回答一個(gè)「是」比正確地回答一個(gè)「否」要重要得多。隨著 LLM 越來(lái)越優(yōu)秀，隨著 AI 在日常生活中越來(lái)越常見(jiàn)，作為一個(gè)社會(huì)，我們需要越來(lái)越善于判斷模型是否已經(jīng)證明了自己。我對(duì)未來(lái)的主要擔(dān)憂之一，就是我們不善于評(píng)估模型是否已經(jīng)證明了自己。

但是，我期望機(jī)器人學(xué)家會(huì)走在曲線的前面。在 LLM 操縱通用基準(zhǔn)測(cè)試的說(shuō)法出現(xiàn)之前，我們就在抱怨評(píng)估問(wèn)題。早在「我們需要更好的數(shù)據(jù)覆蓋率」成為基礎(chǔ)模型預(yù)訓(xùn)練團(tuán)隊(duì)的口號(hào)之前，我們就在努力獲取足夠的數(shù)據(jù)，以捕捉自動(dòng)駕駛的長(zhǎng)尾效應(yīng)。機(jī)器學(xué)習(xí)一直生活在一個(gè)令機(jī)器人專(zhuān)家、化學(xué)家、生物學(xué)家和神經(jīng)科學(xué)家羨慕不已的泡沫中，隨著它真正開(kāi)始發(fā)揮作用，我們所有人都將遇到其他人多年來(lái)一直在應(yīng)對(duì)的同樣的現(xiàn)實(shí)壁壘。這些挑戰(zhàn)是可以克服的，但會(huì)很艱難。歡迎來(lái)到現(xiàn)實(shí)世界。歡迎來(lái)到痛苦的世界。