幾乎是和斯坦?！俺次r洗碗”機(jī)器人同一時(shí)間，谷歌DeepMind也發(fā)布了最新具身智能成果。

并且是三連發(fā)：

先是一個(gè)主打提高決策速度的新模型，讓機(jī)器人的操作速度（相比原來的Robotics Transformer）提高了14%——快的同時(shí)，質(zhì)量也沒有下滑，準(zhǔn)確度還上升了10.6%。

然后再來一個(gè)專攻泛化能力的新框架，可以給機(jī)器人創(chuàng)建運(yùn)動軌跡提示，讓它面對41項(xiàng)從未見過的任務(wù)，取得了63%的成功率。

別小看這個(gè)數(shù)組，對比之前的29%，進(jìn)步可謂相當(dāng)大。

最后是一個(gè)機(jī)器人數(shù)據(jù)收集系統(tǒng)，可以一次管理20個(gè)機(jī)器人，目前已從它們的活動中收集了77000次實(shí)驗(yàn)數(shù)據(jù)，它們將幫助谷歌更好地完成后續(xù)訓(xùn)練工作。

那么，這三個(gè)成果具體是什么樣？我們一個(gè)一個(gè)來看。

機(jī)器人日?；谝徊剑簺]見過的任務(wù)也能直接做

谷歌認(rèn)為，要生產(chǎn)出真正可進(jìn)入現(xiàn)實(shí)世界的機(jī)器人，必須要解決兩個(gè)基本挑戰(zhàn)：

1、新任務(wù)推廣能力

2、提高決策速度

本次三連發(fā)的前兩項(xiàng)成果就主要在這兩大領(lǐng)域作出改進(jìn)，且都建立在谷歌的基礎(chǔ)機(jī)器人模型Robotics Transformer（簡稱RT）之上。

首先來看第一個(gè)：幫助機(jī)器人泛化的RT-Trajectory。

對于人類來說，譬如完成擦桌子這種任務(wù)簡直再好理解不過了，但機(jī)器人卻不是很懂。

不過好在我們可以通過多種可能的方式將這一指令傳達(dá)給它，讓它作出實(shí)際的物理行動。

一般來說，傳統(tǒng)的方式就是將任務(wù)映射為一個(gè)個(gè)特定的動作，然后讓機(jī)械臂完成，例如對于擦桌子，就可以拆解為“合上夾具、向左移動、向右移動”。

很明顯，這種方式的泛化能力很差。

在此，谷歌新提出的RT-Trajectory通過給機(jī)器人提供視覺提示的方法來教它完成任務(wù)。

具體而言，由RT-Trajectory控制的機(jī)器人在訓(xùn)練時(shí)會加入2D軌跡增強(qiáng)的數(shù)據(jù)。

這些軌跡以RGB圖像的形式呈現(xiàn)，包括路線和關(guān)鍵點(diǎn)，在機(jī)器人學(xué)習(xí)執(zhí)行任務(wù)時(shí)提供低級但非常實(shí)用的提示。

有了這個(gè)模型，機(jī)器人執(zhí)行從未見過的任務(wù)的成功率直接提高了1倍之多（相比谷歌的基礎(chǔ)機(jī)器人模型RT-2，從29%=>63%）。

更值得一提的是，RT-Trajectory可以用多種方式來創(chuàng)建軌跡，包括：
通過觀看人類演示、接受手繪草圖，以及通過VLM（視覺語言模型）來生成。

機(jī)器人日常化第二步：決策速度一定要快

泛化能力上來以后，我們再來關(guān)注決策速度。

谷歌的RT模型采用的是Transformer架構(gòu)，雖然Transformer功能強(qiáng)大，但嚴(yán)重依賴于有著二次復(fù)雜度的注意力模塊。

因此，一旦RT模型的輸入加倍（例如給機(jī)器人配上更高分辨率的傳感器），處理起來所需的計(jì)算資源就會增加為原來的四倍，這將嚴(yán)重減慢決策速度。

為了提高機(jī)器人的速度，谷歌在基礎(chǔ)模型Robotics Transformer上開發(fā)了SARA-RT。

SARA-RT使用一種新的模型微調(diào)方法讓原來的RT模型變得更為高效。

這種方法被谷歌稱之為“向上訓(xùn)練”，它主要的功能就是將原來的二次復(fù)雜度轉(zhuǎn)換為線性復(fù)雜度，同時(shí)保持處理質(zhì)量。

將SARA-RT應(yīng)用于具有數(shù)十億參數(shù)的RT-2模型時(shí)，后者可以在各種任務(wù)上實(shí)現(xiàn)更快的操作速度以及更高的準(zhǔn)確率。

同樣值得一提的是，SARA-RT提供的是一種通用的加速Transformer的方法，且無需進(jìn)行昂貴的預(yù)訓(xùn)練，因此可以很好地推廣開來。

數(shù)據(jù)不夠？自己創(chuàng)造

最后，為了幫助機(jī)器人更好地理解人類下達(dá)的任務(wù)，谷歌還從數(shù)據(jù)下手，直接搞了一個(gè)收集系統(tǒng)：AutoRT。

這個(gè)系統(tǒng)將大模型（包括LLM和VLM）與機(jī)器人控制模型（RT）相結(jié)合，不斷地指揮機(jī)器人去執(zhí)行現(xiàn)實(shí)世界中的各種任務(wù)，從而產(chǎn)生數(shù)據(jù)并收集。

具體流程如下：

讓機(jī)器人“自由”接觸環(huán)境，靠近目標(biāo)。

然后通過攝像頭以及VLM模型來描述眼前的場景，包括具體有哪些物品。

接著，LLM就通過這些信息來生成幾項(xiàng)不同的任務(wù)。

注意了，生成以后機(jī)器人并不馬上執(zhí)行，而是利用LLM再過濾一下哪些任務(wù)可以獨(dú)立搞定，哪些需要人類遠(yuǎn)程控制，以及哪些壓根不能完成。

像不能完成的就是“打開薯片袋”這種，因?yàn)檫@需要兩只機(jī)械臂（默認(rèn)只有1只）。

再然后，做完這個(gè)篩選任務(wù)以后，機(jī)器人就可以去實(shí)際執(zhí)行了。

最后由AutoRT系統(tǒng)完成數(shù)據(jù)收集并進(jìn)行多樣性評估。

據(jù)介紹，AutoRT可一次同時(shí)協(xié)調(diào)多達(dá)20個(gè)機(jī)器人，在7個(gè)月的時(shí)間內(nèi)，一共收集了包括6650個(gè)獨(dú)特任務(wù)在內(nèi)的77000次試驗(yàn)數(shù)據(jù)。

最后，對于此系統(tǒng)，谷歌還特別強(qiáng)調(diào)了安全性。

畢竟AutoRT的收集任務(wù)作用于現(xiàn)實(shí)世界，“安全護(hù)欄”不能少。

具體而言，基礎(chǔ)安全守則由為機(jī)器人進(jìn)行任務(wù)篩選的LLM提供，它的部分靈感來自艾薩克·阿西莫夫的機(jī)器人三定律——首先也是最重要的是“機(jī)器人不得傷害人類。

其次還包括要求機(jī)器人不得嘗試涉及人類、動物、尖銳物體或電器的任務(wù)。

但這還遠(yuǎn)遠(yuǎn)不夠。

因此AutoRT還配有常規(guī)機(jī)器人技術(shù)中的多層實(shí)用安全措施。

例如，機(jī)器人在其關(guān)節(jié)上的力超過給定閾值時(shí)自動停止、所有行動都可由保持在人類視線范圍內(nèi)的物理開關(guān)停止等等。

還想進(jìn)一步了解谷歌的這批最新成果？

好消息，除了RT-Trajectory只上線論文以外，其余都是代碼和論文一并公布，歡迎大家進(jìn)一步查閱～

One More Thing

說起谷歌機(jī)器人，就不得不提RT-2（本文的所有成果也都建立之上）。

這個(gè)模型由54位谷歌研究員耗時(shí)7個(gè)月打造，今年7月底問世。

嵌入了視覺-文本多模態(tài)大模型VLM的它，不僅能理解“人話”，還能對“人話”進(jìn)行推理，執(zhí)行一些并非一步就能到位的任務(wù)，例如從獅子、鯨魚、恐龍這三個(gè)塑料玩具中準(zhǔn)確撿起“已滅絕的動物”，非常驚艷。

如今的它，在短短5個(gè)多月內(nèi)便迎來了泛化能力和決策速度的迅速提升，不由地讓我們感嘆：不敢想象，機(jī)器人真正沖進(jìn)千家萬戶，究竟會有多快？