別光只看Figure 02了，國產機器人最新成果曝光，大秀肌肉！

就在北京亦莊，竟有這么一家人形機器人“健身房”。

這里的機器人率先實現(xiàn)在跑步機上訓練，一小時能跑6km的那種：

而這只是熱身，跑完還要爬樓梯：

到了室外，機器人專用道也安排上了，30度高溫下不能停：

圖片

時不時還要來點草坪、斜坡等復雜地形上難度：

它就是今年四月份在國內首發(fā)的純電驅全尺寸人形機器人天工，由北京具身智能機器人創(chuàng)新中心研發(fā)。

剛問世那會兒，天工主打的還是擬人奔跑，短短幾個月，本事又長了不少。

除了上面所展示的在跑步機上奔跑、戶外復雜地形行走，天工現(xiàn)在還加持了大模型，可中英文對話，還能聽從人類指令抓取物品。

最近，2024世界機器人大會就要舉辦了，量子位提前打聽到，整合“不只”這些能力，進化版“天工”將在大會上亮相。

而且到時候天工會換“馬甲”，裝上手，還會升級大關節(jié)。

關于進化版天工的能力，我們和其運動控制負責人郭宜劼聊了聊。

全身42個自由度，大模型加持

升級后的天工功能參數(shù)一覽如下：

和之前相比如下表，身高163cm，體重由原來的43kg增加到了56kg。

全身自由度增加到了42個，相比之前單只手臂自由度由3個增加到7個，頸部也增加了3個自由度。

△初代天工功能參數(shù)

此前天工“沒有手”，這次也裝上了。單只手重達600g，具有6個自由度，觸覺傳感器精度在0.3N以內，單指的抓握力大于1kg。

而且天工還配備了四個全場景雙目結構光3D相機、高精度六維力傳感器，可實現(xiàn)360度環(huán)境感知。

通過對環(huán)境的感知，天工能適應復雜地形，在草地、沙地、丘陵、碎石里移動，應對30cm的地形差也不是問題。

奔跑起來穩(wěn)定性也提升了，速度可達6km/h。

除此外，天工的另一大升級是搭載了大模型，具備了多模態(tài)操作能力。

現(xiàn)在能開口說話和人類交互，支持中英文。

還能聽從人類指令抓取物品：

而這些只是其中的一部分，世界機器人大會上還會有更多展示和驚喜。

天工首秀那會兒，主打擬人奔跑單項能力。從目前的進化版來看，結合了感知交互，可以說，天工已經初步形成了具身智能體形態(tài)。

研究具身智能規(guī)劃決策和任務執(zhí)行，也正是天工背后團隊目前的關注重點。

打造具身智能體

以具身智能為基礎，目前在技術實現(xiàn)上，研究團隊重點提升了天工的視覺感知能力。

之前天工行走是“盲視”狀態(tài)，需要用腳掌對地面進行試探，而現(xiàn)在基于視覺感知，面對較大地形差，天工可以通過提前預測做出抬高腿等動作來應對。

具體方法上，團隊基于強化學習，自研了運動技能學習方法——基于狀態(tài)記憶的預測型強化模仿學習。

此前量子位也有介紹，該方法融合了傳統(tǒng)方法平穩(wěn)性高的優(yōu)點，以及強化學習泛化性強、不依賴環(huán)境的優(yōu)點。

既解決了強化學習帶來的定位精度差的問題，又解決了模型預測控制方法當中對于非結構化環(huán)境適應性差的問題。

天工運動控制負責人郭宜劼也向量子位透露，之前團隊在訓練時發(fā)現(xiàn)，一些網絡在實際運行過程中可能會很容易受傳感器漂移的干擾，有時會表現(xiàn)出姿態(tài)的不穩(wěn)定等情況，由此提出了這種方法。

初代天工發(fā)布后，團隊在接下來的幾個月的訓練中，為天工加入了更多的歷史狀態(tài)記憶，使其能夠對當前的自身狀態(tài)和環(huán)境地形進行估計，從而有更好的泛化效果。

圖片

郭宜劼還表示，目前具身智能要解決的是“Action”任務規(guī)劃執(zhí)行這方面的問題。

無論從任務種類還是復雜度上來說，讓它能夠覆蓋人類日常工作生活中大部分的任務。它能干的活種類變多，大腦再去配合起來就能夠實現(xiàn)更復雜、更長線的任務。

圖片

對于實現(xiàn)復雜任務規(guī)劃，他分享了幾條技術路線：

像是特斯拉機器人，主要采用的是收集數(shù)據，然后用數(shù)據進行監(jiān)督學習，針對比較單一固定的場景訓練機器人自動執(zhí)行。這種方法雖收效比較快，但泛化能力差一些。

還有一種是在仿真環(huán)境中進行強化學習訓練，主要依賴的是在一個環(huán)境中進行不斷地試錯，自我學習。這種方法遇到的主要問題是，怎樣從仿真環(huán)境遷移到真實的物理場景中。從感知層面到和具體的物理交互，仿真和真實場景都有很大的差別。

另外一種方法是直接用大模型輸出一些任務點，然后用傳統(tǒng)的運動規(guī)劃去執(zhí)行這些任務。

而天工研發(fā)團隊的方案是將不同的方法融合，下一步要打造出一個元技能庫：

現(xiàn)在這個階段我覺得是要擴大機器人的技能庫……包括這幾種方法在內，每一種方法都可以用來解決不同的任務場景。所以說技能庫里每種技能可能是使用不同的方式來實現(xiàn)的。

解決國內機器人“共性”問題

再來說說天工背后公司，量子位此前也有介紹過。

北京具身智能機器人創(chuàng)新中心（下稱創(chuàng)新中心），原名北京人形機器人創(chuàng)新中心，去年11月成立，由小米機器人、優(yōu)必選、京城機電、亦莊機器人等聯(lián)合組建。

他們瞄準的是解決具身智能機器人的關鍵共性問題，避免國內機器人行業(yè)重復簡單造輪子的過程。

創(chuàng)新中心聚集了一批頂尖科學家和工程師，還牽頭成立了創(chuàng)新中心專家委員會和北京人形機器人產業(yè)聯(lián)盟。

創(chuàng)新中心專家委員會由中國科學院院士喬紅擔任主任，通用研究院院長朱松純、智源研究院理事長黃鐵軍、信通院總工程師魏然擔任副主任。

今年四月份，創(chuàng)新中心推出了“天工”通用機器人母平臺，即具身智能硬件開源平臺。

“天工”平臺可實現(xiàn)靈活擴展軟、硬件等功能模塊，提供了一系列開放接口，科研機構及機器人相關企業(yè)可基于“天工”母平臺軟硬件功能進行二次開發(fā)。

當時他們就預告了將著眼于依靠大模型驅動，探索通用具身智能平臺。而現(xiàn)在多能具身智能體母平臺“開物”，也逐漸浮出水面，正緊鑼密鼓研發(fā)中。

“開物”平臺著眼于具身智能大模型及框架，聚焦多模態(tài)的關鍵法、具身智能仿真應用建設及工具鏈整套體系建設。

圍繞“開物”，團隊正在打造大規(guī)模具身智能數(shù)據集，用來支撐超70億參數(shù)視覺語言多模態(tài)大模型訓練調優(yōu)，實現(xiàn)機器人中文互動、開放問答、場景視覺理解、具身操作等能力。

計劃是，在2025年底前發(fā)布200萬條高質量數(shù)據。

話說回來，最近人形機器人領域有不少新進展傳出。

優(yōu)必選透露人形機器人已在極氪工廠打工；特斯拉官圖顯示Optimus已進廠挑揀電池；OpenAI加持的機器人Figure 02，進駐寶馬打工……

雖然“天工”和它們不是一個賽道，主要是解決具身智能的共性問題，但……也沒能逃過搬磚的命運。

據了解，它正初步在一些場景中進行數(shù)據采集試訓，比如重復性比較高、枯燥乏味的搬運分揀物品，在危險場景如礦井、工地進行巡檢、搜救……

2024世界機器人大會馬上將于8月21日在北京經濟技術開發(fā)區(qū)開幕，期待進化版“天工”的家人們可以碼住了，聽說創(chuàng)新中心會有一個精彩的展位，可以看到“天工”機器人家族的集體亮相，還會辦一個分論壇~

One More Thing

為啥要讓機器人在跑步機上跑？大伙兒猜猜看（doge）。

圖片

答：除了對平衡性要求更高外，跑步機速度可控，能夠比較準確客觀測試；機器人跑步實驗需要占用比較大的場地，跑步機省地方啊。