UC伯克利的雙足機(jī)器人，跑步又破紀(jì)錄了！

最近，HYBRID ROBOTICS研究團(tuán)隊的Cassie，給我們來了一段驚艷的表演——

以2分34秒的成績，跑完了400米！

隨后，它又在不需要額外訓(xùn)練的情況下，完成了1.4米的跳遠(yuǎn)。

是的，相信你已經(jīng)注意到了，它的外形十分獨特——只有下半身！

沒錯，跑步什么的，要上半身干啥。

400米沖刺腳下生風(fēng)

沒有腿意味著什么？當(dāng)然是——速度就是一切！

一聲令下，Cassie就開始跑400米了。

只見它兩腳生風(fēng)，腳步敏捷。

就是，不知道腳下這雙跑鞋有沒有速度加成？

可以看到，Cassie的跑步姿勢十分標(biāo)準(zhǔn)，沒有任何累贅的動作。

而研究人員則全程跟在后面陪跑。

現(xiàn)在，Cassie在做最后的沖刺，它集中精力一鼓作氣，一躍而沖過了終點線。

它最后的成績是——2分34秒！

這個成績，或許已經(jīng)超越了不少人類。

算起來，Cassie的步速是每分155.6米。

在21年，Cassie在中途不充電的條件下，完成了5公里的戶外長跑，用時53分鐘，這個步速是每分94.3米。

這個進(jìn)步是肉眼可見的。

Cassie是利用神經(jīng)網(wǎng)絡(luò)強化學(xué)習(xí)進(jìn)行訓(xùn)練的，因此，它可以從頭掌握簡單的技能，比如原地跳躍、向前走或跑而不摔倒。

它被孤立模仿人體動捕的數(shù)據(jù)，和動作的演示動畫。

最后，團(tuán)隊還測試了Cassie的跳遠(yuǎn)能力，注意，這是在它沒有經(jīng)過額外訓(xùn)練的情況下。

它的成績是1.4米。

RL通用框架，跑步、跳高、跳遠(yuǎn)多才多藝

Cassie怎么這么強？

我們在這篇發(fā)表于1月底的論文中，找到了答案。

論文地址：https://arxiv.org/pdf/2401.16889.pdf

利用深度強化學(xué)習(xí)（RL），研究者為雙足機(jī)器人創(chuàng)建了動態(tài)運動控制器。

他們開發(fā)出了一種通用控制解決方案，可用于一系列動態(tài)雙足技能，比如周期性行走，跑步，以及非周期性的跳躍和站立。

這個通用控制框架，可以實現(xiàn)各種周期性和非周期性的雙足運動技能

基于強化學(xué)習(xí)的控制器，他們采用了新穎的雙歷史架構(gòu)，利用了機(jī)器人的長期和短期輸入/輸出(I/O)歷史。

當(dāng)通過端到端強化學(xué)習(xí)方法進(jìn)行訓(xùn)練時，這種控制架構(gòu)在模擬和現(xiàn)實世界中的各種技能上，都始終優(yōu)于其他方法。

另外，RL系統(tǒng)還引入了適應(yīng)性和魯棒性。

可以證明，通過有效利用機(jī)器人的I/O歷史記錄，架構(gòu)就可以適應(yīng)各種變化，如接觸事件。

魯棒性的另一個關(guān)鍵來源，就是任務(wù)隨機(jī)化。

因此，我們就看到了Cassie的各種運動技能。比如穩(wěn)穩(wěn)地站立，多才多藝地步行，快速跑步，以及各種跳高和跳遠(yuǎn)。

這個研究所基于RL的控制器架構(gòu)如下圖，它利用了機(jī)器人的輸入和輸出（I/O）的雙重歷史記錄。

利用這個多階段的訓(xùn)練框架，就可以獲得零樣本轉(zhuǎn)移到現(xiàn)實世界的通用控制策略。

如下是基于RL的雙足機(jī)器人運動控制策略架構(gòu)各種基線的圖示。

利用研究者開發(fā)的多功能跑步策略，Cassie成功完成了400米沖刺。

這個過程是使用單一跑步策略完成的。

它使得機(jī)器人能夠從站立姿勢轉(zhuǎn)變?yōu)槠骄?.15m/s和峰值3.54m/s的快速跑步步態(tài)。

使用微調(diào)的跑步策略，Cssie還以快速的跑步步態(tài)完成了100米短跑。

用訓(xùn)GPT的方法，訓(xùn)出人形機(jī)器人

機(jī)器人接管舊金山？

在今年1月，UC伯克利的人形機(jī)器人顯眼包「小綠」，就曾經(jīng)大規(guī)模引起了人們的注意。

那時它長這樣——

看著挺好，就是沒脖子。

只見它在圍觀人群的驚嘆聲中，大搖大擺地走出UC伯克利校門。

在操場草坪上，跟大爺一樣練習(xí)倒步走。

身影遍布UC伯克利校園的各個角落。

甚至引起網(wǎng)友驚呼：機(jī)器人接管舊金山了？

預(yù)測下一個動作，控制人形機(jī)器人行走

不久后，就在2月底，UC伯克利就發(fā)表了一篇重磅論文，介紹「小綠」是怎么訓(xùn)練出的。

論文地址：https://arxiv.org/pdf/2402.19469.pdf

在這篇論文中，他們介紹了訓(xùn)練人形機(jī)器人的方法——跟訓(xùn)練GPT的方法是一樣的。

用這種訓(xùn)練GPT的方法，研究者成功地訓(xùn)練出了人形機(jī)器人的類人運動。

重點就是：通過預(yù)測下一個動作，來控制人形機(jī)器人的行走。

人體運動作為下一個token預(yù)測

在一系列模擬軌跡上，他們對模型進(jìn)行了訓(xùn)練。

而這些軌跡，來自之前的神經(jīng)網(wǎng)絡(luò)策略。

使用不同數(shù)據(jù)源進(jìn)行訓(xùn)練的通用框架

人形機(jī)器人所學(xué)習(xí)的，就是基于模型的控制器、動捕數(shù)據(jù)和YouTube上的人類視頻。

訓(xùn)練數(shù)據(jù)集的4個來源

結(jié)果，這個模型能讓全尺寸的人形機(jī)器人在完全未經(jīng)訓(xùn)練的情況下，直接完成行走！

僅僅用了27個小時的訓(xùn)練，模型就能在現(xiàn)實世界中泛化了。

而訓(xùn)練過程中從未見過的指令，機(jī)器人也能應(yīng)對。

從此，機(jī)器人可以學(xué)習(xí)真實世界的控制任務(wù)了。