自制一個能給葡萄縫針的機械臂？

[[428703]]

近日，知名「硬核」up主稚暉君展示了一款自己從零到一設(shè)計的小型高精度六軸機械臂Dummy。

視頻一出，直接沖到B站排行榜前十，打開彈幕，滿屏都是驚嘆號。

在「瑟瑟發(fā)抖」、「保存=會做」、「他竟然在試圖教會我們」、「我看不懂，但大受震撼」的彈幕之中，有網(wǎng)友說「希望我們也能盡早做出中國版的『達芬奇』機器人」。

[[428704]]

不止華為，其實各大科技公司都在發(fā)力機器人的技術(shù)研究。就在最近舉辦的國際智能機器人與系統(tǒng)大會IROS 2021上，我們就看到了很多熟悉的身影，其中不乏堪比穿針引線的靈活操作技術(shù)。

而這其中，有一個你肯定意想不到的名字！

沒條胳膊也算機器人？

雖然現(xiàn)在服務(wù)型機器人遍地開花，不過大多只能問個「您好，請問有什么能幫您」，然后回答一個「暫不支持該功能」，連送個外賣都得人追著外賣跑。

為什么這些機器人難以派上用場？

嗯。。?？赡艿孟刃枰粋€可以靈活抓取的機械臂。

此處先放一個彩蛋

抓取是機械臂的基本功，要想成功完成抓取任務(wù)，需要闖過三個關(guān)卡：抓取物體時定位要精準，抓取姿態(tài)要合適，對物體間遮擋可能造成的碰撞要先知先覺，闖過了這三關(guān)，機器人才算是入了門。

這篇字節(jié)跳動AI Lab和中科院自動化所合作發(fā)表在IROS 2021的論文就提出了一個全新的機器人抓取操作方法。

https://arxiv.org/pdf/2108.02425.pdf

作者通過結(jié)合3D物體分割、碰撞預(yù)測和物體姿態(tài)估計，讓機器人能在雜亂場景中準確地估計出物體級別、無碰撞的六自由度抓取姿態(tài)，并且達到了SOTA。

聯(lián)合實例分割及碰撞檢測的機器人抓取姿態(tài)估計示意圖

首先采用PointNet++作為編碼器從點云中捕捉3D特征信息，后接三個并行解碼器：實例分割解碼器，六自由度抓取姿態(tài)解碼器和碰撞檢測解碼器。

這三個解碼器分支分別輸出逐點的實例分割、抓取配置和碰撞預(yù)測。在推理階段，作用于同一個實例，且不會發(fā)生碰撞的抓取姿勢會被歸為一組，通過位姿非極大值抑制算法融合形成最后的抓取姿勢。

聯(lián)合實例分割及碰撞檢測的機器人抓取姿態(tài)估計算法框圖

實例分割分支

想抓取一個物體，得先能看清它，看得清楚，才能抓得準確。實例分割分支采用一個逐點實例語義分割模塊來區(qū)分多個對象。具體來說，屬于同一實例的點應(yīng)該具有相似的特征，而不同實例的特征應(yīng)該不同。

在訓(xùn)練過程中，每個點的語義和實例標簽都是已知的，用二分類交叉熵來計算該分支輸出的語義損失

，可以對背景和前景進行分類。

而實例損失

通過一個判別損失函數(shù)

來計算：方差損失

可以讓屬于同一個實例的點盡量向?qū)嵗行狞c靠近，而距離損失

是為了增加不同實例中心之間的距離，正則化損失

約束所有實例朝向原點，以保持激活有界。

用于實例分割的判別損失函數(shù)圖解

整體實例分割的總損失

為語義損失和實例損失之和。

這樣，實例分割分支就可以為算法學(xué)習(xí)實例級的抓握提供實例信息，因而模型可以自主完成抓取，更可以由你指定抓取目標，聽你差遣，指哪抓哪。

六自由度抓取姿態(tài)估計分支

六自由度抓取姿態(tài)估計分支在得到了實例的點云后，會為點云中的每個點生成SE(3)抓取配置參數(shù)，SE(3)抓取配置g由抓取中心點gt、旋轉(zhuǎn)矩陣gR、抓取寬度gw、抓取深度gd和抓取質(zhì)量評估分數(shù)gs構(gòu)成且每個點僅對應(yīng)一個最優(yōu)的抓取配置參數(shù)組合。

在訓(xùn)練時，將場景點云中可抓取點的預(yù)測視為一個二分類任務(wù)，使用交叉熵損失函數(shù)監(jiān)督排除不可抓點，僅保留可抓點。每個可抓點的損失包含了旋轉(zhuǎn)損失

、抓持深度損失

和抓持質(zhì)量得分損失

，以此進行監(jiān)督訓(xùn)練。

可是，從非線性和不連續(xù)的旋轉(zhuǎn)表示(如四元數(shù)或旋轉(zhuǎn)矩陣)中直接學(xué)習(xí)六自由度抓取姿態(tài)是非常困難的，為了解決這個問題，gR用兩個正交的單位向量將傳統(tǒng)旋轉(zhuǎn)矩陣分解為手爪的接近物體的方向

和手爪閉合的方向

。

為了優(yōu)化，將旋轉(zhuǎn)損失

分為三個部分：偏移損失

、余弦損失

和關(guān)聯(lián)損失

，分別用于約束位置、角度預(yù)測和正交性。抓持寬度損失

和抓持質(zhì)量得分損失

用均方誤差(MSE)損失進行優(yōu)化。

六自由度抓取姿態(tài)估計分支無需事先假定物體的幾何信息，能夠直接從3D點云的特征中進行抓取姿態(tài)的預(yù)測，并對損失函數(shù)做了更精巧的設(shè)計，對于復(fù)雜場景中各種形狀和大小的物體都能「探囊取物」。

碰撞檢測分支

雖然前兩個分支能夠?qū)崿F(xiàn)實例級六自由度抓取姿態(tài)預(yù)測，但仍然需要一個碰撞檢測分支來推斷每個抓取的潛在碰撞以保證生成的抓取姿態(tài)在場景中是有效的和可執(zhí)行的。

碰撞檢測分支采用了一個可學(xué)習(xí)的碰撞檢測網(wǎng)絡(luò)來直接預(yù)測所生成的抓取姿態(tài)可能產(chǎn)生的碰撞。

在訓(xùn)練過程中，將對無碰撞和有碰撞視為二分類問題并進行采樣，真實的碰撞結(jié)果標簽由已有的碰撞檢測算法根據(jù)六自由度抓取姿態(tài)估計分支的抓取配置生成，碰撞損失函數(shù)

使用二分類交叉熵損失進行監(jiān)督。

并行的碰撞檢測分支使得該方法的六自由度抓取姿態(tài)估計分支不依賴碰撞檢測作為后處理模塊來過濾無效的抓取姿態(tài)，大幅降低「思考」延遲，機械臂的抓取動作看上去就是兩個字，絲滑！

在公開數(shù)據(jù)集Graspnet-1Billion上的小試牛刀，一不小心就拿了個SOTA：

GraspNet-1Billion數(shù)據(jù)集實驗結(jié)果

刷刷榜不過癮，使用Kinova Jaco2機器人和商用RGB-D相機Realsense實戰(zhàn)演練，再拿SOTA，成功率和完成率較之前表現(xiàn)最好的GraspNet都有不小的提升：

真實機器人平臺實驗結(jié)果

入門先學(xué)抓，要想拜師學(xué)藝，還得練練放。

合理地抓和放，可以完成更復(fù)雜的任務(wù)，比如自主裝配，搭建等任務(wù)。

同樣是IROS 2021收錄的一篇字節(jié)跳動和清華大學(xué)合作的論文，讓機器人可以在沒有人類指導(dǎo)的圖紙的情況下，也能進行結(jié)構(gòu)設(shè)計與建造。

而以往機器人在裝配、布置、堆積木時，得先告訴它任務(wù)的最終目標狀態(tài)，相當于按「圖」施工，沒「圖」可干不了。

https://arxiv.org/pdf/2108.02439.pdf

搭個橋嘛，這有啥難的？

如果不依賴人類設(shè)計出的藍圖，機器人要面對的是一個任意寬的懸崖，一堆雜亂擺放的積木塊。

搭個什么樣的橋啊？自己考慮。用幾塊積木?。吭缴僭胶?。這橋不會塌吧？那誰知道呢。

一問三不知，這可比給了精確目標狀態(tài)的標準裝配任務(wù)難多了，因為機器人既要考慮積木的操作順序，還必須找出即物理上穩(wěn)定的橋的架構(gòu)，規(guī)劃的搜索空間之大，讓人頭皮發(fā)麻。

工程師們腦洞大開，提出了一個雙層框架來解決橋梁的設(shè)計和施工任務(wù)，在概念上，類似于任務(wù)與動作規(guī)劃(Task and Motion Planning，TAMP) ：機器人先學(xué)習(xí)一個高層藍圖策略來一次又一次生成將一個構(gòu)建塊移動到所需位置的組裝指令，再實施一個低層操縱策略來執(zhí)行高層指令。

這其中的創(chuàng)新之處在于：高級藍圖策略是以物理感知的方式，使用深度強化學(xué)習(xí)在一個魔改的物理模擬器中學(xué)習(xí)神經(jīng)藍圖策略。

高層藍圖策略

高層藍圖策略要學(xué)習(xí)的，就是按順序生成取放指令，用最少的積木搭建一座連接兩個懸崖的平橋，還不能倒。

每次，agent都可以觀察一下當前場景，然后指示拿一個積木去搭橋。讓物理引擎飛一會兒，agent就可以接收來自環(huán)境的反饋（橋垮沒垮），繼續(xù)觀察連續(xù)的場景并給出下一個指令。

咦？這個不就是傳說中的馬爾可夫決策過程(MDP)問題嗎？不用懷疑，你又學(xué)會了。

用元組{S,A,Γ,R,T}定義這個問題，S表示狀態(tài)空間，A表示動作空間，Γ是轉(zhuǎn)移函數(shù)，R代表獎勵函數(shù)，T是一回合的視野。

狀態(tài)空間編碼所有N個構(gòu)建塊和2個懸崖的狀態(tài)：

，

是包含三維位置、歐拉角、笛卡爾速度、角速度、表示物體是否為積木的一維物體類型指示器和一維時間組成的向量。

動作空間簡單一點，只生成拾取放置指令，將構(gòu)建塊放在橫跨兩個懸崖中間的yz二維平面上，編碼了一維目標對象標識、一維目標y位置、一維目標z位置和圍繞x軸的一維旋轉(zhuǎn)角度。

轉(zhuǎn)移函數(shù)的構(gòu)建非常復(fù)雜，想是想不出來的，咋辦呢？

記得剛剛說過的物理模擬器嗎？模擬器在接受藍圖策略的指令后直接將選中的積木塊傳送到指令位置，繼續(xù)物理模擬，直到環(huán)境達到穩(wěn)定狀態(tài)后，將結(jié)果狀態(tài)返回給藍圖agent。

[[428734]]

因此，即使不依賴符號規(guī)則或任何已知的動力學(xué)模型，agent仍然可以獲知某個指令在很長一段時間內(nèi)會造成的的物理結(jié)果，并學(xué)會尋求物理穩(wěn)定的解決方案。

沒有明教，卻有暗示，只能說是「妙啊」！

獎勵函數(shù)是「施工獎勵」、「平整度獎勵」和「節(jié)省材料獎勵」的組合，說白了就是，用料要少，橋面要平，還不能倒。

為了解決上述的馬爾可夫決策過程問題，工程師們再次祭出三把「利器」：Transformer， 階段性策略梯度算法（Phasic Policy Gradient，PPG）和自適應(yīng)課程學(xué)習(xí)。

具體來說，提取積木塊和懸崖的特征時，基于Transformer的特征提取器

將對象和相互間關(guān)系的歸納偏差整合，傳送給策略網(wǎng)絡(luò)和價值網(wǎng)絡(luò)，并使用PPG算法來有效地訓(xùn)練策略。

說到階段性策略梯度算法（Phasic Policy Gradient，PPG），不同于近端策略優(yōu)化算法（Proximal Policy Optimization，PPO），在訓(xùn)練時，它會階段性地將價值信息提取到策略中，以便更好地進行表征學(xué)習(xí)，相當于使用一個模仿學(xué)習(xí)目標來穩(wěn)定策略網(wǎng)絡(luò)的訓(xùn)練。

PPG有兩種架構(gòu)變體，Dual和Shared。Shared架構(gòu)中，策略和價值網(wǎng)絡(luò)共享同一個特征提取器

，后接策略頭

和價值頭

根據(jù)大量實踐，發(fā)現(xiàn)Shared表現(xiàn)更好。

算法再強，一上來就設(shè)計長橋，也太難為人了。

自適應(yīng)課程學(xué)習(xí)提供了一種循序漸進的升級打怪思路，根據(jù)agent的訓(xùn)練進度調(diào)整谷寬。當機器人在狹窄的谷間搭橋的成功率漸漸提升時，模擬器才會漸漸增加遠距離懸崖出現(xiàn)的概率。

低層運動執(zhí)行策略

指揮的有了，執(zhí)行就不難了。

產(chǎn)生裝配指令的藍圖策略訓(xùn)練好后，低層運動執(zhí)行策略就可以照著這些指令來操縱積木塊到目標狀態(tài)。而藍圖策略在訓(xùn)練期間受到過物理規(guī)律的熏陶，所以它能夠為低級控制器產(chǎn)生物理上可行的指令。

因此，低級策略每次只需要完成一個簡單的取放任務(wù)，用經(jīng)典的運動規(guī)劃算法就能解決：通過生成塊的質(zhì)心抓取姿態(tài)，并使用雙向RRT算法規(guī)劃無碰撞路徑。

正是由于在本方法中，指令生成和運動執(zhí)行是完全解耦的，所以學(xué)習(xí)到的藍圖策略可以以Zero-Shot的方式直接應(yīng)用于任何真實的機器人平臺。

真實機器人實驗

模擬器里學(xué)習(xí)到的藍圖策略+現(xiàn)成的運動規(guī)劃方法放在真實的機器人系統(tǒng)身上表現(xiàn)如何呢？

現(xiàn)實世界中橋梁設(shè)計和施工的結(jié)果

拿三種情況測一測，其中懸崖之間的距離分別設(shè)置為10厘米、22厘米和32厘米，機器人可以成功地遵循所學(xué)習(xí)的藍圖策略給出的指令，使用不同的塊數(shù)以不同的方式建造橋梁。

「老司機」領(lǐng)進門，修行在個「機器人」

學(xué)會了抓和放，機器人終于入了師門。

拜師學(xué)藝，學(xué)的可不是簡單本領(lǐng)，光能擺弄兩下胳膊顯然是不夠的，任務(wù)復(fù)雜了「腦子」轉(zhuǎn)不過彎也不行。

這個看著很簡單，照著「師傅」的操作照貓畫虎地模仿幾遍就會了。

但是機器人看了卻只能直呼：「模仿難，難于上青天」。

比如把衣架掛起來這么一個操作，就需要讓機器人去完成4個子任務(wù)，其中每一個子任務(wù)都是相互依賴的：

1. 接近衣架
2. 抓取衣架
3. 移動衣架到掛桿附近
4. 將衣架掛在桿子上

師傅領(lǐng)進門，修行在個人，機器人需要能理解整個任務(wù)過程是需要按階段進行劃分的，而且還需要「意識到」在一個階段沒有完成的情況下，是不能進行下一個階段的。

把任務(wù)進行拆解之后，每個子任務(wù)的復(fù)雜度也得到了簡化，同時也可以通過對已有的子任務(wù)進行重新組合實現(xiàn)新的更復(fù)雜的任務(wù)需求。

長序列操作任務(wù)

目前，主流的方法是利用分層模仿學(xué)習(xí)（HIL），包括行為克?。˙C）和逆向強化學(xué)習(xí)（IRL）。然而不幸的是，BC在專家示例有限的情況下，很容易出現(xiàn)累計誤差。IRL則將強化學(xué)習(xí)和環(huán)境探索引入了模仿過程中，通過不斷探索環(huán)境試錯，最終得到對環(huán)境變化不敏感的行為策略。

雖然IRL可以避免這類錯誤，但是考慮到高層和低層策略的時間耦合問題，在option模型上實現(xiàn)絕非易事。

不過，問題不大，字節(jié)跳動在收錄于ICML 2021的論文中提出了一個新的分層IRL框架「Option-GAIL」。

簡單來說，Option-GAIL可以通過分析、利用專家給定的行為示教信息，學(xué)習(xí)其背后的行為邏輯，使機器人在相似環(huán)境和任務(wù)下能完整重現(xiàn)與專家一致的行為結(jié)果。

https://arxiv.org/pdf/2106.05530.pdf

方法實現(xiàn)

Option-GAIL算法基于對抗生成模仿學(xué)習(xí)（GAIL），其行為的整體相似度由對抗生成網(wǎng)絡(luò)來近似得到，并且采用option模型代替MDP進行分層建模。

論文采用了單步（one-step）option 模型，也就是每一步都要決定下一步應(yīng)該做什么子任務(wù)，然后再根據(jù)當前所處的子任務(wù)和觀測到的狀態(tài)決定采取什么動作。

藍色箭頭所指是的決策過程，紅色箭頭是決策，黑色箭頭是環(huán)境的狀態(tài)轉(zhuǎn)移

現(xiàn)在有了能把長周期任務(wù)表示成多個子任務(wù)分階段執(zhí)行的option模型，下一步就要解決如何訓(xùn)練這個模型，使得學(xué)到的策略能復(fù)刻演示數(shù)據(jù)。

雖然和 GAIL 所解決的占用率度量（occupancy measurement）匹配問題很像，但是模型里多出來的 option 在演示數(shù)據(jù)里是觀測不到的。

因此，論文提出了一種類似EM算法來訓(xùn)練Option-GAIL的參數(shù)，從而實現(xiàn)端到端的訓(xùn)練。

E（Expectation）步驟利用Viterbi算法推斷出專家數(shù)據(jù)的option。

M（Maximization）步驟通過最小-最大博弈來交替優(yōu)化內(nèi)層和外層算子，從而得到給定專家option時最優(yōu)的策略。

實驗結(jié)果

在常用的機器人移動和操作環(huán)境上測試我們的算法。測試任務(wù)包括：

1. 控制單足、雙足機器人運動，機器人需要在邁腿、彈跳等不同行為模式之間切換才能穩(wěn)健行走；
2. 控制螞蟻機器人先推開迷宮里的障礙物才能走到終點；
3. 控制機械臂關(guān)微波爐門，機械臂要靠近微波爐，抓住爐門把手，最后繞門軸旋轉(zhuǎn)到關(guān)閉。

為了驗證 Option-GAIL 中引入的層次化結(jié)構(gòu)以及在演示數(shù)據(jù)以外和環(huán)境的交互是否能幫助智能體更好地學(xué)習(xí)長周期任務(wù)，選擇如下四種基線方法和Option-GAIL進行對比：

1. BC（純動作克?。褐辉谘菔緮?shù)據(jù)上做監(jiān)督學(xué)習(xí)，不和環(huán)境交互，也沒有任何層次化的結(jié)構(gòu)信息；
2. GAIL：有在演示數(shù)據(jù)之外自己和環(huán)境交互，但沒有利用長周期任務(wù)的結(jié)構(gòu)信息；
3. H-BC（層次化動作克?。航Ａ藢哟位Y(jié)構(gòu)，但自己不和環(huán)境交互；
4. GAIL-HRL：在占用率測度匹配的過程中不考慮option。

結(jié)果表明，Option-GAIL相比非層次化的方法收斂速度更快，相比不和環(huán)境交互的純模仿學(xué)習(xí)算法最終的表現(xiàn)更貼近演示數(shù)據(jù)。

測試環(huán)境及各種算法的性能曲線

不如，一起來鼓搗機器人！

當然，除了讓機器人學(xué)會抓取操作之外，字節(jié)跳動還研發(fā)了2D/3D環(huán)境語義感知、人機交互等系列技術(shù)，之前也對外開源了SOLO等系列機器人感知模型和代碼，在GitHub上頗受歡迎。

不過，技術(shù)研究到產(chǎn)業(yè)化落地還有很長的路要走，這就需要長期的投入和探索。希望大廠們繼續(xù)努力，讓機器人早日真正走進我們的生活。