國產(chǎn)機(jī)器人新突破：

兩只各自獨立的機(jī)械臂，已經(jīng)可以絲滑地打配合了！

不信你看這雙手?jǐn)Q瓶蓋：

擰完再端起杯子倒水：

活靈活現(xiàn)，如真人。

吶，還能搭把手幫程序員安裝好顯示屏：

甚至接過“同事”手里的大箱子：

可以說是各種幾何和物理特性的物體都能穩(wěn)穩(wěn)hold住。

（下一步還能干啥，不敢想）

這就是騰訊Robotics X實驗室的最新成果：通用雙臂協(xié)同靈巧操作框架。目前已登上機(jī)器人領(lǐng)域頂刊《IEEE Transactions on Robotics》。

既然是干活，抗干擾能力得有：

既然是雙手干活，兩胳膊就不能“攪”一起：

下面這個不明覺厲的“椅子360°翻轉(zhuǎn)操作”，就展現(xiàn)的是它全自主的“雙臂避自碰”能力。

最后，偶爾遇到人類調(diào)皮，它也可以輕松get，完成意圖識別、進(jìn)行動態(tài)交互：

（給我給我啊喂，算了我收手）

具體技術(shù)細(xì)節(jié)，這就揭秘～

人型雙臂系統(tǒng)通用性實現(xiàn)

通用人形機(jī)器人無疑是近年來機(jī)器人與AI交叉領(lǐng)域的研究熱點。

其中的人形雙臂系統(tǒng)直接承載著這類機(jī)器人操作任務(wù)的執(zhí)行能力。

任意抓取和操作具有各種幾何和物理特性的任意物體則是這類系統(tǒng)通用化的技術(shù)體現(xiàn)。

而現(xiàn)有研究工作大多專注解決某一特定層級的問題，例如環(huán)境-物體的感知、推理與策略生成、機(jī)器人系統(tǒng)的規(guī)劃或操作控制。

并且方案通常與特定的被操作物體或任務(wù)強(qiáng)相關(guān)，難以遷移和泛化。

騰訊Robotics X實驗室指出，要想實現(xiàn)這樣的通用化雙臂系統(tǒng)，需要解決現(xiàn)有研究工作中三個關(guān)鍵的共性問題。

首先，如何基于視覺感知實現(xiàn)未知物體的雙臂協(xié)同最優(yōu)抓取。

其次，如何確保工作空間高度重疊的雙臂機(jī)器人在動態(tài)協(xié)同過程中的系統(tǒng)安全性。

最后，如何將豐富的人類技能轉(zhuǎn)移到僅擁有有限跟蹤接口類型的機(jī)器人系統(tǒng)中。

在此，騰訊Robotics X實驗室提出的包含兩個相互耦合關(guān)聯(lián)的子框架：

1、基于學(xué)習(xí)的靈巧可達(dá)感知子框架采用端到端評估網(wǎng)絡(luò)和機(jī)器人可達(dá)性概率化建模，實現(xiàn)對未建模物體的最優(yōu)協(xié)同抓取。

2、基于優(yōu)化的多功能控制子框架則采用層級化的多優(yōu)先級優(yōu)化框架，并通過嵌入基于學(xué)習(xí)生成的輕量級距離代理函數(shù)和黎曼流形上的速度級跟蹤控制技術(shù)。

同時實現(xiàn)了高精度雙臂避自碰和高擬真雙臂操作度橢球跟蹤，保證了雙臂系統(tǒng)的本質(zhì)安全并開放了操作度橢球跟蹤接口。

此外，該研究還首次系統(tǒng)性解決了基于視覺感知的未知物體雙臂協(xié)同最優(yōu)抓取，實現(xiàn)了工作空間高度重疊的雙臂機(jī)器人本質(zhì)安全并開放了可用于人機(jī)技能遷移學(xué)習(xí)的雙臂協(xié)同操作度橢球跟蹤接口。

最終，該系統(tǒng)在感知層、雙手抓取、協(xié)同操作規(guī)劃和底層控制等方面提供了豐富的接口，具有很高的通用性、可擴(kuò)展性和兼容性。

技術(shù)細(xì)節(jié)如下：

靈巧可達(dá)感知子框架

圍繞靈巧可達(dá)感知子框架，為實現(xiàn)對未知物體的雙臂協(xié)同抓取，需要為雙臂系統(tǒng)自主生成可執(zhí)行的靈巧最優(yōu)抓取對。

研究人員從數(shù)據(jù)集生成，抓取質(zhì)量評估網(wǎng)絡(luò)和雙臂機(jī)器人可達(dá)性概率化建模三個層面著手，系統(tǒng)性設(shè)計了靈巧-可達(dá)感知雙臂抓取子框架，實現(xiàn)視覺系統(tǒng)感知到的物體3D點云到靈巧-可達(dá)最優(yōu)的雙臂6D抓取位姿對之間的端到端映射。

1、雙臂靈巧感知抓取數(shù)據(jù)集

為建立準(zhǔn)確的輸入點云與輸出雙臂抓取質(zhì)量之間的映射關(guān)系并有效訓(xùn)練抓取評估網(wǎng)絡(luò)，研究人員提出了業(yè)界首個大規(guī)模靈巧性感知的雙臂抓取合成數(shù)據(jù)集（DA2 Dataset）。

該數(shù)據(jù)集包含6327個物體的Mesh和超過900萬組抓取對，每一組抓取都采用抓取奇異性-抓取穩(wěn)定性-抓取力兼容性三個指標(biāo)做了標(biāo)注。

2、雙臂協(xié)同抓取質(zhì)量評估網(wǎng)絡(luò)

實際場景中一般可采用例如啟發(fā)式采樣等技術(shù)在感知到的物體3D點云上生成候選抓取對，為實時在線評估這些候選抓取對的質(zhì)量并輸出最優(yōu)解。

研究人員設(shè)計了面向雙臂協(xié)同抓取的質(zhì)量評估網(wǎng)絡(luò)Dual-PointNetGPD，并利用DA2數(shù)據(jù)集進(jìn)行訓(xùn)練。

相較于基于簡化接觸力模型和依賴精確物體幾何特征的傳統(tǒng)分析方法而言，基于學(xué)習(xí)的Dual-PointNetGPD可以直接處理有噪聲的3D點云并對候選雙臂抓取構(gòu)型的靈巧性和可靠性進(jìn)行評估。

因而對廣泛存在的視覺感知噪聲具有更高的魯棒性。

3、雙臂可達(dá)性建模與最優(yōu)抓取分配

Dual-PointNetGPD從視覺感知的角度輸出抓取對質(zhì)量評估結(jié)構(gòu)，針對特定的雙臂機(jī)器人系統(tǒng)，還需要從機(jī)器人本體角度考慮候選抓取對在機(jī)器人操作空間中的可達(dá)性問題和抓取對在雙臂之間的分配問題。

研究人員采用單位四元數(shù)高斯混合模型建模技術(shù)對雙臂6自由度工作空間進(jìn)行建模并設(shè)計了概率最大化分配策略，實現(xiàn)了雙臂抓取可達(dá)性與抓取靈巧性評估的融合統(tǒng)一。

多功能協(xié)同操作控制子框架

針對多功能協(xié)同操作控制子框架，具備協(xié)同抓取未知物體的能力是實現(xiàn)雙臂通用化的第一步，而具備本體安全感知的協(xié)同操作運(yùn)動規(guī)劃是銜接通用抓取并實現(xiàn)通用操作的第二步。

由于人形雙臂機(jī)器人系統(tǒng)的兩條機(jī)械臂的工作空間往往高度重疊，對于執(zhí)行雙臂動態(tài)任務(wù)的機(jī)器人本體而言，避自碰撞需要放在運(yùn)動規(guī)劃中的最高優(yōu)先級，在提升避碰精度的同時還需要減小在線計算代價以保證避碰實時性。

此外，作為重要的操作性能指標(biāo)和機(jī)器人技能表征之一，雙臂協(xié)同操作度橢球需要被連續(xù)控制以實現(xiàn)對機(jī)械臂構(gòu)型的實時優(yōu)化，從而提高雙臂系統(tǒng)的操作靈巧度，避免因操作奇異性導(dǎo)致的任務(wù)失敗。

研究人員為此設(shè)計了一個新型的多功能協(xié)同操作控制子框架。

該框架基于層級化的多目標(biāo)多優(yōu)先級優(yōu)化框架，將學(xué)習(xí)得到的輕量級雙臂最小距離代理函數(shù)和黎曼流形速度跟蹤任務(wù)以不等式約束的形式嵌入到不同的優(yōu)先級中。

從而實現(xiàn)了雙臂操作運(yùn)動規(guī)劃的本質(zhì)安全性與人機(jī)技能遷移學(xué)習(xí)中雙臂構(gòu)型優(yōu)化的高擬真性。

1、雙臂高精度避自碰

△ 工作空間高度交疊的人形雙臂機(jī)器人

獲取精確可靠的描述雙臂碰撞邊界的最小距離函數(shù)是將避碰約束嵌入到多優(yōu)先級優(yōu)化框架中并實現(xiàn)雙臂避自碰的關(guān)鍵一步。

由于雙臂構(gòu)型空間維度高且工作空間相互交疊，使得其中的安全子空間與碰撞子空間分布嚴(yán)重失衡而難以分割開。

研究人員提出了一種新穎的基于主動學(xué)習(xí)的采樣方法，用以生成大規(guī)模的、平衡的、信息豐富的雙臂碰撞數(shù)據(jù)集。

然后通過機(jī)器學(xué)習(xí)的方式對雙臂最小距離關(guān)于雙臂構(gòu)型的映射關(guān)系予以擬合，從而高效獲取高精度的最小距離代理函數(shù)。

△基于主動學(xué)習(xí)的采樣算法示意

2、基于黎曼幾何的雙臂協(xié)同操作度橢球跟蹤

除避自碰以外，操作度橢球跟蹤因其與操作技能和操作構(gòu)型強(qiáng)相關(guān)，也是雙臂系統(tǒng)控制中需要重點處理的問題。

雙臂操作度橢球由對稱正定矩陣（SPD）來描述，研究人員通過設(shè)計流形空間中的速度前饋項并結(jié)合誤差控制原理，實現(xiàn)了雙臂操作度橢球的實時跟蹤以及跟蹤誤差的全局指數(shù)收斂，并給出了完整的理論分析與證明。

雙臂操作度橢球跟蹤任務(wù)以等式約束的形式嵌入到了多優(yōu)先級優(yōu)化框架中并以雙臂操作度橢球跟蹤接口的形式呈現(xiàn)。

3、多優(yōu)先級優(yōu)化與控制器設(shè)計

研究人員采用協(xié)同任務(wù)空間變量（雙臂絕對運(yùn)動與雙臂相對運(yùn)動）來描述所有的雙臂協(xié)同-非協(xié)同/同步-異步任務(wù)，并基于多目標(biāo)多優(yōu)先級框架設(shè)計了雙臂通用協(xié)同操作控制的系統(tǒng)框架。

該框架將上述雙臂避自碰，雙臂操作度橢球跟蹤等多任務(wù)進(jìn)行有機(jī)融合在一起，從而在運(yùn)動規(guī)劃與控制層面為雙臂通用化掃清了障礙。

協(xié)同抓取、避自碰樣樣出色

為驗證雙臂最優(yōu)協(xié)同抓取，雙臂避自碰以及雙臂協(xié)同操作度橢球跟蹤方面的有效性，研究人員就所設(shè)計的Dual-PointNetGPD網(wǎng)絡(luò)、學(xué)習(xí)生成的雙臂最小距離代理函數(shù)以及SPD流形跟蹤誤差進(jìn)行了定量分析。

1、雙臂最優(yōu)協(xié)同抓取 研究人員在物理仿真引擎中開展了大規(guī)模消融實驗，結(jié)果表明所設(shè)計和訓(xùn)練的Dual-PointNetGPD網(wǎng)絡(luò)有效提升了大尺寸未建模物體抓取任務(wù)中的雙臂協(xié)同抓取成功率。

2、雙臂避自碰
主要從雙臂碰撞數(shù)據(jù)集生成與雙臂最小距離代理函數(shù)兩個維度做分析，考慮到雙臂構(gòu)型空間是14維，以20-30°為采樣步長進(jìn)行低精度采樣，每一維分成10等分，需要的數(shù)據(jù)集規(guī)模也達(dá)到了1014。

研究人員使用基于主動學(xué)習(xí)的采樣技術(shù)生成雙臂碰撞數(shù)據(jù)集，200萬數(shù)據(jù)規(guī)模的前提下即可實現(xiàn)95%以上的高預(yù)測精度，相較于目前在非平衡數(shù)據(jù)集學(xué)習(xí)中廣泛使用的b-SMOTE等技術(shù)而言具有更高的數(shù)據(jù)效率和預(yù)測精度。

△平均預(yù)測誤差與預(yù)測準(zhǔn)確性分析

此外，基于學(xué)習(xí)訓(xùn)練生成的雙臂最小距離代理函數(shù)計算一次雙臂最小距離的時間約為0.072ms,顯著低于被廣泛使用的FCL算法庫所需的5.36ms，且方差更小。

這極大地提升了該方法在實際部署時的實時性并保證了整個雙臂協(xié)同運(yùn)動規(guī)劃的穩(wěn)定可預(yù)測。

此外，代理函數(shù)展現(xiàn)了優(yōu)異的連續(xù)性和可微性，這對于將避自碰以不等式約束的形式嵌入到平滑多目標(biāo)優(yōu)化框架中非常重要。

△表計算時間對比分析

△平滑性對比分析

3、雙臂協(xié)同操作度橢球跟蹤

通過消融實驗驗證了所設(shè)計并嵌入到多目標(biāo)優(yōu)化框架中的操作都橢球跟蹤約束有效地降低了雙臂實際構(gòu)型與期望構(gòu)型之間的差異，驗證了SPD流形跟蹤接口的有效性。

4、雙臂協(xié)同翻轉(zhuǎn)實驗：

為驗證自主避自碰能力，研究人員設(shè)計了需要極限扭轉(zhuǎn)的協(xié)同翻轉(zhuǎn)實驗中。

在該實驗中，雙臂系統(tǒng)自主完成了互纏繞無碰軌跡運(yùn)動規(guī)劃，在不改變抓握構(gòu)型的前提下實現(xiàn)了對椅子360°翻轉(zhuǎn)操作。

物體的絕對運(yùn)動在回轉(zhuǎn)方向上始終保持高精度跟蹤，在其他自由度上則動態(tài)地自主松弛，雙臂相對運(yùn)動誤差低于0.003 （m 或rad），避碰安全距離被高效壓縮到了2.5 cm。

同時整個多功能協(xié)同操作控制子框架在采用機(jī)械臂高精度網(wǎng)格模型下的典型計算時間為8.318 ms，解決了高精度和高實時性不可同時實現(xiàn)的困境。

以上結(jié)果也表明各級任務(wù)嚴(yán)格按照所給定的優(yōu)先級執(zhí)行。

在long-horizon重排實驗中，雙臂機(jī)器人系統(tǒng)連續(xù)抓取和操作人居環(huán)境中常見的桌面書架，儲物籃和顯示器支架這3個未建模物體。

實驗結(jié)果表明雙臂機(jī)器人在所設(shè)計的通用框架下能協(xié)同抓取大尺寸物體并能在執(zhí)行復(fù)雜協(xié)同操作任務(wù)過程中全自主高精度避自碰。

總結(jié)：

可以看到，該研究首次系統(tǒng)性解決了基于視覺感知的未知物體雙臂協(xié)同最優(yōu)抓取，實現(xiàn)了工作空間高度重疊的雙臂機(jī)器人本質(zhì)安全，并開放了可用于人機(jī)技能遷移學(xué)習(xí)的雙臂協(xié)同操作度橢球跟蹤接口。

這一自上而下研究具身智能并至下而上研究機(jī)器人操作規(guī)劃與控制的工作，有助于彌合AI與Robotics之間的技術(shù)鴻溝，提升基于AI生成的操作策略在物理世界中執(zhí)行的穩(wěn)定性和可靠性，加速雙臂系統(tǒng)全自主通用化的到來。

論文地址：https://ieeexplore.ieee.org/document/10449470