近年來(lái)，機(jī)器人領(lǐng)域涌現(xiàn)出許多有趣的進(jìn)展，比如機(jī)器狗會(huì)跳舞，?會(huì)踢足球?，?雙足機(jī)器人搬東西?。通常這些機(jī)器人都依賴于根據(jù)感官輸入生成控制策略。盡管這種方法避免了開發(fā)狀態(tài)估計(jì)模塊、建模對(duì)象屬性和調(diào)整控制器增益方面的挑戰(zhàn)，但需要大量的領(lǐng)域?qū)I(yè)知識(shí)。即使取得了諸多進(jìn)展，但學(xué)習(xí)瓶頸讓機(jī)器人難以執(zhí)行任意任務(wù)，無(wú)法實(shí)現(xiàn)通用的目標(biāo)。

要了解機(jī)器人學(xué)習(xí)的關(guān)鍵，一個(gè)核心的問(wèn)題是：我們?nèi)绾问占瘷C(jī)器人的訓(xùn)練數(shù)據(jù)？一種方法是通過(guò)自監(jiān)督的數(shù)據(jù)收集策略收集有關(guān)機(jī)器人的數(shù)據(jù)。雖然這種方法比較穩(wěn)健，但即使對(duì)于相對(duì)簡(jiǎn)單的操作任務(wù)，通常也需要數(shù)千小時(shí)與真實(shí)世界交互的大量數(shù)據(jù)。另一種是在模擬數(shù)據(jù)上進(jìn)行訓(xùn)練，然后遷移到真實(shí)機(jī)器人（Sim2Real）。這允許機(jī)器人以快幾個(gè)數(shù)量級(jí)的速度學(xué)習(xí)復(fù)雜的機(jī)器人行為。然而，設(shè)置模擬機(jī)器人環(huán)境和指定模擬器參數(shù)通常需要廣泛的領(lǐng)域?qū)I(yè)知識(shí)。

實(shí)際上還有第三種方法，收集訓(xùn)練數(shù)據(jù)還可以要求人類教師提供演示，然后訓(xùn)練機(jī)器人快速模仿人類的演示。這種模仿方法最近在各種具有挑戰(zhàn)性的操作問(wèn)題中顯示出巨大的潛力。然而，這些工作中的大多數(shù)都存在一個(gè)根本性的限制——為機(jī)器人收集高質(zhì)量的演示數(shù)據(jù)是很困難的。

基于上述問(wèn)題，來(lái)自紐約大學(xué)和 Meta AI 的研究者提出了 HOLO-DEX，這是一個(gè)收集演示數(shù)據(jù)和訓(xùn)練靈巧機(jī)器人的新框架。它使用 VR 頭顯（例如 Quest 2）將人類教師置于身臨其境的虛擬世界中。在這個(gè)虛擬世界中，教師可以從機(jī)器人的眼睛中查看機(jī)器人「看到」的場(chǎng)景，并通過(guò)內(nèi)置的姿勢(shì)檢測(cè)器控制 Allegro 機(jī)械手。 

看起來(lái)就像是人「手把手」教機(jī)器人做動(dòng)作：

HOLODEX 允許人類通過(guò)低延遲的觀察反饋系統(tǒng)為機(jī)器人無(wú)縫提供高質(zhì)量的演示數(shù)據(jù)，它有以下三個(gè)優(yōu)點(diǎn)：

• 與自監(jiān)督的數(shù)據(jù)收集方法相比，HOLODEX 基于強(qiáng)大的模仿學(xué)習(xí)技術(shù)，可以在沒(méi)有獎(jiǎng)勵(lì)機(jī)制的情況下快速訓(xùn)練； 
• 與 Sim2Real 方法相比，學(xué)得的策略可以直接在真實(shí)機(jī)器人上執(zhí)行，因?yàn)樗鼈兪窃谡鎸?shí)數(shù)據(jù)上訓(xùn)練的；
• 與其他模仿方法相比，HOLODEX 顯著減少了對(duì)領(lǐng)域?qū)I(yè)知識(shí)的要求，只需要人們操作 VR 設(shè)備。

論文鏈接：https://arxiv.org/pdf/2210.06463.pdf

項(xiàng)目鏈接：https://holo-dex.github.io/

代碼鏈接：https://github.com/SridharPandian/Holo-Dex

為了評(píng)估 HOLO-DEX 的性能，該研究在六個(gè)需要靈巧操作的任務(wù)上進(jìn)行了實(shí)驗(yàn)，包括手持物體、單手?jǐn)Q開瓶蓋等。該研究發(fā)現(xiàn)人類教師使用 HOLO-DEX 可以比單圖像遙操作（teleoperation）的先前工作快 1.8 倍。在 4/6 任務(wù)上，HOLO-DEX 學(xué)習(xí)策略的成功率超過(guò)了 90%。此外，該研究還發(fā)現(xiàn)通過(guò) HOLO-DEX 學(xué)得的靈巧策略可以泛化到新的、未見(jiàn)過(guò)的目標(biāo)對(duì)象上。

總的來(lái)說(shuō)，該研究的貢獻(xiàn)包括：

• 提供了一種借助 VR 頭顯讓人類教師在混合現(xiàn)實(shí)中實(shí)現(xiàn)高質(zhì)量遙操作的方法；
• 實(shí)驗(yàn)表明，HOLO-DEX 收集的演示可用于訓(xùn)練有效且通用的靈巧操作行為；
• 該研究還對(duì)所提方法中的各種決策進(jìn)行了分析和消融實(shí)驗(yàn)，以驗(yàn)證每一個(gè)關(guān)鍵設(shè)計(jì)的效用。

此外，與 HOLO-DEX 相關(guān)的混合現(xiàn)實(shí) API、研究收集的演示和訓(xùn)練代碼均已開源：https://holo-dex.github.io/

HOLO-DEX 架構(gòu)概覽

如下圖 1 所示，HOLO-DEX 分兩個(gè)階段運(yùn)行。在第一階段，人類教師使用虛擬現(xiàn)實(shí) (VR) 頭顯向機(jī)器人提供演示。這個(gè)階段包括創(chuàng)建一個(gè)用于教學(xué)的虛擬世界、估計(jì)（estimate）教師的手部姿勢(shì)、將教師的手部姿勢(shì)重定位到機(jī)械手上，最后控制機(jī)器人的手部。在第一階段收集了一些演示之后，HOLO-DEX 的第二階段學(xué)習(xí)視覺(jué)策略來(lái)解決演示的任務(wù)。

該研究使用 Meta Quest 2 VR 頭顯將人類教師置于虛擬世界中，分辨率是 1832 × 1920，刷新率是 72 Hz。這款頭顯的基礎(chǔ)版售價(jià)為 399 美元，相對(duì)較輕，只有 503 克，這讓教師的演示操作更輕松舒適。更重要的是，Quest 2 的 API 接口允許創(chuàng)建自定義的混合現(xiàn)實(shí)世界，將機(jī)器人系統(tǒng)與 VR 中的診斷面板一起可視化。

使用 VR 頭顯估計(jì)手部姿勢(shì)

相比于之前關(guān)于靈巧遙操作的工作相比，使用 VR 頭顯在人類教師的手部姿勢(shì)估計(jì)方面具有三個(gè)好處。首先，由于 Quest 2 使用 4 個(gè)單色攝像頭，其手勢(shì)估計(jì)器比單攝像頭估計(jì)器強(qiáng)大很多。其次，由于攝像機(jī)是內(nèi)部校準(zhǔn)的，因此它們不需要以前的多攝像機(jī)遙操作框架中所需的專門校準(zhǔn)程序。第三，由于手部姿勢(shì)估計(jì)器是集成到設(shè)備中的，因此它能夠以 72Hz 的頻率傳輸實(shí)時(shí)姿勢(shì)。此前有研究指出，靈巧遙操作的一個(gè)重大挑戰(zhàn)是以高精度和高頻率獲取手部姿勢(shì)，HOLO-DEX 通過(guò)使用商業(yè)級(jí) VR 頭顯顯著簡(jiǎn)化了這個(gè)問(wèn)題。

手部姿勢(shì)重定向

下一步，從 VR 中提取的教師手部姿勢(shì)需要重定位到機(jī)器手上。這首先要計(jì)算教師手部各個(gè)關(guān)節(jié)的角度，然后一種直接的重定向方法是「命令」機(jī)器人的關(guān)節(jié)變動(dòng)到相應(yīng)的角度。這種方法適用于該研究中除拇指以外的所有手指，但 Allegro 機(jī)械手的形態(tài)與人類不是完全匹配的，拇指不能完全套用這種方法。

為了解決這個(gè)問(wèn)題，該研究將教師拇指指尖的空間坐標(biāo)映射到機(jī)器人的拇指指尖，然后通過(guò)逆運(yùn)動(dòng)學(xué)求解器計(jì)算拇指的關(guān)節(jié)角度。需要注意的是，由于 Allegro 機(jī)械手沒(méi)有小拇指，該研究也就忽略了教師的小拇指角度。

整個(gè)姿勢(shì)重定向過(guò)程不需要任何校準(zhǔn)或教師特定的調(diào)整來(lái)收集演示。但該研究發(fā)現(xiàn)可以通過(guò)查找從教師拇指到機(jī)器人拇指的特定映射來(lái)改進(jìn)拇指重定向。整個(gè)過(guò)程的計(jì)算成本很低，并且可以以 60 Hz 的頻率傳輸所需的機(jī)器手姿勢(shì)。

機(jī)器手控制

Allegro Hand 通過(guò) ROS 通信框架進(jìn)行異步控制。給定重定向程序計(jì)算的機(jī)器手關(guān)節(jié)位置，該研究使用 PD 控制器以 300Hz 輸出所需扭矩。為了減少穩(wěn)態(tài)誤差，該研究使用重力補(bǔ)償模塊來(lái)計(jì)算偏移扭矩。在延遲測(cè)試中，該研究發(fā)現(xiàn)當(dāng) VR 耳機(jī)與機(jī)器人手在同一本地網(wǎng)絡(luò)上時(shí)，可以實(shí)現(xiàn)低于 100 毫秒的延遲。低延遲和低錯(cuò)誤率對(duì)于 HOLO-DEX 至關(guān)重要，因?yàn)檫@允許人類教師對(duì)機(jī)器手進(jìn)行直觀的遙操作。

當(dāng)人類教師控制機(jī)器手時(shí)，他們可以實(shí)時(shí)看到機(jī)器人的變化（60Hz）。這允許教師糾正機(jī)器手的執(zhí)行錯(cuò)誤。在教學(xué)過(guò)程中，該研究以 5Hz 的頻率記錄來(lái)自三個(gè) RGBD 攝像機(jī)的觀察數(shù)據(jù)和機(jī)器人的動(dòng)作信息。由于記錄多個(gè)攝像機(jī)所需的大量數(shù)據(jù)占用空間和相關(guān)帶寬，該研究不得不降低記錄頻率。

使用 HOLO-DEX 數(shù)據(jù)進(jìn)行模仿學(xué)習(xí)

收集數(shù)據(jù)后就進(jìn)入了第二階段，HOLO-DEX 要在數(shù)據(jù)上訓(xùn)練視覺(jué)策略。該研究采用最近鄰模仿 (INN) 算法進(jìn)行學(xué)習(xí)。在之前的工作中，INN 被證明可以在 Allegro 手上產(chǎn)生基于狀態(tài)的靈巧策略。HOLO-DEX 更進(jìn)一步，并證明這些視覺(jué)策略可以推廣到各種靈巧操作任務(wù)中的新對(duì)象。

為了選擇獲得低維嵌入的學(xué)習(xí)算法，該研究嘗試了幾種最先進(jìn)的自監(jiān)督學(xué)習(xí)算法，發(fā)現(xiàn) BYOL 提供了最好的最近鄰結(jié)果，因此選擇 BYOL 作為基本的自監(jiān)督學(xué)習(xí)方法。

實(shí)驗(yàn)結(jié)果

下表 1 展示了 HOLO-DEX 收集成功演示的速度比 DIME 快 1.8 倍。對(duì)于需要精確 3D 運(yùn)動(dòng)的 3/6 任務(wù)，該研究發(fā)現(xiàn)單圖像遙操作甚至不足以收集單個(gè)演示。

該研究檢查了各種模仿學(xué)習(xí)策略在靈巧任務(wù)上的性能，不同策略下每個(gè)任務(wù)的成功率如下表 2 所示。

由于該研究提出的策略是基于視覺(jué)的，并且不需要明確估計(jì)對(duì)象的狀態(tài)，因此它們能與訓(xùn)練中未見(jiàn)過(guò)的對(duì)象兼容。該研究評(píng)估了其手動(dòng)操作策略，這些策略經(jīng)過(guò)訓(xùn)練可在多種視覺(jué)外觀和幾何形狀的對(duì)象上執(zhí)行平面旋轉(zhuǎn)、對(duì)象翻轉(zhuǎn)和 Can Spinning 任務(wù)，如下圖 5 所示。

此外，該研究還在不同任務(wù)的不同大小的數(shù)據(jù)集上測(cè)試了 HOLO-DEX 的性能，可視化結(jié)果如下圖所示。