隨著人工智能和機(jī)器人技術(shù)的迅速發(fā)展，功能操控（Functional Manipulation）在機(jī)器人學(xué)中的重要性愈加突出。傳統(tǒng)的基準(zhǔn)測試已無法滿足目前機(jī)器人對復(fù)雜操控任務(wù)的需求，呼吁新的操控基準(zhǔn)（Functional Manipulation Benchmark）出現(xiàn)。

概述

機(jī)器人操控面臨兩個(gè)主要挑戰(zhàn)：機(jī)器人如何智能地處理復(fù)雜的接觸動(dòng)力學(xué)以及如何應(yīng)對環(huán)境和物體的多樣性。針對這些挑戰(zhàn)，機(jī)器人學(xué)習(xí)技術(shù)被視為關(guān)鍵的解決手段。因此，該領(lǐng)域需要一個(gè)全面易得的框架，提供有挑戰(zhàn)性的實(shí)際任務(wù)、高質(zhì)量數(shù)據(jù)、易于復(fù)制的設(shè)置，集合了基線結(jié)果的相關(guān)方法，基于該框架，研究人員能夠?qū)λ岢鋈蝿?wù)的實(shí)驗(yàn)發(fā)現(xiàn)進(jìn)行深入分析。

加州大學(xué)伯克利分校智能機(jī)器人實(shí)驗(yàn)室（RAIL）的研究團(tuán)隊(duì)提出了如上所述的現(xiàn)實(shí)世界基準(zhǔn)，稱為 FMB（Functional Manipulation Benchmark for Generalizable Robotic Learning）。

• 項(xiàng)目主頁：https://functional-manipulation-benchmark.github.io/
• 論文地址：https://arxiv.org/abs/2401.08553
• 論文題目：FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning
• 共同第一作者主頁：https://people.eecs.berkeley.edu/~jianlanluo/
• https://charlesxu0124.github.io/

FMB 具有以下特點(diǎn)：

• 創(chuàng)新設(shè)計(jì)：采用了 3D 打印技術(shù)制作任務(wù)中的物體，來考驗(yàn)機(jī)器人的泛化能力，這種方法也便于其他研究人員復(fù)現(xiàn)。
• 多樣化任務(wù)：包含單物體和多物體多階段操控任務(wù)，真實(shí)模擬日常環(huán)境中的挑戰(zhàn)。
• 大型數(shù)據(jù)集：通過大量人工演示，為機(jī)器人提供了豐富的數(shù)據(jù)集。
• 模仿學(xué)習(xí)基線：使用最先進(jìn)的機(jī)器學(xué)習(xí)方法，提供了基線結(jié)果和模塊化組件以供其他研究者使用。

物體和任務(wù)

FMB 中的任務(wù)大致分為兩類：單物體多步驟操控任務(wù)和多物體多步驟操控任務(wù)。這些任務(wù)旨在測試機(jī)器人的基本技能，如抓取、重新定位和裝配等，這些都是完成整個(gè)任務(wù)所必需的技能。FMB 中的任務(wù)要求機(jī)器人不僅能完成單一的操控技能，還要求機(jī)器人能夠?qū)⑦@些技能組合起來，完成更為復(fù)雜的多步驟任務(wù)。

FMB 的任務(wù)設(shè)計(jì)靈活多變，研究人員可以根據(jù)需要選擇專注于單一技能，深入研究機(jī)器人的操控能力，也可以研究完整的多步驟任務(wù)，這需要機(jī)器人進(jìn)行長期規(guī)劃并具備從失敗中恢復(fù)的能力。由于涉及選擇合適的物體并推理操控物體的順序，更為復(fù)雜的多步驟任務(wù)要求機(jī)器人能夠做出復(fù)雜的實(shí)時(shí)決策。

大型數(shù)據(jù)集

在機(jī)器人學(xué)習(xí)的過程中，數(shù)據(jù)的作用不可小覷。為了使機(jī)器人更好地理解和掌握復(fù)雜的任務(wù)，研究團(tuán)隊(duì)收集了一個(gè)涵蓋上述任務(wù)的大規(guī)模專家人類示范數(shù)據(jù)集，包含超過兩萬個(gè)操作軌跡。研究團(tuán)隊(duì)采用了四個(gè)不同的攝像機(jī)記錄這些示范數(shù)據(jù)，其中兩個(gè)攝像機(jī)安裝在機(jī)器人的腕部，另外兩個(gè)提供全局視角。這些攝像機(jī)捕捉了對于機(jī)器人學(xué)習(xí)解決任務(wù)至關(guān)重要的 RGB 彩色圖像信息、深度信息等數(shù)據(jù)。

此外，數(shù)據(jù)集還記錄了機(jī)器人末端執(zhí)行器的力 / 扭矩信息，這對于像裝配這樣需要接觸大量物體的的任務(wù)非常重要。通過這些豐富的數(shù)據(jù)，機(jī)器人能夠深入理解任務(wù)的每個(gè)細(xì)節(jié)，更加精確地模仿人類的操作技巧。正是由于數(shù)據(jù)的深度和廣度，為機(jī)器人學(xué)習(xí)提供了堅(jiān)實(shí)的基礎(chǔ)。這使得機(jī)器人在執(zhí)行復(fù)雜任務(wù)時(shí)，能夠更加人性化和更靈巧地對任務(wù)作出響應(yīng)。

模仿學(xué)習(xí)基線

基線策略的架構(gòu)圖。

基于 Transformer 和 ResNet 的兩種模型都使用了共享權(quán)重的 ResNet 編碼器對每個(gè)圖像視圖進(jìn)行編碼，然后與本體感知信息和可選的物體和相應(yīng)的機(jī)器人技能編碼特征結(jié)合，以預(yù)測 7 自由度的動(dòng)作。

FMB 的實(shí)驗(yàn)部分對模仿學(xué)習(xí)系統(tǒng)的性能進(jìn)行了一系列測試，比較了不同的學(xué)習(xí)方法，探究了不同輸入模式和設(shè)計(jì)決策的影響。實(shí)驗(yàn)發(fā)現(xiàn)，使用深度信息有助于提高抓取策略的效果，力 / 扭矩信息對于裝配任務(wù)非常重要。對于多步驟任務(wù)，傳統(tǒng)的 ResNet、Transformer 和 Diffusion 方法均未能奏效，但該論文中提出的分級控制 (hierarchical control) 方法顯示出了潛力。

抓取任務(wù)

實(shí)驗(yàn)結(jié)果顯示，納入深度信息的 ResNet 策略在抓取任務(wù)中的性能一致優(yōu)于僅使用 RGB 信息的策略。通過數(shù)據(jù)削減研究，研究團(tuán)隊(duì)探究了不同數(shù)量的訓(xùn)練數(shù)據(jù)對抓取任務(wù)性能的影響。結(jié)果顯示，納入深度信息的 ResNet 策略在處理已見物體時(shí)的性能將隨著訓(xùn)練數(shù)據(jù)量的增加而提升。值得注意的是，該策略對未見過的物體表現(xiàn)出了與已見物體相近的性能，這表明訓(xùn)練對象的多樣性極大地促進(jìn)了機(jī)器人的泛化能力。

裝配任務(wù)

在裝配任務(wù)中，力 / 扭矩信息的重要性得到了證實(shí)。力 / 扭矩信息對于機(jī)器人采取的策略判斷物體是否已經(jīng)接觸到目標(biāo)表面，并有效進(jìn)行搜索等行為非常重要。

然而，當(dāng)策略在所有物體上進(jìn)行訓(xùn)練時(shí)，機(jī)器人并不總是能夠成功地完成裝配任務(wù)。這是因?yàn)椴呗孕枰紫扰袛鄳?yīng)將物體裝配到哪個(gè)孔中，然后再生成相應(yīng)的動(dòng)作，這大大增加了任務(wù)的復(fù)雜性。為了解決這個(gè)問題，研究團(tuán)隊(duì)在策略中添加了一個(gè)選取物體機(jī)制，幫助策略確定需要裝配的物體的形狀，從而專注于生成正確的裝配動(dòng)作。

多步驟任務(wù)

FMB 的框架包含了兩項(xiàng)復(fù)雜任務(wù)。這些復(fù)雜任務(wù)要求機(jī)器人能夠像人類一樣連續(xù)完成多個(gè)步驟。此前的方法是讓機(jī)器人學(xué)習(xí)整個(gè)過程，但這種方法容易因?yàn)閱我画h(huán)節(jié)的錯(cuò)誤而不斷累計(jì)誤差，最后導(dǎo)致整個(gè)任務(wù)失敗。無論是在單物體還是多物體操控任務(wù)中，這種方法的成功率均為 0/10。

針對累積誤差問題，研究團(tuán)隊(duì)采用了分層控制策略。分層策略通過將任務(wù)分解成若干小塊，每完成一塊便相當(dāng)于通過一個(gè)決策點(diǎn)，即使出現(xiàn)錯(cuò)誤也能迅速糾正，避免影響后續(xù)環(huán)節(jié)。例如，如果機(jī)器人在抓取過程中未能穩(wěn)固抓住物體，它會(huì)持續(xù)嘗試直至成功。

研究團(tuán)隊(duì)測試了兩種分層方法，第一種方法為單一策略提供指示任務(wù)類型的有效向量，而第二種方法則是針對每個(gè)操控技能單獨(dú)訓(xùn)練不同的策略，均采用了操作員的指令作為上層策略，在測試中，研究團(tuán)隊(duì)發(fā)現(xiàn)這兩種方法均表現(xiàn)優(yōu)異。

測試結(jié)果顯示了分層方法在處理復(fù)雜機(jī)器人任務(wù)中的有效性，并為未來研究提供了新的研究方向。

如上圖所示，機(jī)器人在學(xué)習(xí)后能夠自主進(jìn)行功能操控。

總的來說，以上實(shí)驗(yàn)展示了研究團(tuán)隊(duì)在機(jī)器人學(xué)習(xí)領(lǐng)域的技術(shù)創(chuàng)新，也驗(yàn)證了 FMB 是適合開發(fā)先進(jìn)機(jī)器人學(xué)習(xí)方法的基準(zhǔn)。研究團(tuán)隊(duì)研究期待未來的研究可以在 FMB 基礎(chǔ)上進(jìn)一步推動(dòng)機(jī)器人學(xué)習(xí)的邊界。