本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

MIT的這項新成果，讓取物機器人變得更聰明了！

不僅能理解自然語言指令，還可以拾取沒見過的物體。

麻麻再也不用擔心我找不到東西了！

研究人員將2D特征嵌入了三維空間，構(gòu)建出了用于控制機器人的特征場（F3RM）。

這樣一來，在2D圖像中構(gòu)建的圖像特征和語義數(shù)據(jù)，就能被三維的機器人理解并使用了。

不僅操作簡單，訓(xùn)練過程中需要的樣本量也很小。

低訓(xùn)練樣本實現(xiàn)輕松取物

我們可以看到，在F3RM的幫助下，機器人可以嫻熟地拾取目標物體。

哪怕要找出機器人沒遇見過的物體，同樣不是問題。

比如……大白（玩偶）。

對于場景中的同種物品，可以根據(jù)顏色等信息進行區(qū)別。

比如分別拾取同一場景中藍色和紅色兩種不同的螺絲刀。

不僅如此，還可以要求機器人抓取物體的特定位置。

比如這個杯子，我們可以指定機器人抓住杯身或者杯把。

除了拾取問題，還可以讓機器人把拾到的東西放到指定位置。

比如把杯子分別放到木制和透明的支架上。

團隊提供了完整的，沒有經(jīng)過篩選的實驗結(jié)果。他們在實驗室周邊隨機選取了 out-of-distribution （訓(xùn)練集外）測試樣本。

其中使用 CLIP ResNet 特征的 特征場 在三成以上的測試樣本中 （78%）成功抓取和放置。在基于開放性人工語言指令的任務(wù)上，成功率在 60%。該結(jié)果沒有經(jīng)過人工選擇 （cherry-picking），因此對特征場在零微調(diào)情境下的表現(xiàn)有客觀的描述。

那么，如何利用F3RM幫助機器人工作呢？

將2D特征投射到三維空間

下面這張圖大致描述了利用F3RM幫助機器人拾取物品工作流程。

F3RM是一個特征場，要想讓它發(fā)揮作用，首先要得到有關(guān)數(shù)據(jù)。

下圖中的前兩個環(huán)節(jié)就是在獲取F3RM信息。

首先，機器人通過攝像頭對場景進行掃描。

掃描過程會得到多個角度的RGB圖像，同時得到圖像特征。

利用NeRF技術(shù)，對這些圖像做2D密度信息提取，并投射到三維空間。

圖像和密度特征的提取使用了如下的算法：

這樣就得到了這一場景的3D特征場，可供機器人使用。

得到特征場之后，機器人還需要知道對不同的物體需要如何操作才能拾取。

這一過程當中，機器人會學習相對應(yīng)的六個自由度的手臂動作信息。

如果遇到陌生場景，則會計算與已知數(shù)據(jù)的相似度。

然后通過對動作進行優(yōu)化，使相似度達到最大化，以實現(xiàn)未知環(huán)境的操作。

自然語言控制的過程與上一步驟十分相似。

首先會根據(jù)指令從CLIP數(shù)據(jù)集中找到特征信息，并在機器的知識庫檢索相似度最高的DEMO。

然后同樣是對預(yù)測的姿勢進行優(yōu)化，以達到最高的相似度。

優(yōu)化完畢之后，執(zhí)行相應(yīng)的動作就可以把物體拾起來了。

經(jīng)過這樣的過程，就得到了低樣本量的語言控制取物機器人。

團隊簡介

研究團隊成員全部來自MIT的CSAIL實驗室（計算機科學與人工智能實驗室）。

該實驗室是MIT最大的實驗室，2003年由CS和AI兩個實驗室合并而成。

共同一作是華裔博士生William Shen，和華人博后楊歌，由Phillip Isola 和Leslie Kaelbling監(jiān)督指導(dǎo)。他們來自于MIT CSAIL（計算機和人工智能實驗室）和IAIFI（人工智能和基礎(chǔ)相互作用研究院 ）。 其中楊歌是2023年CSAIL具身智能研討會 (Embodied Intelligence Seminar) 的共同籌辦人.

左：William Shen，右：楊歌

論文地址：https://arxiv.org/abs/2308.07931
項目主頁：https://f3rm.github.io
MIT 具身智能 團隊https://ei.csail.mit.edu/people.html
具身智能研討會https://www.youtube.com/channel/UCnXGbvgu9071i3koFooncAw