在這項(xiàng)研究中，斯坦福視覺(jué)與學(xué)習(xí)實(shí)驗(yàn)室（SVL）Silvio / 李飛飛組的研究者推出了一個(gè)全新的模擬環(huán)境 iGibson，從而可以為大型真實(shí)場(chǎng)景中的交互任務(wù)開(kāi)發(fā)機(jī)器人解決方案。iGibson 包含 15 個(gè)充分可交互、視覺(jué)上逼真、依據(jù)真實(shí)房屋構(gòu)建的場(chǎng)景，并且可以支持 CubiCasa5K 和 3D-Front 的 8000 余個(gè)場(chǎng)景。真正實(shí)現(xiàn)了「可交互性」。

近來(lái)，面向 AI 和機(jī)器人的模擬環(huán)境得到了大力發(fā)展。僅僅幾年前，機(jī)器人模擬環(huán)境還算是相對(duì)稀有的產(chǎn)物，但如今，各大學(xué)術(shù)會(huì)議（NeurIPS、CoRL、甚至 ICRA 和 IROS）幾乎所有與 AI 機(jī)器人相關(guān)的論文都會(huì)用到模擬環(huán)境。那么，模擬環(huán)境是如何幫助到 AI 發(fā)展的呢？可以歸結(jié)為以下幾點(diǎn)原因：

首先，在機(jī)器人領(lǐng)域，機(jī)器學(xué)習(xí)正逐漸發(fā)揮越來(lái)越大的作用，從而導(dǎo)致了數(shù)據(jù)需求的迅猛增長(zhǎng) [2] [3] [4] [5]。現(xiàn)實(shí)世界中，機(jī)器人只能“real-time” 即時(shí)地產(chǎn)生數(shù)據(jù)，但海量的數(shù)據(jù)需求導(dǎo)致了從現(xiàn)實(shí)世界收集數(shù)據(jù)變得不現(xiàn)實(shí)。此外，機(jī)器學(xué)習(xí)需要收集的數(shù)據(jù)具備多樣性，涉及到機(jī)器人的隨機(jī)探索（random exploration)。如果在現(xiàn)實(shí)世界中讓機(jī)器人隨機(jī)活動(dòng)，對(duì)機(jī)器人本身和周遭事物都是有挺大風(fēng)險(xiǎn)的。

其次，在模擬環(huán)境變得越來(lái)越 robust、逼真（視覺(jué)效果和物理引擎）、便捷的同時(shí)，算力的增長(zhǎng)也導(dǎo)致了大部分機(jī)器都可以運(yùn)行這些模擬環(huán)境。因此即便沒(méi)有足夠的資金來(lái)購(gòu)置機(jī)器人，也可以通過(guò)模擬環(huán)境來(lái)從事機(jī)器人研究。模擬環(huán)境降低了機(jī)器人研究的準(zhǔn)入門(mén)檻，讓更多的人能推進(jìn)該領(lǐng)域的發(fā)展。

最后，隨著關(guān)于各種機(jī)器人任務(wù)（例如導(dǎo)航、抓握、操作等）的論文數(shù)量不斷增長(zhǎng)，一個(gè)問(wèn)題也日漸凸顯：機(jī)器人領(lǐng)域需要可復(fù)現(xiàn)的基準(zhǔn)（repeatable benchmark）。一個(gè)成熟的學(xué)科需要能簡(jiǎn)潔、可靠地復(fù)現(xiàn)實(shí)驗(yàn)結(jié)果，這樣才能讓不同的方法理論得到有效地對(duì)比。與現(xiàn)實(shí)世界相比，在模擬環(huán)境中實(shí)現(xiàn)可復(fù)現(xiàn)的基準(zhǔn)要容易許多。

然而，當(dāng)前結(jié)合物理模擬與機(jī)器人任務(wù)的模擬環(huán)境往往局限于一小類(lèi)任務(wù)，并且僅包含 clean 和小型場(chǎng)景。包含家庭和辦公室等大型場(chǎng)景的少數(shù)模擬環(huán)境要么無(wú)能力改變場(chǎng)景，僅側(cè)重于導(dǎo)航性能，如 Habitat；要么使用游戲引擎或者簡(jiǎn)化的交互模式，如 AI2Thor、VirtualHome。所以，在處理那些需要與場(chǎng)景進(jìn)行豐富交互的任務(wù)而言，這些模擬器不支持端到端感覺(jué)運(yùn)動(dòng)控制回路的開(kāi)發(fā)，也就難以完成此類(lèi)任務(wù)。此外，簡(jiǎn)化的交互模式也導(dǎo)致很難將可學(xué)得的交互策略轉(zhuǎn)換為可執(zhí)行的真實(shí)機(jī)器人指令。

基于如上這些想法，來(lái)自斯坦福視覺(jué)與學(xué)習(xí)實(shí)驗(yàn)室（SVL）的研究者開(kāi)發(fā)了 iGibson 以用來(lái)訓(xùn)練和測(cè)試 interactive（可交互的）AI 智能體 iGibson。

那么，iGibson 的特殊點(diǎn)在哪里呢？首先我們先來(lái)區(qū)分一下這兩個(gè)概念：

Physics simulator （物理引擎）: 物理引擎可以計(jì)算不同行為對(duì)現(xiàn)環(huán)境產(chǎn)生的物理影響。比如對(duì)一個(gè)物體施加一個(gè)力的后果，或者對(duì)于水流的模擬。隨著計(jì)算機(jī)圖形學(xué)的發(fā)展，現(xiàn)在有許多成熟的物理引擎。其中在機(jī)器人領(lǐng)域最為突出的是 Bullet, PyBullet, MuJoCo, Nvidia PhysX and Flex, UnrealEngine, DART, Unity, and ODE 等。

Simulation environment （模擬環(huán)境）: 模擬環(huán)境是一個(gè)整體框架，包含多個(gè)元件：物理引擎、渲染引擎、模型（包括場(chǎng)景、物體、機(jī)器人）等。我們可以用模擬環(huán)境模擬一個(gè)給定的任務(wù)，并用它來(lái)研究其解決方案。

那么，對(duì)一個(gè)研究人員而言，想解決什么任務(wù)或想研究什么課題就決定了用什么模擬環(huán)境，所謂工欲善其事，必先利其器。對(duì) iGibson 而言，我們想研究的是：基于視覺(jué)信號(hào)，機(jī)器人如何在大型真實(shí)場(chǎng)景（如一整間公寓）中解決需要與環(huán)境互動(dòng)的任務(wù)。

論文鏈接：https://arxiv.org/pdf/2012.02924.pdf

項(xiàng)目地址：https://github.com/StanfordVL/iGibson/releases/tag/1.0.0

網(wǎng)站地址：http://svl.stanford.edu/igibson/

pip 地址：https://pypi.org/project/gibson2/

doc 地址：http://svl.stanford.edu/igibson/docs/

英文版 blog 地址：https://ai.stanford.edu/blog/igibson/

與現(xiàn)有模擬引擎的對(duì)比

已有的模擬引擎無(wú)法支持我們想研究的任務(wù)，即可以真實(shí)地在大型場(chǎng)景中進(jìn)行物理互動(dòng)?；诠潭C(jī)械臂的模擬環(huán)境（如 meta-world, RLBench, RoboSuite, DoorGym）并不包含真實(shí)的場(chǎng)景，從而不支持需要在室內(nèi)導(dǎo)航的任務(wù)。為室內(nèi)導(dǎo)航開(kāi)發(fā)的模擬環(huán)境（包括我們之前開(kāi)發(fā)的 Gibson v1 和 Habitat）雖然可以解決視覺(jué)導(dǎo)航（visual navigation）和視覺(jué)語(yǔ)言導(dǎo)航（visual language navigation），但所包含的場(chǎng)景為三維重建的靜止 mesh 模型。這意味著整個(gè)場(chǎng)景被封存在了重建時(shí)的位置，物品無(wú)法移動(dòng)，機(jī)器人也不能與場(chǎng)景進(jìn)行交互。

除此之外，例如 Sapien, AI2Thor, ThreeDWorld (TDW)的一些模擬環(huán)境開(kāi)始逐漸支持場(chǎng)景級(jí)的交互任務(wù)。Sapien 側(cè)重的問(wèn)題是與鉸接（articulated）物體的互動(dòng)（如門(mén)、柜等）。TDW 提供高質(zhì)量的聲音、形變、液體模擬（基于英偉達(dá)的 Flex 物理引擎）。但 Sapien 和 TDW 均不提供大型場(chǎng)景模型，從而不支持有關(guān)大型場(chǎng)景的任務(wù)研究。AI2Thor 雖包含了可互動(dòng)的場(chǎng)景，但互動(dòng)為腳本化的符號(hào)交互，把現(xiàn)實(shí)中連續(xù)的互動(dòng)和變化離散化了—當(dāng)物體滿(mǎn)足一個(gè)先覺(jué)條件，agent 可以發(fā)出一個(gè)指令，從而這個(gè)物體進(jìn)入其下個(gè)狀態(tài)。例如，一個(gè)冰箱的敞開(kāi)程度本應(yīng)是連續(xù)值，但現(xiàn)在只有 “開(kāi)” 和“關(guān)”兩個(gè)狀態(tài)。AI2Thor 之后出現(xiàn)了 RoboThor，但其只提供簡(jiǎn)單的傳感器與一種機(jī)器人 LoCoBot 的模擬。受限于 LoCoBot 的技術(shù)限制與環(huán)境的離散化，機(jī)器人無(wú)法在模擬環(huán)境內(nèi)學(xué)習(xí)并解決復(fù)雜的交互任務(wù)。

我們想要研究的任務(wù)是復(fù)雜的、long-horizon（長(zhǎng)線）、 mobile manipulation（移動(dòng)操作）任務(wù)，例如：收拾房間、找尋物品等。為了研究可以落地到現(xiàn)實(shí)世界的解決方案，模擬可真實(shí)交互的大型場(chǎng)景變得尤為重要。

iGibson 的一些功能

iGibson 最重要的功能是 interactivity（可交互性），即構(gòu)建可以真實(shí)交互的大型場(chǎng)景。為此，我們實(shí)現(xiàn)了如下關(guān)鍵功能：

15 個(gè)充分可交互、視覺(jué)上逼真、依據(jù)真實(shí)房屋構(gòu)建的場(chǎng)景。其中所有物體可真實(shí)交互，包含了材料與動(dòng)力學(xué)信息；

可支持 CubiCasa5K[6]的 8000 余個(gè)場(chǎng)景。

真實(shí)的傳感器信號(hào)模擬，包括：RGB （基于物理渲染引擎(Physics-based renderer)），深度圖，1 束或 16 束的激光雷達(dá)，語(yǔ)義 / 實(shí)例 / 材料分割圖，光流，場(chǎng)景流等；

內(nèi)置運(yùn)動(dòng)規(guī)劃算法，用于規(guī)劃?rùn)C(jī)器人底座的移動(dòng)（在環(huán)境中導(dǎo)航）與機(jī)械臂的移動(dòng)（抓取操縱物體）。

內(nèi)置域隨機(jī)化功能，可隨機(jī)替換 visual textures (視覺(jué)圖像)、材料與動(dòng)力學(xué)信息、物體實(shí)例。由此，我們可以產(chǎn)生出無(wú)窮無(wú)盡的隨機(jī)環(huán)境用于訓(xùn)練與測(cè)試。

人機(jī)交互系統(tǒng)，可為機(jī)器人提供人工示范。

iGibson 功能的一些應(yīng)用

我們?cè)谡撐闹姓故玖诉@些功能的用處，例如：iGibson 的光學(xué)雷達(dá)模擬可以幫助 agent 遷移到真實(shí)場(chǎng)景。

iGibson 場(chǎng)景的充分可交互性可以幫助預(yù)訓(xùn)練機(jī)器人視覺(jué)，從而加速機(jī)器人學(xué)習(xí)并完成復(fù)雜的交互任務(wù)。

用 iGibson 解決更復(fù)雜的機(jī)器人任務(wù)

上述的 iGibson 功能能幫助人們更好的開(kāi)發(fā)大型場(chǎng)景交互任務(wù)的解決方案。我們認(rèn)為，其中一個(gè)很重要的問(wèn)題是 Interactive Navigation （交互導(dǎo)航）。在這個(gè)任務(wù)中，agents 不僅需要導(dǎo)航，也需要改變其環(huán)境（如開(kāi)門(mén)、移開(kāi)障礙物）。這種需要改變環(huán)境的導(dǎo)航是在現(xiàn)實(shí)場(chǎng)景中最常見(jiàn)的。

為了在 iGibson 模擬環(huán)境中解決這個(gè)任務(wù)，我們開(kāi)發(fā)了一套分層強(qiáng)化學(xué)習(xí)（hierarchical reinforcement learning）算法來(lái)決定 agent 的具體動(dòng)作（當(dāng)需要交互時(shí)用機(jī)械臂，當(dāng)需要移動(dòng)時(shí)用底座，也可同時(shí)利用機(jī)械臂和底座 [8]。

此外我們也提出了一個(gè)結(jié)合了運(yùn)動(dòng)規(guī)劃算法的解決方案：算法來(lái)指定下個(gè)交互應(yīng)該在何處發(fā)生，運(yùn)動(dòng)規(guī)劃會(huì)基于此計(jì)算一條符合運(yùn)動(dòng)學(xué)且避障的軌跡 [9] 。

但我們認(rèn)為這只是 iGibson 潛力的冰山一角。目前我們實(shí)驗(yàn)室 SVL(Stanford Vision and Learning Lab)有許多的項(xiàng)目在使用 iGibson，來(lái)提出、攻克各種各樣的交互任務(wù)。

總結(jié)

我們認(rèn)為模擬環(huán)境有極大的潛力來(lái)幫助研究人員解決機(jī)器人與 AI 的各種問(wèn)題。iGibson 是一個(gè)完全開(kāi)源的、面向大型場(chǎng)景交互任務(wù)的模擬環(huán)境。我們真心希望 iGibson 能為機(jī)器人與 AI 的研究做出貢獻(xiàn)。

注：關(guān)于 Gibson: iGibson 的名字來(lái)源于心理學(xué)、認(rèn)知科學(xué)泰斗 James J. Gibson [1904-1979]。Gibson 生前提出了許多開(kāi)創(chuàng)性的想法，包括關(guān)于知覺(jué)的新概念：

知覺(jué)是一個(gè)生態(tài)（ecological）的過(guò)程，即本體不應(yīng)從其所處的生態(tài)環(huán)境中剝離出去；

知覺(jué)是一個(gè)動(dòng)態(tài)（active）的過(guò)程，即知覺(jué)需要交互和主觀能動(dòng)性。

在當(dāng)時(shí)，主流學(xué)說(shuō)認(rèn)為知覺(jué)是一個(gè)被動(dòng)接受并處理的過(guò)程。Gibson 的觀點(diǎn)則相反，認(rèn)為 agents 是在與環(huán)境的交互中主動(dòng)尋求、而不是被動(dòng)接受信息。Gibson 也提出了 “affordance”（承擔(dān)特質(zhì)）的概念：環(huán)境給予 agent 的行動(dòng)可能，例如門(mén)提供“打開(kāi)” 的功能，椅子提供 “支撐” 的功能。我們同事是這樣概括 Gibson 先生的 research 的：“ask not what’s inside your head, but what your head is inside of” (不要光注重于你腦中的世界，請(qǐng)著眼于你所處的世界)。