昨日，英偉達(dá)創(chuàng)始人黃仁勛在 SIGGRAPH 2024 Keynote 演講中講到了其人形機(jī)器人通用基礎(chǔ)模型「Project GR00T」。該模型在功能上迎來了一系列更新。

德克薩斯大學(xué)奧斯汀分校助理教授、英偉達(dá)高級(jí)研究科學(xué)家朱玉可發(fā)推，在視頻中演示了英偉達(dá)如何將通用家務(wù)機(jī)器人大規(guī)模仿真訓(xùn)練框架 RoboCasa 和 MimicGen 系統(tǒng)整合到英偉達(dá) Omniverse 平臺(tái)和 Isaac 機(jī)器人開發(fā)平臺(tái)。

圖源：https://x.com/yukez/status/1818092679936299373

視頻中涵蓋了英偉達(dá)自己的三個(gè)計(jì)算平臺(tái)，包括 AI、Omniverse 和 Jetson Thor，利用它們簡(jiǎn)化和加速開發(fā)者工作流程。通過這些計(jì)算平臺(tái)的共同賦能，我們有望進(jìn)入由物理 AI 驅(qū)動(dòng)的人形機(jī)器人時(shí)代。

其中最大的亮點(diǎn)，開發(fā)人員能夠使用蘋果 Vision Pro 來遠(yuǎn)程操控人形機(jī)器人來執(zhí)行任務(wù)。

與此同時(shí)，另一位英偉達(dá)高級(jí)研究科學(xué)家 Jim Fan 表示，Project GR00T 的更新令人振奮。英偉達(dá)利用系統(tǒng)化的方法來擴(kuò)展機(jī)器人數(shù)據(jù)，解決了機(jī)器人領(lǐng)域最棘手的難題。

思路也很簡(jiǎn)單：人類在真實(shí)機(jī)器人身上收集演示數(shù)據(jù)，而英偉達(dá)在仿真中將這些數(shù)據(jù)擴(kuò)展千倍及以上。通過 GPU 加速仿真，人們現(xiàn)在可以用算力來換取耗時(shí)耗力耗資金的人類收集數(shù)據(jù)了。

他談到自己不久前還認(rèn)為遠(yuǎn)程操控在根本上不可擴(kuò)展，這是因?yàn)樵谠邮澜缰校覀兛偸鞘艿?24 小時(shí) / 機(jī)器人 / 天數(shù)的限制。英偉達(dá)在 GR00T 上采用的新的合成數(shù)據(jù) pipeline 在比特世界打破了這一局限。

圖源：https://x.com/DrJimFan/status/1818302152982343983

對(duì)于英偉達(dá)在人形機(jī)器人領(lǐng)域的最新進(jìn)展，有網(wǎng)友表示，蘋果 Vision Pro 找到了最酷的用例。

英偉達(dá)開始引領(lǐng)下一波浪潮：物理 AI

英偉達(dá)也在一篇博客中詳述了加速人形機(jī)器人的技術(shù)流程，完整內(nèi)容如下：

為了加速全球范圍內(nèi)人形機(jī)器人的發(fā)展，英偉達(dá)宣布為全球領(lǐng)先的機(jī)器人制造商、AI 模型開發(fā)商和軟件制造商提供一套服務(wù)、模型和計(jì)算平臺(tái)，以開發(fā)、訓(xùn)練和構(gòu)建下一代人形機(jī)器人。

這套產(chǎn)品包括用于機(jī)器人仿真和學(xué)習(xí)的全新 NVIDIA NIM 微服務(wù)和框架、用于運(yùn)行多階段機(jī)器人工作負(fù)載的 NVIDIA OSMO 編排服務(wù)，以及支持 AI 和仿真的遠(yuǎn)程操作工作流，該工作流允許開發(fā)者使用少量人類演示數(shù)據(jù)來訓(xùn)練機(jī)器人。

黃仁勛表示：「AI 的下一波浪潮是機(jī)器人，其中最令人興奮的發(fā)展之一是人形機(jī)器人。我們正在推進(jìn)整個(gè) NVIDIA 機(jī)器人堆棧的發(fā)展，面向全球人形機(jī)器人開發(fā)者和公司開放訪問，讓他們能夠使用最符合其需求的平臺(tái)、加速庫(kù)和 AI 模型。」

借助 NVIDIA NIM 和 OSMO 加速開發(fā)

NIM 微服務(wù)提供了由英偉達(dá)推理軟件提供支持的預(yù)構(gòu)建容器，使開發(fā)人員能夠?qū)⒉渴饡r(shí)間從幾周縮短到幾分鐘。

兩個(gè)新的 AI 微服務(wù)將允許機(jī)器人專家在 NVIDIA Isaac Sim 中增強(qiáng)生成物理人工智能仿真工作流程。

MimicGen NIM 微服務(wù)根據(jù)來自空間計(jì)算設(shè)備（如 Apple Vision Pro）記錄的遠(yuǎn)程數(shù)據(jù)生成合成運(yùn)動(dòng)數(shù)據(jù)。Robocasa NIM 微服務(wù)可在 OpenUSD 中生成機(jī)器人任務(wù)和仿真環(huán)境。

云原生托管服務(wù) NVIDIA OSMO 現(xiàn)已推出，允許用戶在分布式計(jì)算資源（無論是在本地還是在云中）中協(xié)調(diào)和擴(kuò)展復(fù)雜的機(jī)器人開發(fā)工作流程。OSMO 的出現(xiàn)大大簡(jiǎn)化了機(jī)器人訓(xùn)練和仿真工作流程，將部署和開發(fā)周期從數(shù)月縮短至不到一周。

為人形機(jī)器人開發(fā)者提供先進(jìn)的數(shù)據(jù)捕獲工作流

訓(xùn)練人形機(jī)器人背后的基礎(chǔ)模型需要大量的數(shù)據(jù)。獲取人類演示數(shù)據(jù)的一種方法是使用遠(yuǎn)程操作，但這種方式正變得越來越昂貴和漫長(zhǎng)。

通過在 SIGGRAPH 計(jì)算機(jī)圖形大會(huì)上展示的 NVIDIA AI 和 Omniverse 遠(yuǎn)程操作參考工作流，研究者和 AI 開發(fā)者能夠從極少量遠(yuǎn)程捕捉的人類演示中生成大量合成運(yùn)動(dòng)和感知數(shù)據(jù)。

首先，開發(fā)人員使用 Apple Vision Pro 捕捉少量遠(yuǎn)程演示。然后，他們?cè)?NVIDIA Isaac Sim 中仿真錄音，并使用 MimicGen NIM 微服務(wù)從錄音中生成合成數(shù)據(jù)集。

開發(fā)人員使用真實(shí)數(shù)據(jù)和合成數(shù)據(jù)來訓(xùn)練 Project GR00T 人形機(jī)器人基礎(chǔ)模型，從而節(jié)省了大量的時(shí)間并降低了成本。然后，他們使用 Isaac Lab 中的 Robocasa NIM 微服務(wù)（一種機(jī)器人學(xué)習(xí)框架）來生成經(jīng)驗(yàn)以重新訓(xùn)練機(jī)器人模型。在整個(gè)工作流中，NVIDIA OSMO 將計(jì)算任務(wù)無縫地分配給不同的資源，為開發(fā)者減少了數(shù)周的管理工作量。

擴(kuò)大對(duì) NVIDIA 人形機(jī)器人開發(fā)者技術(shù)的訪問權(quán)限

NVIDIA 提供了三個(gè)計(jì)算平臺(tái)來簡(jiǎn)化人形機(jī)器人的開發(fā)：用于訓(xùn)練模型的 NVIDIA AI 超級(jí)計(jì)算機(jī)；基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim，機(jī)器人可以在仿真世界中學(xué)習(xí)和完善技能；以及用于運(yùn)行模型的 NVIDIA Jetson Thor 人形機(jī)器人計(jì)算機(jī)。開發(fā)人員可以根據(jù)自己的特定需求訪問和使用全部或部分平臺(tái)。

通過新的 NVIDIA 人形機(jī)器人開發(fā)者計(jì)劃，開發(fā)者可以提前使用新產(chǎn)品以及 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機(jī)器人基礎(chǔ)模型的最新版本。

1x、波士頓動(dòng)力、字節(jié)跳動(dòng)、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入早期訪問計(jì)劃的公司。

開發(fā)人員現(xiàn)在可以加入 NVIDIA 人形機(jī)器人開發(fā)人員計(jì)劃，以訪問 NVIDIA OSMO 和 Isaac Lab，并且很快將獲得 NVIDIA NIM 微服務(wù)的訪問權(quán)限。