NVIDIA本周在德國慕尼黑舉行的年度機(jī)器人學(xué)習(xí)大會上推出了這些新工具，大會重點(diǎn)關(guān)注了機(jī)器人技術(shù)和機(jī)器學(xué)習(xí)的交叉領(lǐng)域。

NVIDIA宣布推出新的機(jī)器人AI學(xué)習(xí)和模擬工具

其中，包括現(xiàn)已上市的機(jī)器人學(xué)習(xí)框架NVIDIA Isaac Lab；6個用于Project GR00T的新人形機(jī)器人學(xué)習(xí)工作流程，以支持AI機(jī)器人大腦開發(fā)；以及用于視頻處理的新開發(fā)人員工具。

觀察和理解世界對于機(jī)器人技術(shù)發(fā)展至關(guān)重要。這就必須要分解來自攝像頭的視頻，以便AI模型可以處理這些視頻。NVIDIA宣布Cosmos開源標(biāo)記器現(xiàn)在已經(jīng)全面上市，為開發(fā)者提供了高質(zhì)量的標(biāo)記功能，具有極高的壓縮率，運(yùn)行速度比當(dāng)前的標(biāo)記器快12倍，與NeMo Curator相結(jié)合可以優(yōu)化和理解輸入內(nèi)容。

這也使開發(fā)者能夠構(gòu)建更好的“世界模型”（即世界的AI表示），可以預(yù)測機(jī)器人執(zhí)行動作時物體和環(huán)境將如何響應(yīng)。

例如，當(dāng)機(jī)器人夾持器靠近香蕉時會發(fā)生什么？成熟的香蕉很軟，因此機(jī)器人夾持器不能快速或用力靠近，否則會破碎、變形并造成混亂。一張紙呢？必須以不同的方式抓取紙。不管是哪一種情況，都涉及視頻數(shù)據(jù)的高質(zhì)量編碼和解碼。

人形機(jī)器人初創(chuàng)公司1X Technologies的AI副總裁Eric Jang解釋說，Cosmos標(biāo)記器幫助他的公司實(shí)現(xiàn)了高數(shù)據(jù)壓縮，同時仍保持極高的視覺質(zhì)量。他說：“這使我們能夠以更高效的方式訓(xùn)練具有長視界視頻生成的世界模型?！?/p>

并非所有機(jī)器人AI大腦都可以在現(xiàn)實(shí)世界中訓(xùn)練，因此NVIDIA發(fā)布了Isaac Lab，這是一個基于Omniverse數(shù)字孿生模擬平臺的開源機(jī)器人學(xué)習(xí)框架。

Omniverse是一個實(shí)時3D圖形協(xié)作和模擬平臺，讓藝術(shù)家、開發(fā)者和企業(yè)使用完全實(shí)現(xiàn)的物理學(xué)構(gòu)建工廠、城市和其他空間的逼真的3D模型和場景，這使其成為模擬虛擬環(huán)境以訓(xùn)練機(jī)器人的一款強(qiáng)大工具。

開發(fā)者可以使用Isaac Lab訓(xùn)練機(jī)器人并大規(guī)模調(diào)整策略，以了解性能和安全性。這個框架適用于任何框架和機(jī)器人化身，包括手臂、人形機(jī)器人、四足動物和群體。

NVIDIA表示，全球有很多商用機(jī)器人制造商和研究團(tuán)體已經(jīng)把Isaac Lab納入他們的工作流程中，包括Agility Robots、Boston Dynamics、1X、Galbot、Fourier、Mentee Robotics和Berkeley Humanoid。

Project GR00T和更多人形機(jī)器人工作流程

構(gòu)建和開發(fā)先進(jìn)的人形機(jī)器人是一項(xiàng)艱巨的挑戰(zhàn)，因?yàn)槿祟惪梢暂p松完成的行走、感知和采取行動需要大量的硬件工程、AI訓(xùn)練和AI計算，才能讓機(jī)器人完成看似簡單的任務(wù)。

Project GR00T是NVIDIA的一項(xiàng)計劃，為開發(fā)者提供通用人形機(jī)器人的AI基礎(chǔ)模型、軟件庫和數(shù)據(jù)管道，幫助開發(fā)者快速制作原型并更快展開構(gòu)建。

為了幫助開發(fā)者構(gòu)建先進(jìn)的人形機(jī)器人，NVIDIA宣布推出了6個新的Project GR00T工作流程藍(lán)圖，幫助他們在機(jī)器人中開發(fā)新的功能。

GR00T-Gen讓開發(fā)者可以打造逼真的模擬環(huán)境，以訓(xùn)練機(jī)器人在其中移動、操縱物體和執(zhí)行其他任務(wù)。它使用大型語言模型和3D生成式AI模型來創(chuàng)建視覺多樣化的場景和隨機(jī)場景，幫助創(chuàng)建強(qiáng)大的訓(xùn)練環(huán)境。

GR00T-Mimic讓機(jī)器人可以向人類老師學(xué)習(xí)。使用這種工作流程，人類演示者可以遠(yuǎn)程操作機(jī)器人并以與人類相同的方式執(zhí)行操作，例如在倉庫中走動、從貨架上拉出箱子并將箱子放在推車上，讓機(jī)器人在相同的環(huán)境中也可以模仿相同的動作。NVIDIA表示，這個方法使用物理世界中有限數(shù)量的人類演示，使用擴(kuò)展現(xiàn)實(shí)例如Apple Vision Pro，然后縮放運(yùn)動數(shù)據(jù)以幫助機(jī)器人自己產(chǎn)生更有機(jī)的運(yùn)動。

GR00T-Dexterity和GR00T-Control為人形機(jī)器人提供了一套精細(xì)的靈巧操作和廣泛的身體控制模型和策略。Dexterity將幫助開發(fā)者使用具有執(zhí)行器和指關(guān)節(jié)高度靈巧的手的機(jī)器人，并處理未抓握、抓握力和其他抓握動作。GR00T-Control將有助于為整個身體進(jìn)行運(yùn)動規(guī)劃，以便行走、移動四肢或執(zhí)行任務(wù)。

GR00T-Mobility為開發(fā)者提供了一套模型，幫助人形機(jī)器人行走和繞過障礙物，旨在實(shí)現(xiàn)基于學(xué)習(xí)的方法，快速推廣到新環(huán)境中。

最后，GR00T-Perception增加了高級軟件庫和人機(jī)交互基礎(chǔ)模型，幫助機(jī)器人“記住”事件的長期歷史。為此，NVIDIA為Perception添加了恰如其名的ReMEmbR，為機(jī)器人提供個性化人類互動的記憶，并提供背景和空間意識，以提供更好的感知、認(rèn)知和適應(yīng)能力。