大規(guī)模數(shù)據(jù)集和標(biāo)準(zhǔn)化評(píng)估基準(zhǔn)顯著促進(jìn)了自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展。然而，機(jī)器人領(lǐng)域在如何構(gòu)建大規(guī)模數(shù)據(jù)集并建立可靠的評(píng)估體系方面仍面臨巨大挑戰(zhàn)。

一方面，采集真實(shí)世界的機(jī)器人數(shù)據(jù)需要消耗大量資源（如時(shí)間、硬件成本），且效率低下；另一方面，在現(xiàn)實(shí)場(chǎng)景中測(cè)試機(jī)器人性能面臨復(fù)雜的環(huán)境配置，難以控制變量并標(biāo)準(zhǔn)化。

雖然合成數(shù)據(jù)和仿真模擬被視為潛在解決方案，但目前仍存在數(shù)據(jù)質(zhì)量不足、多樣性有限，缺乏統(tǒng)一的評(píng)估標(biāo)準(zhǔn)等問(wèn)題。

目前，機(jī)器人仿真領(lǐng)域還處于相對(duì)碎片化的狀態(tài) —— 不同的仿真器標(biāo)準(zhǔn)不一、接口割裂，極大限制了研究集成與社區(qū)協(xié)作的效率。

為了應(yīng)對(duì)這些挑戰(zhàn)，一個(gè)致力于跨越隔閡、統(tǒng)一標(biāo)準(zhǔn)的全新平臺(tái)應(yīng)運(yùn)而生。來(lái)自 UC 伯克利、北京大學(xué)等機(jī)構(gòu)的研究人員打造了 RoboVerse，一個(gè)統(tǒng)一的平臺(tái)、數(shù)據(jù)集與評(píng)測(cè)體系，專為可擴(kuò)展、可泛化的機(jī)器人學(xué)習(xí)而生。

• 論文標(biāo)題：RoboVerse: Towards a Unified Platform, Dataset and Benchmark for Scalable and Generalizable Robot Learning
• 論文主頁(yè)：https://roboverseorg.github.io/
• Github 鏈接: https://github.com/RoboVerseOrg/RoboVerse

團(tuán)隊(duì)作者有我們熟悉的機(jī)器人和強(qiáng)化學(xué)習(xí)領(lǐng)域大牛、UC 伯克利教授 Pieter Abbeel，以及同樣來(lái)自 UC 伯克利的計(jì)算機(jī)視覺(jué)與機(jī)器人領(lǐng)域泰斗 Jitendra Malik 教授。

這項(xiàng)研究在 X 上引起了廣泛討論：「機(jī)器人需要 MMLU 基準(zhǔn)時(shí)刻，打造真實(shí)高質(zhì)量的機(jī)器人仿真極端困難，RoboVerse 令人激動(dòng)地提供了統(tǒng)一的仿真平臺(tái)，數(shù)據(jù)集和測(cè)試基準(zhǔn)！」

「RoboVerse 解決了機(jī)器人仿真領(lǐng)域長(zhǎng)期存在的分散化，發(fā)展緩慢的問(wèn)題，使得構(gòu)建，測(cè)試，scale up 都變得更容易！」

RoboVerse 介紹

核心亮點(diǎn)一：MetaSim —— 讓仿真不再 “各說(shuō)各話”

RoboVerse 團(tuán)隊(duì)設(shè)計(jì)了 MetaSim：一個(gè)通用的配置系統(tǒng) (configuration system) 與標(biāo)準(zhǔn)接口 (standard interface)，能夠無(wú)縫對(duì)接目前主流的機(jī)器人仿真器。

這意味著，同一段代碼，可以在多個(gè)仿真平臺(tái)上運(yùn)行！無(wú)論你用的是 MuJoCo、IsaacLab、Genesis 還是其他平臺(tái)，都可以在 MetaSim 的框架下順暢集成。整個(gè)社區(qū)的努力，從此可以更好地整合到統(tǒng)一的框架。

核心亮點(diǎn)二：統(tǒng)一的大規(guī)模數(shù)據(jù)集與標(biāo)準(zhǔn)評(píng)測(cè)體系

RoboVerse 還構(gòu)建了一個(gè)前所未有的大規(guī)模合成數(shù)據(jù)集，涵蓋多種任務(wù)類型，兼具數(shù)據(jù)質(zhì)量和多樣性，是目前最具代表性的大規(guī)模仿真數(shù)據(jù)集之一。

同時(shí)，平臺(tái)也提出了適用于模仿學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的標(biāo)準(zhǔn)化評(píng)測(cè)體系，實(shí)現(xiàn)跨平臺(tái)、跨基準(zhǔn)的可比性 —— 讓算法的性能得到更完整的展現(xiàn)。

核心亮點(diǎn)三：混合仿真 —— 真正 “強(qiáng)強(qiáng)聯(lián)合”，實(shí)現(xiàn)更高保真度

得益于統(tǒng)一的接口，RoboVerse 還解鎖了一個(gè) “超能力”：混合仿真（Hybrid Simulation）。

基于 RoboVerse, 你可以用 MuJoCo 提供精準(zhǔn)的物理引擎，同時(shí)搭配 Isaac Lab 實(shí)現(xiàn)高質(zhì)量的圖像渲染 —— 實(shí)現(xiàn)物理與視覺(jué)的強(qiáng)強(qiáng)組合。它不僅讓仿真看起來(lái)更像現(xiàn)實(shí)世界，更極大提升了真實(shí)環(huán)境中的遷移效果，讓機(jī)器人從仿真走進(jìn)現(xiàn)實(shí)。

遙操作 (Teleoperation) 也不再?gòu)?fù)雜：RoboVerse 支持多種遙操作方式，并實(shí)現(xiàn)了高度的可拓展性與易用性。團(tuán)隊(duì)專門開(kāi)發(fā)了一款移動(dòng)端 App，借助手機(jī)內(nèi)置傳感器，讓用戶可以直接通過(guò)手機(jī)進(jìn)行機(jī)器人遠(yuǎn)程控制，操作自然流暢、毫無(wú)障礙。

此外，RoboVerse 還支持多種其他遙操作設(shè)備，包括 Mocap 動(dòng)作捕捉系統(tǒng)、VR 頭顯、鍵盤、手柄等，最大程度上兼顧了不同用戶的控制習(xí)慣與實(shí)驗(yàn)需求。

Real2Sim 工具鏈：RoboVerse 支持從現(xiàn)實(shí)世界單目視頻中重建可用于仿真的 3D 資產(chǎn)，基于 3DGS（3D Gaussian Splatting）等先進(jìn)技術(shù)，打通從現(xiàn)實(shí)到仿真的通道，大大降低了仿真環(huán)境構(gòu)建的門檻。

AI 自動(dòng)生成任務(wù)（AI-Generate Tasks）：借助 MetaSim 的統(tǒng)一任務(wù)配置能力，RoboVerse 還探索了利用大語(yǔ)言模型（LLM）進(jìn)行任務(wù)創(chuàng)作。它能夠自動(dòng)組合數(shù)據(jù)集中的資產(chǎn)并生成全新任務(wù)，展現(xiàn)出 LLM 在機(jī)器人任務(wù)生成上的巨大潛力。

原生支持 GPU 并行訓(xùn)練：RoboVerse 對(duì)任務(wù)和基準(zhǔn)系統(tǒng)進(jìn)行了深度優(yōu)化，讓過(guò)去難以并行擴(kuò)展的仿真任務(wù)，可以輕松遷移到 GPU 上進(jìn)行大規(guī)模并行強(qiáng)化學(xué)習(xí)訓(xùn)練，大大提高了研究效率與實(shí)驗(yàn)規(guī)模。

RoboVerse 平臺(tái)和數(shù)據(jù)集在模型訓(xùn)練上展現(xiàn)了強(qiáng)大的能力。使用 RoboVerse 提供的大規(guī)模高質(zhì)量數(shù)據(jù)集，訓(xùn)練 Vision-Language-Action (VLA) Model 可以無(wú)需真機(jī)樣本直接泛化到未見(jiàn)過(guò)的真機(jī)場(chǎng)景:

RoboVerse 跨模擬器的能力進(jìn)一步支持了 Sim2Sim2Real 的 humanoid 部署。在 RoboVerse 平臺(tái)上訓(xùn)練的機(jī)器人，可以實(shí)現(xiàn)無(wú)縫仿真切換，支持訓(xùn)練，驗(yàn)證，部署全流程。

注：以上部分視頻，GIF有倍速

在 AI 與機(jī)器人技術(shù)飛速發(fā)展的今天，RoboVerse 的出現(xiàn)，無(wú)疑為機(jī)器人社區(qū)帶來(lái)了更好的資源整合機(jī)會(huì)和更大的協(xié)同發(fā)展?jié)摿?。無(wú)論你是研究者、開(kāi)發(fā)者，還是對(duì)機(jī)器人充滿好奇的探索者，都值得關(guān)注這個(gè)正在快速成型的 “機(jī)器人宇宙”！