稚暉君后宇樹也來玩開源了:機(jī)器人操作數(shù)據(jù)集,采用抱抱臉LeRobot訓(xùn)練測試,網(wǎng)友:泰褲辣!
繼稚暉君之后,國內(nèi)又一家頭部機(jī)器人公司玩起了開源!
宇樹科技,開源Unitree G1機(jī)器人操作數(shù)據(jù)集,包括數(shù)據(jù)采集、學(xué)習(xí)算法、數(shù)據(jù)集和模型,并表示將持續(xù)更新。
更令網(wǎng)友意外的是,宇樹基于抱抱臉LeRobot開源框架訓(xùn)練并測試。
抱抱臉聯(lián)合創(chuàng)始人兼CEO緊忙碼住轉(zhuǎn)發(fā):
泰褲辣,LeRobot、huggingface和開源技術(shù)在機(jī)器人領(lǐng)域日益突出。
此套開源數(shù)據(jù)集目前包括擰瓶蓋倒水:
疊三色積木等5種操作:
網(wǎng)友對于宇樹這波開源紛紛豎起了大拇哥:
好哇好哇,希望更多公司能為機(jī)器人研究開源數(shù)據(jù)集。
具體都開源了啥?
具體來看,數(shù)據(jù)采集方面,目前使用蘋果Vision Pro對G1進(jìn)行遙操作控制的倉庫,已超400star:
其中包含遙操作控制的代碼教程:
以及硬件配置圖、物料清單和安裝說明:
訓(xùn)練方法如前所述,基于lerobot:
還有將前面遙操作采集的JSON格式數(shù)據(jù)轉(zhuǎn)為lerobot所需格式的教程。
最后就是數(shù)據(jù)集和模型,目前模型還顯示“尚未公開”,數(shù)據(jù)集使用配備有三指靈巧手的宇樹G1人形機(jī)器人收集,每張圖分辨率為640x480,每個手臂和靈巧手的狀態(tài)和動作維度為7。
包含五大操作數(shù)據(jù)集:
除了開頭所展示的擰瓶蓋倒水、堆疊紅、黃、綠三色木塊,還有將攝像頭放入相應(yīng)包裝盒、收集物品并存儲、雙臂抓取紅色木塊并將其放入一個黑色長方形容器中:
宇樹G1 9.9萬元起,已量產(chǎn)
最后再來簡單介紹一下宇樹G1,量子位此前也有持續(xù)關(guān)注。
今年5月份首次亮相,當(dāng)時官方首先展示的就是它的手部以及操作能力。
也是采用3指力控靈巧手,通過力位混合控制,能擰瓶蓋、砸核桃,還能做焊接。
在視覺傳感器方面,搭載了Intel RealSense D435和LIVOX-MID360 3D激光雷達(dá),能夠?qū)崿F(xiàn)360°的探測感知。
8月份,宇樹更是宣布G1可大規(guī)模量產(chǎn)了。
基于端到端深度強(qiáng)化學(xué)習(xí)和仿真訓(xùn)練的技術(shù)路線,G1可快速升級迭代。
G1量產(chǎn)版性能更強(qiáng),能單腿跳躍:
還能原地起跳360度轉(zhuǎn)身:
而且發(fā)售價9.9萬起,讓一眾同行坐不住。
如今伴隨G1數(shù)據(jù)集開源,距離讓機(jī)器人替我上班是不是又前進(jìn)了一丟丟。