特斯拉人形機(jī)器人又解鎖了新技能！

昨日，Tesla Optimus 官方發(fā)布了新的 demo 視頻，展示了二代 Optimus 人形機(jī)器人的最新進(jìn)展。

這次，Optimus 開始進(jìn)廠打工了，在特斯拉電池工廠學(xué)會了分裝電池，并且比以前走得更快更遠(yuǎn)更穩(wěn)了。

讓我們先一睹 Optimus 的最新技能和訓(xùn)練細(xì)節(jié)。

現(xiàn)在，Optimus 的端到端神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練，能夠?qū)μ厮估S的電池單元進(jìn)行準(zhǔn)確分裝。

Optimus 在機(jī)器人的 FSD 計(jì)算機(jī)上實(shí)時(shí)運(yùn)行，而僅僅依靠 2D 攝像頭、手部觸覺和力傳感器。Optimus 利用它的腿保持平衡，同時(shí)網(wǎng)絡(luò)驅(qū)動著整個(gè)上半身。

在插入過程中需要非常精確的動作，且容錯(cuò)率很低，神經(jīng)網(wǎng)絡(luò)會自動定位下一個(gè)空閑槽位。Optimus 還能從故障中自主恢復(fù)。

Optimus 的訓(xùn)練數(shù)據(jù)是通過人類遠(yuǎn)程操作收集，并針對各種任務(wù)進(jìn)行了擴(kuò)展。

Optimus 在工廠進(jìn)行測試，人工干預(yù)率持續(xù)下降。

當(dāng)然，Optimus 現(xiàn)在可以在定期繞著辦公室行走，不僅走得更快，走的距離也越來越遠(yuǎn)了。

對此，特斯拉 Optimus（Tesla Bot）工程師 Milan Kovac 對 Optimus 的更多訓(xùn)練細(xì)節(jié)進(jìn)行了解讀。

在過去的幾個(gè)月里，特斯拉出色的制造團(tuán)隊(duì)制造出了更多的機(jī)器人，以便進(jìn)行研究并收集人工智能數(shù)據(jù)。

團(tuán)隊(duì)訓(xùn)練并部署了一個(gè)神經(jīng)網(wǎng)絡(luò)，允許 Optimus 開始執(zhí)行有用的任務(wù)，例如從傳送帶上撿起電池單元并將它們精確地插入托盤中。

這個(gè)神經(jīng)網(wǎng)絡(luò)完全端到端運(yùn)行，這意味著 Optimus 只消耗來自機(jī)器人 2D 攝像頭的視頻以及板載本體感受器上的數(shù)據(jù)，并直接產(chǎn)生關(guān)節(jié)控制序列。

Optimus 完全在機(jī)器人的嵌入式 FSD 計(jì)算機(jī)上運(yùn)行，由板載電池供電。這樣的設(shè)計(jì)使得單個(gè)神經(jīng)網(wǎng)絡(luò)可以通過添加更多樣化的數(shù)據(jù)到訓(xùn)練過程中來執(zhí)行多個(gè)任務(wù)。

雖然目前 Optimus 還不完美，速度還有點(diǎn)慢，但我們看到了越來越高的成功率和越來越少的失誤。特斯拉還訓(xùn)練 Optimus 從失敗案例中恢復(fù)，并看到了自發(fā)的校正發(fā)生。

特斯拉已經(jīng)在一家工廠部署了幾臺 Optimus 人形機(jī)器人，它們每天都在真實(shí)的工作站上進(jìn)行測試，并持續(xù)改進(jìn)。

團(tuán)隊(duì)正在進(jìn)行進(jìn)一步的工作，以使 Optimus 移動更快，以及應(yīng)對更惡劣的地形，同時(shí)不犧牲它的人性化特性。團(tuán)隊(duì)還將專注于可重復(fù)性、訓(xùn)練神經(jīng)網(wǎng)絡(luò)處理動態(tài)校準(zhǔn)和機(jī)器人之間的微小差異。很快會有更多的更新。

此外，英偉達(dá)高級研究科學(xué)家、AI Agents 負(fù)責(zé)人 Jim Fan 對 Optimus 新視頻展示出的技能給予了很高的評價(jià)。

他認(rèn)為，視頻讓我們窺見了人類數(shù)據(jù)收集的真實(shí)場景，這是 Optimus 最大的優(yōu)勢。建立這樣的流水線需要什么呢？Optimus 做到了以下幾點(diǎn)：

Optimus 的手是世界上頂級五指靈巧型機(jī)器人手之一，它具有觸覺感知，擁有 11 個(gè)自由度（DOF），相比之下許多競品只有 6-7 個(gè) DOF，并且具有強(qiáng)大的穩(wěn)健性，能夠在不需要持續(xù)維護(hù)的情況下承受大量的物體交互。

遠(yuǎn)程操作軟件：我們可以看到人類操作員戴著 VR 眼鏡和手套。設(shè)置軟件以實(shí)現(xiàn)第一人稱視頻的實(shí)時(shí)傳輸和精確控制輸出，同時(shí)保持極低延遲，這是非常了不起的。人類對于自己動作和機(jī)器人動作之間的最微小延遲都非常敏感。Optimus 有一個(gè)流暢的全身控制器，可以實(shí)時(shí)執(zhí)行人類姿態(tài)。

大規(guī)模 fleet：你需要不止一個(gè)機(jī)器人來并行收集數(shù)據(jù)，需要訓(xùn)練有素的人類每天進(jìn)行多次輪班（最好全天候），以及一個(gè)隨叫隨到的維護(hù)團(tuán)隊(duì)，以確保機(jī)器人始終處于忙碌狀態(tài)。這是學(xué)術(shù)研究實(shí)驗(yàn)室甚至都不會考慮的大量操作復(fù)雜性。

任務(wù)與環(huán)境：弄清楚要遠(yuǎn)程操作什么也同樣重要。目前，大多數(shù)此類工作都是由演示驅(qū)動的：收集你想要放入社交媒體視頻中的任務(wù)數(shù)據(jù)。但想要解決通用型機(jī)器人的問題，我們需要仔細(xì)考慮任務(wù)和環(huán)境的分布。從視頻的 43 秒到 51 秒部分，我們可以看到工廠和家居環(huán)境，如移動電池、處理洗衣物、將日常物品分類放入貨架。

這是一個(gè)開放性的研究問題：如果你只有預(yù)算來收集 1000 個(gè)任務(wù)的訓(xùn)練數(shù)據(jù)，你會選擇什么來最大化技能轉(zhuǎn)移和泛化呢？

結(jié)論：遠(yuǎn)程操作是解決人形機(jī)器人問題的必要條件，但不足以充分解決問題。它從根本上來說無法擴(kuò)展。

在評論區(qū)，馬斯克預(yù)告了 Optimus 人形機(jī)器人手部的最新目標(biāo)，在今年晚些時(shí)候?qū)碛?22 自由度（DoF）。這就更讓人期待一波了。

此前，據(jù)馬斯克在財(cái)報(bào)電話會議上透露，特斯拉 Optimus 人形機(jī)器人可能會在今年底擁有完成「有用的工廠任務(wù)」的能力，并計(jì)劃今年底前在自家工廠率先使用。同時(shí)特斯拉有可能在 2025 年年底前對外銷售 Optimus。

特斯拉人形機(jī)器人「進(jìn)化史」

特斯拉人形機(jī)器人最早要追溯到 2021 年 8 月的「特斯拉 AI 日」活動上，當(dāng)時(shí)馬斯克首次透露了要造人形機(jī)器人（Tesla Bot）的設(shè)想。

這款人形機(jī)器人的身高大概是 1.72 米，重約 112 斤，身材勻稱，還帶有一張面部屏幕，能夠以約 8 公里 / 小時(shí)的速度移動。

2022 年 10 月，這一年的「特斯拉 AI 日」上，Optimus 人形機(jī)器人首次亮相。彼時(shí)，它還不能做跳舞等花樣表演。機(jī)器人工作時(shí)的功耗是 500W，重量達(dá)到 73 公斤，手運(yùn)動的自由度有 27 個(gè)。

不過，在 Demo 演示中，Optimus 展示了其搬箱子、澆花、在特斯拉超級工廠工作的畫面。

2023 年 5 月，經(jīng)過半年多的蟄伏，特斯拉 Optimus 終于具備了流暢行走和抓取物體的能力。

2023 年 9 月，特斯拉 Optimus 再次進(jìn)化，可以自主對物體進(jìn)行分類了，亮點(diǎn)在于神經(jīng)網(wǎng)絡(luò)完全端到端訓(xùn)練：輸入視頻、輸出控制。閑暇之余，它還能做瑜伽消遣。

2023 年 12 月，Optimus 二代到來，讓人的確看到了電影《機(jī)械公敵》里的樣子了。

隨著新視頻的發(fā)布，特斯拉人形機(jī)器人的進(jìn)步速度再次令人驚嘆。