本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

最近世界模型的火熱似乎能在機器人操作中起到一些至關(guān)重要的作用。而對于具身智能來說，現(xiàn)階段manipulation是最需要突破的點。特別是針對以下long horizon的任務(wù)，如何構(gòu)建機器人“小腦”，來實現(xiàn)各種復(fù)雜的操作要求，是當(dāng)下最需要解決的問題。

是否需要通過拆分skill為原子操作？

在把LLM應(yīng)用在機器人上時，比較常用的做法是把各種API提供在context里面，然后讓LLM根據(jù)任務(wù)prompt自動編寫planning代碼，可以參考文章：

這種方法優(yōu)點是非常直觀，可以比較清晰地把握任務(wù)的拆解邏輯，比如移動到A，抓起B(yǎng)，移動到C，放下B。但是這種操作的前提是能夠把整個任務(wù)拆分成原子操作（移動、抓取、放置等）。但是如果是一些比較復(fù)雜的任務(wù)，比如疊衣服這種任務(wù)，其是天然難以進行任務(wù)拆分的，那這個時候應(yīng)該怎么辦？其實對于manipulation來說，我們大量面對的應(yīng)該是這種long horizon且難以進行拆分的任務(wù)。

世界模型可以作為關(guān)鍵突破點

針對long horizon且難以進行拆分的manipulation任務(wù)，比較好的處理方法是研究模仿學(xué)習(xí)，比如diffusion policy或者ACT這種，對整個操作trajectory進行建模擬合。但是這種方法都會遇到一個問題，就是沒有辦法很好的處理累積誤差——而這個問題的本質(zhì)就是缺乏一套有效地反饋機制。

還是以疊衣服為例，人在疊衣服的時候，其實會根據(jù)視覺獲取的衣服變化，不斷地調(diào)整操作策略，最終將衣服疊到想要的樣子。那這個里面其實有一個比較隱含但是非常重要的點：人大概知道什么樣的操作，會導(dǎo)致衣物發(fā)生什么樣的變化。那么進一步，就是人其實具備一個關(guān)于衣物變形的模型，能夠大概知道什么樣的輸入，會導(dǎo)致狀態(tài)（衣物擺放）的變化（視覺層面就是像素級別），更加具體的可以表示為：

SORA其實給了一劑強心針，就是只要數(shù)據(jù)夠多，我能用transformer+diffusion layer，硬train一個可以理解并預(yù)測變化的模型f。假設(shè)我們已經(jīng)有了一個非常強的預(yù)測衣物隨操作變化的模型f，那這個時候疊衣服就可以通過像素級別的衣物狀態(tài)反饋，通過Model Predictive Control的思路，構(gòu)建一個視覺伺服（Visual Servo）的策略，將衣服疊到我們想要的狀態(tài)。這一點其實在LeCun最近的一些“暴論”上也得到了驗證：

如何構(gòu)建面向機器人操作的世界模型