自 2017 年首次舉辦以來，CoRL 已經(jīng)成為了機器人學與機器學習交叉領域的全球頂級學術會議之一。CoRL 是面向機器人學習研究的 single-track 會議，涵蓋機器人學、機器學習和控制等多個主題，包括理論與應用。

2023 年的 CoRL 大會于 11 月 6 日至 9 日在美國亞特蘭大舉行。據(jù)官方數(shù)據(jù)透露，今年來自 25 個國家的 199 篇論文入選 CoRL，熱門主題包括 manipulation、強化學習等。雖然相比于 AAAI、CVPR 等大型 AI 學術會議，CoRL 的會議規(guī)模還相對小很多，但隨著今年大模型、具身智能、人形機器人等概念的火熱，CoRL 會議上的相關研究也非常值得關注。

目前，CoRL 2023 官方已公布最佳論文獎、最佳學生論文獎、最佳系統(tǒng)論文獎等獎項。接下來，我們將為大家介紹一下這些獲獎論文。

最佳論文

• 論文：Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation
• 作者：William Shen, Ge Yang, Alan Yu, Jensen Wong, Leslie Pack Kaelbling, Phillip Isola
• 機構(gòu)：MIT CSAIL、IAIFI
• 論文地址：https://openreview.net/forum?id=Rb0nGIt_kh5

論文簡介：當前，自監(jiān)督和語言監(jiān)督的圖像模型已經(jīng)包含豐富的世界知識，這對于泛化來說非常重要，但圖像特征是二維的。我們知道，機器人任務通常需要對現(xiàn)實世界中三維物體的幾何形狀有所了解。

該研究利用蒸餾特征場（Distilled Feature Field，DFF），將準確的 3D 幾何圖形與來自 2D 基礎模型的豐富語義結(jié)合起來，讓機器人能夠利用 2D 基礎模型中豐富的視覺和語言先驗，完成語言指導的操作。

具體來說，該研究提出了一種用于 6-DOF 抓取和放置的小樣本學習方法，并利用強大的空間和語義先驗泛化到未見過物體上。使用從視覺 - 語言模型 CLIP 中提取的特征，該研究提出了一種通過開放性的自然語言指令對新物體進行操作，并展示了這種方法泛化到未見過的表達和新型物體的能力。

這篇論文的兩位共同一作是 CSAIL 「具身智能」團隊的成員 William Shen 和楊歌，其中楊歌是 2023 年 CSAIL 具身智能研討會的共同籌辦人。

機器之心曾詳細介紹過這篇研究，請參考《大模型加持的機器人有多強，MIT CSAIL&IAIFI 用自然語言指導機器人抓取物體》。

最佳學生論文

• 論文：Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners
• 作者：Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar
• 機構(gòu)：普林斯頓大學、Google DeepMind
• 論文地址：https://openreview.net/forum?id=4ZK8ODNyFXx

論文簡介：從逐步規(guī)劃到常識推理，大型語言模型（LLM）展現(xiàn)出大量在機器人領域未來可期的能力，但 LLM 存在幻覺問題。

基于此，該研究提出了一種新框架 ——KnowNo，用于度量和對齊基于 LLM 的規(guī)劃器的不確定性。它能夠使 LLM 意識到哪些信息是未知的，并在有需要時求助。

KnowNo 建立在共形預測（conformal prediction）理論的基礎上，為任務完成提供統(tǒng)計保證，同時能夠最大限度地減少多步驟規(guī)劃任務中的人工干預。

該研究在各種模擬和真實機器人實驗中，用各種模式的不確定任務（包括空間不確定性、數(shù)字不確定性等等）對 KnowNo 進行了測試。實驗結(jié)果表明， KnowNo 在提高效率和自主性方面表現(xiàn)出色，優(yōu)于基線，并且安全可信。KnowNo 能夠在不進行模型微調(diào)的情況下直接用于 LLM，為模型的不確定性提供了一種有效的輕量級解決方法，并能夠與基礎模型不斷增強的能力相輔相成。

最佳系統(tǒng)論文

• 論文：RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools
• 作者：Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu
• 機構(gòu)：斯坦福大學、UIUC
• 論文地址：https://openreview.net/forum?id=69y5fzvaAT

論文簡介：人類擅長制造和使用各種工具，但對于機器人而言，理解如何有效使用工具，并在相應的物體上完成操作仍然是一個很大的挑戰(zhàn)。該研究構(gòu)建了一個名為 RoboCook 的智能機器人系統(tǒng)，該系統(tǒng)能夠通過各種工具感知、建模并操縱彈塑性物體（elasto-plastic object）。

RoboCook 使用點云場景表征，利用圖神經(jīng)網(wǎng)絡（GNN）對工具與物體的相互作用進行建模，并將工具分類與自監(jiān)督策略學習相結(jié)合，以制定操作計劃。

該研究表明，對于每個工具，僅需 20 分鐘的現(xiàn)實世界交互數(shù)據(jù)，RoboCook 就能學會并操縱機械臂完成一些復雜的、長時程的彈塑性物體操作任務，例如制作餃子、字母餅干等。

實驗表明，RoboCook 的性能大大優(yōu)于現(xiàn)有 SOTA 方法，對嚴重的外部干擾也能表現(xiàn)出穩(wěn)健性，對不同材料的適應性也較強。

值得一提的是，這篇論文的共同一作分別是來自斯坦福大學的博士生 Haochen Shi、原斯坦福大學博士后研究員、現(xiàn)清華大學交叉信息科學研究所助理教授 Huazhe Xu，論文作者之一是姚班校友、斯坦福大學助理教授吳佳俊。

獲獎論文完整入圍名單