李飛飛吳佳俊團(tuán)隊(duì)新作：推出具身智能決策能力評價(jià)基準(zhǔn)，o1-preview登頂 | NeurIPS

作者：量子位 2024-11-15 09:36:07

李飛飛吳佳俊團(tuán)隊(duì)新提出的評估框架，對具身智能決策的四項(xiàng)關(guān)鍵子能力來了個全面檢查。

大模型的具身智能決策能力，終于有系統(tǒng)的通用評估基準(zhǔn)了。

李飛飛吳佳俊團(tuán)隊(duì)新提出的評估框架，對具身智能決策的四項(xiàng)關(guān)鍵子能力來了個全面檢查。

這套基準(zhǔn)已經(jīng)被選為了NeurIPS數(shù)據(jù)和測試集（D&B）專欄Oral論文，同時(shí)也被收錄進(jìn)了PyPI，只要一行代碼就能快速調(diào)用。

該框架名為Embodied Agent Interface（簡稱EAI），提供了連接不同模塊和基準(zhǔn)環(huán)境的標(biāo)準(zhǔn)接口。

利用這套框架，作者對18款主流模型進(jìn)行了測試，形成了一篇超百頁的論文。

測試結(jié)果顯示，在已公開的大模型當(dāng)中，o1-preview的綜合成績位列第一。

李飛飛本人表示，對這項(xiàng)合作研究感到非常興奮。

有網(wǎng)友評價(jià)說，這項(xiàng)成果為大模型具身智能決策塑造了未來。

四項(xiàng)子能力全面評估

首先，EAI提供了一種統(tǒng)一的目標(biāo)表示方法，能夠兼容不同類型的目標(biāo)，并支持復(fù)雜約束的描述。

團(tuán)隊(duì)認(rèn)為，現(xiàn)有的具身決策任務(wù)通常針對特定領(lǐng)域設(shè)計(jì)目標(biāo)，缺乏一致性和通用性。

例如，BEHAVIOR和VirtualHome都是具身智能體的評測基準(zhǔn)和模擬環(huán)境，用于研究智能體在復(fù)雜環(huán)境中完成任務(wù)的能力。

但二者又有所區(qū)別，BEHAVIOR使用基于狀態(tài)的目標(biāo)，而VirtualHome使用時(shí)間擴(kuò)展的目標(biāo)。

EAI則通過引入線性時(shí)態(tài)邏輯（LTL），實(shí)現(xiàn)了目標(biāo)表示方式的統(tǒng)一，提高了模塊之間的互操作性，便于比較不同模型在同一任務(wù)上的表現(xiàn)。

在具體的評估過程當(dāng)中，EAI采用了模塊化的評估方式，并將評估指標(biāo)進(jìn)行了更細(xì)粒度的劃分。

以往的研究通常將大模型作為整體進(jìn)行評估，很少關(guān)注其在具身決策各個子任務(wù)上的表現(xiàn)；

同時(shí)，這些現(xiàn)有基準(zhǔn)通常只關(guān)注任務(wù)的最終成功率，很少深入分析模型的錯誤類型和原因。

為了更深入理解大模型的行為模式和優(yōu)劣勢分布，EAI提出了四個關(guān)鍵能力模塊，并設(shè)計(jì)了一系列細(xì)粒度的評估指標(biāo)：

具體來說，四個關(guān)鍵模塊及內(nèi)容分別是：

目標(biāo)解釋（Goal Interpretation）：將自然語言表述的任務(wù)目標(biāo)轉(zhuǎn)化為形式化的LTL目標(biāo)公式；
子目標(biāo)分解（Subgoal Decomposition）：將任務(wù)目標(biāo)分解為一系列子目標(biāo)，每個子目標(biāo)也用LTL公式表示；
動作序列規(guī)劃（Action Sequencing）：根據(jù)任務(wù)目標(biāo)生成動作序列，在環(huán)境中執(zhí)行以達(dá)成目標(biāo)狀態(tài)；
轉(zhuǎn)換建模（Transition Modeling）：為每個動作或操作符生成前提條件和效果，形成環(huán)境轉(zhuǎn)換模型。