隨著大模型的不斷進(jìn)化，LLM智能體——這些強(qiáng)大的算法實(shí)體已經(jīng)展現(xiàn)出解決復(fù)雜多步驟推理任務(wù)的潛力。從自然語(yǔ)言處理到深度學(xué)習(xí)，LLM智能體正逐漸成為研究和工業(yè)界的焦點(diǎn)，它們不僅能夠理解和生成人類語(yǔ)言，還能在多變的環(huán)境中制定策略、執(zhí)行任務(wù)，甚至使用API調(diào)用和編碼來(lái)構(gòu)建解決方案。

在這樣的背景下，AgentQuest框架的提出具有里程碑意義，它不僅為L(zhǎng)LM智能體的評(píng)估和進(jìn)步提供了一個(gè)模塊化的基準(zhǔn)測(cè)試平臺(tái)，而且通過(guò)其易于擴(kuò)展的API，為研究人員提供了一個(gè)強(qiáng)大的工具，以更細(xì)粒度地跟蹤和改進(jìn)這些智能體的性能。AgentQuest的核心在于其創(chuàng)新的評(píng)估指標(biāo)——進(jìn)展率和重復(fù)率，它們能夠揭示智能體在解決任務(wù)過(guò)程中的行為模式，從而指導(dǎo)架構(gòu)的優(yōu)化和調(diào)整。

4月10日發(fā)表的論文《AgentQuest: A Modular Benchmark Framework to Measure Progress and Improve LLM Agents》由一支多元化的研究團(tuán)隊(duì)撰寫，他們來(lái)自NEC歐洲實(shí)驗(yàn)室、都靈理工大學(xué)和北馬其頓的圣西里爾與美多德大學(xué)。這篇論文并將在計(jì)算語(yǔ)言學(xué)協(xié)會(huì)北美分會(huì)2024年會(huì)議（NAACL-HLT 2024）上展示，這標(biāo)志著該團(tuán)隊(duì)在人類語(yǔ)言技術(shù)領(lǐng)域的研究成果得到了同行的認(rèn)可，這不僅是對(duì)AgentQuest框架價(jià)值的認(rèn)可，也是對(duì)LLM智能體未來(lái)發(fā)展?jié)摿Φ目隙ā?/span>

AgentQuest框架作為衡量和改進(jìn)大型語(yǔ)言模型（LLM）智能體性能的工具，其主要貢獻(xiàn)在于提供了一個(gè)模塊化、可擴(kuò)展的基準(zhǔn)測(cè)試平臺(tái)。這一平臺(tái)不僅能夠評(píng)估智能體在特定任務(wù)上的表現(xiàn)，還能夠通過(guò)進(jìn)展率和重復(fù)率等指標(biāo)，揭示智能體在解決問(wèn)題過(guò)程中的行為模式。AgentQuest的優(yōu)勢(shì)在于其靈活性和開(kāi)放性，使得研究人員可以根據(jù)自己的需求定制基準(zhǔn)測(cè)試，從而推動(dòng)LLM智能體技術(shù)的發(fā)展。

AgentQuest框架概述

AgentQuest框架是一個(gè)創(chuàng)新的研究工具，旨在衡量和改進(jìn)大型語(yǔ)言模型（LLM）智能體的性能。它通過(guò)提供一系列模塊化的基準(zhǔn)測(cè)試和評(píng)估指標(biāo)，使研究人員能夠系統(tǒng)地跟蹤智能體在執(zhí)行復(fù)雜任務(wù)時(shí)的進(jìn)展，并識(shí)別改進(jìn)的潛在領(lǐng)域。

AgentQuest是一個(gè)支持多種基準(zhǔn)測(cè)試和代理架構(gòu)的模塊化框架，它引入了兩個(gè)新的指標(biāo)——進(jìn)展率和重復(fù)率——來(lái)調(diào)試代理架構(gòu)的行為。這個(gè)框架定義了一個(gè)標(biāo)準(zhǔn)接口，用于將任意代理架構(gòu)與多樣的基準(zhǔn)測(cè)試連接起來(lái)，并從中計(jì)算進(jìn)展率和重復(fù)率。

在AgentQuest中實(shí)現(xiàn)了四個(gè)基準(zhǔn)測(cè)試：ALFWorld、側(cè)面思維謎題（Lateral Thinking Puzzles）、Mastermind和數(shù)獨(dú)。后兩者是AgentQuest新引入的。可以輕松添加額外的基凌測(cè)試，而無(wú)需對(duì)測(cè)試中的代理進(jìn)行更改。

圖片

圖1：現(xiàn)有框架和AgentQuest中的智能體基準(zhǔn)交互概述。AgentQuest定義了一個(gè)通用接口，用于與基準(zhǔn)交互和計(jì)算進(jìn)度指標(biāo)，從而簡(jiǎn)化了新基準(zhǔn)的添加，并允許研究人員評(píng)估和調(diào)試其智能體架構(gòu)。

基本構(gòu)成和功能

AgentQuest框架的核心是其模塊化設(shè)計(jì)，它允許研究人員根據(jù)需要添加或修改基準(zhǔn)測(cè)試。這種靈活性是通過(guò)將基準(zhǔn)測(cè)試和評(píng)估指標(biāo)分離成獨(dú)立的模塊來(lái)實(shí)現(xiàn)的，每個(gè)模塊都可以單獨(dú)開(kāi)發(fā)和優(yōu)化?？蚣艿闹饕M件包括：

基準(zhǔn)測(cè)試模塊：這些是預(yù)定義的任務(wù)，智能體必須執(zhí)行。它們涵蓋了從簡(jiǎn)單的文字游戲到復(fù)雜的邏輯謎題等多種類型。

評(píng)估指標(biāo)模塊：提供了一套量化智能體性能的工具，如進(jìn)展率和重復(fù)率，這些指標(biāo)幫助研究人員理解智能體在任務(wù)中的行為模式。

API接口：允許研究人員將自己的智能體架構(gòu)與AgentQuest框架連接，以及與外部數(shù)據(jù)源和服務(wù)交互。

模塊化基準(zhǔn)測(cè)試和指標(biāo)的重要性

模塊化基準(zhǔn)測(cè)試的一個(gè)關(guān)鍵優(yōu)勢(shì)是它們提供了一種標(biāo)準(zhǔn)化的方法來(lái)評(píng)估不同智能體的性能。這意味著研究人員可以在相同的條件下比較不同智能體的結(jié)果，從而確保結(jié)果的一致性和可比性。此外，模塊化設(shè)計(jì)還允許研究人員根據(jù)特定研究的需求定制基準(zhǔn)測(cè)試，這在傳統(tǒng)的基準(zhǔn)測(cè)試框架中往往難以實(shí)現(xiàn)。

評(píng)估指標(biāo)同樣重要，因?yàn)樗鼈兲峁┝藢?duì)智能體性能的深入洞察。例如，進(jìn)展率可以顯示智能體在解決任務(wù)過(guò)程中的效率，而重復(fù)率則揭示了智能體是否在某些步驟上陷入重復(fù)，這可能表明需要改進(jìn)決策過(guò)程。

AgentQuest的擴(kuò)展性

AgentQuest的API接口是其擴(kuò)展性的關(guān)鍵。通過(guò)API，研究人員可以輕松地將AgentQuest集成到現(xiàn)有的研究工作流中，無(wú)論是添加新的基準(zhǔn)測(cè)試、評(píng)估指標(biāo)，還是連接到外部數(shù)據(jù)源和服務(wù)。這種擴(kuò)展性不僅加速了研究的迭代過(guò)程，還促進(jìn)了跨學(xué)科合作，因?yàn)閬?lái)自不同領(lǐng)域的專家可以共同工作，利用AgentQuest框架解決共同的研究問(wèn)題。

AgentQuest框架通過(guò)其模塊化的基準(zhǔn)測(cè)試和評(píng)估指標(biāo)，以及通過(guò)API實(shí)現(xiàn)的擴(kuò)展性，為L(zhǎng)LM智能體的研究和開(kāi)發(fā)提供了一個(gè)強(qiáng)大的平臺(tái)。它不僅促進(jìn)了研究的標(biāo)準(zhǔn)化和可復(fù)制性，還為智能體未來(lái)的創(chuàng)新和合作鋪平了道路。

基準(zhǔn)測(cè)試與評(píng)估指標(biāo)

在AgentQuest框架中，基準(zhǔn)測(cè)試是評(píng)估LLM智能體性能的關(guān)鍵組成部分。這些測(cè)試不僅提供了一個(gè)標(biāo)準(zhǔn)化的環(huán)境來(lái)比較不同智能體的能力，而且還能夠揭示智能體在解決特定問(wèn)題時(shí)的行為模式。

AgentQuest公開(kāi)了一個(gè)單一的統(tǒng)一Python界面，即驅(qū)動(dòng)程序和兩個(gè)反映代理-環(huán)境交互組件的類（即觀察和行動(dòng)）。觀察類有兩個(gè)必需屬性：（i）輸出，一個(gè)字符串，報(bào)告環(huán)境狀態(tài)的信息；（ii）完成，一個(gè)布爾變量，指示最終任務(wù)當(dāng)前是否完成。行動(dòng)類有一個(gè)必需屬性，行動(dòng)值。這是智能體直接輸出的字符串。一旦處理并提供給環(huán)境，它就會(huì)觸發(fā)環(huán)境變化。為了定制交互，開(kāi)發(fā)者可以定義可選屬性。

Mastermind基準(zhǔn)測(cè)試

Mastermind是一個(gè)經(jīng)典的邏輯游戲，玩家需要猜測(cè)一個(gè)隱藏的顏色代碼。在AgentQuest框架中，這個(gè)游戲被用作基準(zhǔn)測(cè)試之一，智能體的任務(wù)是通過(guò)一系列的猜測(cè)來(lái)確定正確的代碼。每次猜測(cè)后，環(huán)境會(huì)提供反饋，告訴智能體有多少個(gè)顏色是正確的，但位置錯(cuò)誤，以及有多少個(gè)顏色和位置都正確。這個(gè)過(guò)程持續(xù)進(jìn)行，直到智能體猜出正確的代碼或達(dá)到預(yù)設(shè)的步數(shù)限制。

圖2：我們?cè)谶@里提供了一個(gè)Mastermind實(shí)現(xiàn)交互的示例。

Sudoku基準(zhǔn)測(cè)試

Sudoku是另一個(gè)流行的邏輯謎題，它要求玩家在9x9的網(wǎng)格中填入數(shù)字，使得每一行、每一列以及每個(gè)3x3的子網(wǎng)格中的數(shù)字都不重復(fù)。在AgentQuest框架中，Sudoku被用作基準(zhǔn)測(cè)試，以評(píng)估智能體在空間推理和規(guī)劃方面的能力。智能體必須生成有效的數(shù)字填充策略，并且在有限的步數(shù)內(nèi)解決謎題。

評(píng)估指標(biāo)：進(jìn)展率和重復(fù)率

AgentQuest引入了兩個(gè)新的評(píng)估指標(biāo)：進(jìn)展率（PR）和重復(fù)率（RR）。進(jìn)展率是一個(gè)介于0到1之間的數(shù)值，用來(lái)衡量智能體在完成任務(wù)過(guò)程中的進(jìn)展。它是通過(guò)將智能體達(dá)到的里程碑?dāng)?shù)量除以總里程碑?dāng)?shù)量來(lái)計(jì)算的。例如，在Mastermind游戲中，如果智能體猜出了兩個(gè)正確的顏色和位置，而總共需要猜出四個(gè)，那么進(jìn)展率就是0.5。

重復(fù)率則衡量智能體在執(zhí)行任務(wù)過(guò)程中重復(fù)相同或相似動(dòng)作的傾向。在計(jì)算重復(fù)率時(shí)，會(huì)考慮到智能體之前的所有動(dòng)作，并使用相似性函數(shù)來(lái)確定當(dāng)前動(dòng)作是否與之前的動(dòng)作相似。重復(fù)率是通過(guò)將重復(fù)動(dòng)作的數(shù)量除以總動(dòng)作數(shù)量（減去第一步）來(lái)計(jì)算的。

通過(guò)指標(biāo)評(píng)估和改進(jìn)LLM智能體性能

這些指標(biāo)為研究人員提供了一個(gè)強(qiáng)有力的工具，用于分析和改進(jìn)LLM智能體的性能。通過(guò)觀察進(jìn)展率，研究人員可以了解智能體在解決問(wèn)題方面的效率，并識(shí)別可能的瓶頸。同時(shí)，重復(fù)率的分析可以揭示智能體在決策過(guò)程中可能存在的問(wèn)題，如過(guò)度依賴某些策略或缺乏創(chuàng)新。

表1：AgentQuest中提供的基準(zhǔn)概覽。

總的來(lái)說(shuō)，AgentQuest框架中的基準(zhǔn)測(cè)試和評(píng)估指標(biāo)為L(zhǎng)LM智能體的發(fā)展提供了一個(gè)全面的評(píng)估體系。通過(guò)這些工具，研究人員不僅能夠評(píng)估智能體的當(dāng)前性能，還能夠指導(dǎo)未來(lái)的改進(jìn)方向，從而推動(dòng)LLM智能體在各種復(fù)雜任務(wù)中的應(yīng)用和發(fā)展。

AgentQuest的應(yīng)用案例

AgentQuest框架的實(shí)際應(yīng)用案例提供了對(duì)其功能和效果的深入理解，通過(guò)Mastermind和其他基準(zhǔn)測(cè)試，我們可以觀察到LLM智能體在不同場(chǎng)景下的表現(xiàn)，并分析如何通過(guò)特定策略來(lái)改進(jìn)它們的性能。

Mastermind的應(yīng)用案例

在Mastermind游戲中，AgentQuest框架被用來(lái)評(píng)估智能體的邏輯推理能力。智能體需要猜測(cè)一個(gè)由數(shù)字組成的隱藏代碼，每次猜測(cè)后，系統(tǒng)會(huì)提供反饋，指示正確數(shù)字的數(shù)量和位置。通過(guò)這個(gè)過(guò)程，智能體學(xué)習(xí)如何根據(jù)反饋調(diào)整其猜測(cè)策略，以更有效地達(dá)到目標(biāo)。

在實(shí)際應(yīng)用中，智能體的初始表現(xiàn)可能并不理想，經(jīng)常重復(fù)相同或相似的猜測(cè)，導(dǎo)致重復(fù)率較高。然而，通過(guò)分析進(jìn)展率和重復(fù)率的數(shù)據(jù)，研究人員可以識(shí)別出智能體決策過(guò)程中的不足，并采取措施進(jìn)行改進(jìn)。例如，通過(guò)引入記憶組件，智能體可以記住之前的猜測(cè)，并避免重復(fù)無(wú)效的嘗試，從而提高效率和準(zhǔn)確性。

其他基準(zhǔn)測(cè)試的應(yīng)用案例

除了Mastermind，AgentQuest還包括其他基準(zhǔn)測(cè)試，如Sudoku、文字游戲和邏輯謎題等。在這些測(cè)試中，智能體的表現(xiàn)同樣受到進(jìn)展率和重復(fù)率指標(biāo)的影響。例如，在Sudoku測(cè)試中，智能體需要填寫一個(gè)9x9的網(wǎng)格，使得每行、每列和每個(gè)3x3的子網(wǎng)格中的數(shù)字都不重復(fù)。這要求智能體具備空間推理能力和策略規(guī)劃能力。

在這些測(cè)試中，智能體可能會(huì)遇到不同的挑戰(zhàn)。有些智能體可能在空間推理方面表現(xiàn)出色，但在策略規(guī)劃方面存在缺陷。通過(guò)AgentQuest框架提供的詳細(xì)反饋，研究人員可以針對(duì)性地識(shí)別問(wèn)題所在，并通過(guò)算法優(yōu)化或訓(xùn)練方法的調(diào)整來(lái)提高智能體的整體性能。

記憶組件的影響

記憶組件的加入對(duì)智能體的性能有顯著影響。在Mastermind測(cè)試中，加入記憶組件后，智能體能夠避免重復(fù)無(wú)效的猜測(cè)，從而顯著降低重復(fù)率。這不僅提高了智能體解決問(wèn)題的速度，也提高了成功率。此外，記憶組件還使智能體能夠在面對(duì)類似問(wèn)題時(shí)更快地學(xué)習(xí)和適應(yīng)，從而在長(zhǎng)期內(nèi)提高其學(xué)習(xí)效率。

總體而言，AgentQuest框架通過(guò)提供模塊化的基準(zhǔn)測(cè)試和評(píng)估指標(biāo)，為L(zhǎng)LM智能體的性能評(píng)估和改進(jìn)提供了強(qiáng)有力的工具。通過(guò)實(shí)際應(yīng)用案例的分析，我們可以看到，通過(guò)調(diào)整策略和引入新的組件，如記憶模塊，可以顯著提高智能體的性能。

實(shí)驗(yàn)設(shè)置與結(jié)果分析

在AgentQuest框架的實(shí)驗(yàn)設(shè)置中，研究人員采用了一種參考架構(gòu)，該架構(gòu)基于現(xiàn)成的聊天智能體，由GPT-4等大型語(yǔ)言模型（LLM）驅(qū)動(dòng)。這種架構(gòu)的選擇是因?yàn)樗庇^、易于擴(kuò)展，并且是開(kāi)源的，這使得研究人員能夠輕松地集成和測(cè)試不同的智能體策略。

圖片

圖4：Mastermind和LTP的平均進(jìn)度率PRt和重復(fù)率RRt。Mastermind：一開(kāi)始RRt很低，但在第22步后會(huì)增加，同時(shí)進(jìn)度也會(huì)停滯在55%。LTP：起初，更高的RRt允許代理通過(guò)進(jìn)行小的變化來(lái)取得成功，但后來(lái)這種變化趨于平穩(wěn)。

實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)的設(shè)置包括了多個(gè)基準(zhǔn)測(cè)試，如Mastermind和ALFWorld，每個(gè)測(cè)試都旨在評(píng)估智能體在特定領(lǐng)域的性能。實(shí)驗(yàn)中設(shè)定了執(zhí)行步驟的最大數(shù)量，通常為60步，以限制智能體在解決問(wèn)題時(shí)可以嘗試的次數(shù)。這種限制模擬了現(xiàn)實(shí)世界中資源有限的情況，并迫使智能體必須在有限的嘗試中找到最有效的解決方案。

實(shí)驗(yàn)結(jié)果分析

在Mastermind基準(zhǔn)測(cè)試中，實(shí)驗(yàn)結(jié)果顯示，智能體在沒(méi)有記憶組件的情況下，其重復(fù)率相對(duì)較高，進(jìn)展率也受到限制。這表明智能體在嘗試解決問(wèn)題時(shí)，往往會(huì)陷入重復(fù)無(wú)效的猜測(cè)。然而，當(dāng)引入記憶組件后，智能體的性能得到顯著提升，成功率從47%提高到60%，重復(fù)率降至0%。這說(shuō)明記憶組件對(duì)于提高智能體的效率和準(zhǔn)確性至關(guān)重要。

圖片

圖5：Mastermind和LTP中重復(fù)操作的示例。Mastermind：一開(kāi)始有一系列獨(dú)特的動(dòng)作，但后來(lái)卻被困在一遍又一遍地重復(fù)相同的動(dòng)作。LTP：重復(fù)的動(dòng)作是同一問(wèn)題的微小變化，會(huì)導(dǎo)致進(jìn)步。

在ALFWorld基準(zhǔn)測(cè)試中，智能體需要在一個(gè)文本世界中探索以定位對(duì)象。實(shí)驗(yàn)結(jié)果表明，盡管智能體在探索解決方案空間時(shí)限制了行動(dòng)重復(fù)（RR60 = 6%），但它未能解決所有游戲（PR60 = 74%）。這種差異可能是由于智能體在發(fā)現(xiàn)對(duì)象時(shí)需要更多的探索步驟。當(dāng)將基準(zhǔn)測(cè)試的運(yùn)行時(shí)間延長(zhǎng)到120步時(shí)，成功率和進(jìn)展率都有所提高，這進(jìn)一步證實(shí)了AgentQuest在理解智能體失敗方面的用處。

智能體架構(gòu)的調(diào)整

根據(jù)AgentQuest的指標(biāo)，研究人員可以對(duì)智能體架構(gòu)進(jìn)行調(diào)整。例如，如果發(fā)現(xiàn)智能體在某個(gè)基準(zhǔn)測(cè)試中重復(fù)率較高，可能需要改進(jìn)其決策算法，以避免重復(fù)無(wú)效的嘗試。同樣，如果進(jìn)展率低，可能需要優(yōu)化智能體的學(xué)習(xí)過(guò)程，以更快地適應(yīng)環(huán)境并找到解決問(wèn)題的方法。

AgentQuest框架提供的實(shí)驗(yàn)設(shè)置和評(píng)估指標(biāo)為L(zhǎng)LM智能體的性能提供了深入的洞察。通過(guò)分析實(shí)驗(yàn)結(jié)果，研究人員可以識(shí)別智能體的強(qiáng)項(xiàng)和弱點(diǎn)，并據(jù)此調(diào)整智能體架構(gòu)，以提高其在各種任務(wù)中的表現(xiàn)。

討論與未來(lái)工作

AgentQuest框架的提出，為大型語(yǔ)言模型（LLM）智能體的研究和發(fā)展開(kāi)辟了新的道路。它不僅提供了一個(gè)系統(tǒng)的方法來(lái)衡量和改進(jìn)LLM智能體的性能，而且還推動(dòng)了研究社區(qū)對(duì)于智能體行為的深入理解。

AgentQuest在LLM智能體研究中的潛在影響

AgentQuest通過(guò)其模塊化的基準(zhǔn)測(cè)試和評(píng)估指標(biāo)，使研究人員能夠更精確地衡量LLM智能體在特定任務(wù)上的進(jìn)展和效率。這種精確的評(píng)估能力對(duì)于設(shè)計(jì)更高效、更智能的智能體至關(guān)重要。隨著LLM智能體在各個(gè)領(lǐng)域的應(yīng)用越來(lái)越廣泛，從客戶服務(wù)到自然語(yǔ)言處理，AgentQuest提供的深入分析工具將幫助研究人員優(yōu)化智能體的決策過(guò)程，提高其在實(shí)際應(yīng)用中的表現(xiàn)。

AgentQuest在促進(jìn)透明度和公平性方面的作用

AgentQuest的另一個(gè)重要貢獻(xiàn)是提高了LLM智能體研究的透明度。通過(guò)公開(kāi)的評(píng)估指標(biāo)和可復(fù)制的基準(zhǔn)測(cè)試，AgentQuest鼓勵(lì)了開(kāi)放科學(xué)的實(shí)踐，使研究結(jié)果更容易被驗(yàn)證和比較。此外，AgentQuest的模塊化特性允許研究人員自定義基準(zhǔn)測(cè)試，這意味著可以根據(jù)不同的需求和背景設(shè)計(jì)測(cè)試，從而促進(jìn)了研究的多樣性和包容性。

AgentQuest未來(lái)的發(fā)展和研究社區(qū)的可能貢獻(xiàn)

緊跟技術(shù)的推進(jìn)，AgentQuest框架有望繼續(xù)擴(kuò)展和完善。隨著新的基準(zhǔn)測(cè)試和評(píng)估指標(biāo)的加入，AgentQuest將能夠覆蓋更多類型的任務(wù)和場(chǎng)景，為L(zhǎng)LM智能體的評(píng)估提供更全面的視角。此外，隨著人工智能技術(shù)的進(jìn)步，AgentQuest也可能會(huì)集成更先進(jìn)的功能，如自動(dòng)調(diào)整智能體架構(gòu)的能力，以實(shí)現(xiàn)更高效的性能優(yōu)化。

研究社區(qū)對(duì)AgentQuest的貢獻(xiàn)也是其發(fā)展不可或缺的一部分。開(kāi)源的特性意味著研究人員可以共享他們的改進(jìn)和創(chuàng)新，從而加速AgentQuest框架的進(jìn)步。同時(shí)，研究社區(qū)的反饋和實(shí)踐經(jīng)驗(yàn)將幫助AgentQuest更好地滿足實(shí)際應(yīng)用的需求，推動(dòng)LLM智能體技術(shù)向前發(fā)展。

參考資料：https://arxiv.org/abs/2404.06411