在當(dāng)今的 AI 時(shí)代，自主智能體被認(rèn)為是通向通用人工智能（AGI）的一條有前途的道路。所謂自主智能體，即能夠通過(guò)自主規(guī)劃和指令來(lái)完成任務(wù)。在早期的開(kāi)發(fā)范式中，決定智能體行動(dòng)的策略功能是以啟發(fā)式為主的，并在環(huán)境交互中逐步得到完善。

不過(guò)，在不受約束的開(kāi)放域環(huán)境中，自主智能體的行動(dòng)往往很難企及人類(lèi)水平的熟練程度。

隨著近年來(lái)大語(yǔ)言模型（LLM）取得了巨大成功，并展現(xiàn)出了實(shí)現(xiàn)類(lèi)人智能的潛力。因而得益于強(qiáng)大的能力，LLM 越來(lái)越多地被用作創(chuàng)建自主智能體的核心協(xié)調(diào)者，并先后出現(xiàn)花樣繁多的 AI 智能體。這些智能體通過(guò)模仿類(lèi)人的決策過(guò)程，為更復(fù)雜和適應(yīng)性更強(qiáng)的 AI 系統(tǒng)提供了一條可行性路徑。

基于 LLM 的自主智能體一覽，包括工具智能體、模擬智能體、通用智能體和領(lǐng)域智能體。

在現(xiàn)階段，對(duì)已經(jīng)出現(xiàn)的基于 LLM 的自主智能體進(jìn)行整體分析非常重要，并對(duì)全面了解該領(lǐng)域的發(fā)展現(xiàn)狀以及啟發(fā)未來(lái)的研究具有重要意義。

本文中，來(lái)自中國(guó)人民大學(xué)高瓴人工智能學(xué)院的研究者對(duì)基于 LLM 的自主智能體展開(kāi)了全面調(diào)研，并著眼于它們的構(gòu)建、應(yīng)用和評(píng)估三個(gè)方面。

論文地址：https://arxiv.org/pdf/2308.11432.pdf

對(duì)于智能體的構(gòu)建，他們提出了一個(gè)由四部分組成的統(tǒng)一框架，分別是表示智能體屬性的配置模塊、存儲(chǔ)歷史信息的記憶模塊、制定未來(lái)行動(dòng)策略的規(guī)劃模塊和執(zhí)行規(guī)劃決定的行動(dòng)模塊。在介紹了典型的智能體模塊之后，研究者還總結(jié)了常用的微調(diào)策略，通過(guò)這些策略來(lái)增強(qiáng)智能體對(duì)不同應(yīng)用場(chǎng)景的適應(yīng)性。

接下來(lái)研究者概述了自主智能體的潛在應(yīng)用，探討它們?nèi)绾螌?duì)社會(huì)科學(xué)、自然科學(xué)和工程學(xué)領(lǐng)域產(chǎn)生增益。最后討論了自主智能體的評(píng)估方法，包括主觀和客觀評(píng)估策略。下圖為文章整體架構(gòu)。

圖源：https://github.com/Paitesanshi/LLM-Agent-Survey

基于 LLM 的自主智能體構(gòu)建

為了讓基于 LLM 的自主智能體更加高效，有兩個(gè)方面需要考慮：首先是應(yīng)該設(shè)計(jì)怎樣的架構(gòu)使得智能體能更好的利用 LLM；其次是如何有效地學(xué)習(xí)參數(shù)。

智能體架構(gòu)設(shè)計(jì)：本文提出了一個(gè)統(tǒng)一的框架來(lái)總結(jié)之前研究中提出的架構(gòu)，整體結(jié)構(gòu)如圖 2 所示，它由分析（profiling）模塊、記憶模塊、規(guī)劃模塊以及動(dòng)作模塊組成。 

總結(jié)而言，分析模塊旨在識(shí)別智能體是什么角色；記憶和規(guī)劃模塊可將智能體置于動(dòng)態(tài)環(huán)境中，使智能體能夠回憶過(guò)去的行為并計(jì)劃未來(lái)的行動(dòng)；動(dòng)作模塊負(fù)責(zé)將智能體的決策轉(zhuǎn)化為具體的輸出。在這些模塊中，分析模塊影響記憶和規(guī)劃模塊，這三個(gè)模塊共同影響動(dòng)作模塊。 

分析模塊

自主智能體通過(guò)特定角色來(lái)執(zhí)行任務(wù)，例如程序員、教師和領(lǐng)域?qū)＜?。分析模塊旨在表明智能體的角色是什么，這些信息通常被寫(xiě)入輸入提示中以影響 LLM 行為。在現(xiàn)有的工作中，有三種常用的策略來(lái)生成智能體配置文件：手工制作方法；LLM-generation 方法；數(shù)據(jù)集對(duì)齊方法。

記憶模塊

記憶模塊在 AI 智能體的構(gòu)建中起著非常重要的作用。它記憶從環(huán)境中感知到的信息，并利用記錄的記憶來(lái)促進(jìn)智能體未來(lái)的動(dòng)作。記憶模塊可以幫助智能體積累經(jīng)驗(yàn)、實(shí)現(xiàn)自我進(jìn)化，并以更加一致、合理、有效的方式完成任務(wù)。

規(guī)劃模塊

當(dāng)人類(lèi)面臨復(fù)雜任務(wù)時(shí)，他們首先將其分解為簡(jiǎn)單的子任務(wù)，然后逐一解決每個(gè)子任務(wù)。規(guī)劃模塊賦予基于 LLM 的智能體解決復(fù)雜任務(wù)時(shí)需要的思考和規(guī)劃能力，使智能體更加全面、強(qiáng)大、可靠。本文介紹了兩種規(guī)劃模塊：沒(méi)有反饋的規(guī)劃以及有反饋的規(guī)劃。

動(dòng)作模塊

動(dòng)作模塊旨在將智能體的決策轉(zhuǎn)化為具體的結(jié)果輸出。它直接與環(huán)境交互，決定智能體完成任務(wù)的有效性。本節(jié)從動(dòng)作目標(biāo)、策略、動(dòng)作空間和動(dòng)作影響來(lái)介紹。

除了上述 4 個(gè)部分外，本章還介紹了智能體的學(xué)習(xí)策略，包括從示例中學(xué)習(xí)、從環(huán)境反饋中學(xué)習(xí)、從交互的人類(lèi)反饋中學(xué)習(xí)。

表 1 列出了之前的工作和本文的分類(lèi)法之間的對(duì)應(yīng)關(guān)系：

基于 LLM 的自主智能體應(yīng)用

本章探討了基于 LLM 的自主智能體在三個(gè)不同領(lǐng)域的變革性影響：社會(huì)科學(xué)、自然科學(xué)和工程。

例如基于 LLM 的智能體可用于設(shè)計(jì)和優(yōu)化復(fù)雜結(jié)構(gòu)，如建筑物、橋梁、水壩、道路等。此前，有研究者提出了一個(gè)交互式框架，人類(lèi)建筑師和 AI 智能體協(xié)同辦公在 3D 模擬中構(gòu)建結(jié)構(gòu)環(huán)境。交互式智能體可以理解自然語(yǔ)言指令、放置模塊、尋求建議并結(jié)合人類(lèi)反饋，顯示出工程設(shè)計(jì)中人機(jī)協(xié)作的潛力。

又比如在計(jì)算機(jī)科學(xué)和軟件工程領(lǐng)域，基于 LLM 的智能體提供了自動(dòng)化編碼、測(cè)試、調(diào)試和文檔生成的潛力。有研究者提出了 ChatDev ，這是一個(gè)端到端的框架，其中多個(gè)智能體通過(guò)自然語(yǔ)言對(duì)話進(jìn)行溝通和協(xié)作，以完成軟件開(kāi)發(fā)生命周期；ToolBench 可以用于代碼自動(dòng)補(bǔ)全和代碼推薦等任務(wù)；MetaGPT 可以扮演產(chǎn)品經(jīng)理、架構(gòu)師、項(xiàng)目經(jīng)理和工程師等角色，內(nèi)部監(jiān)督代碼生成并提高最終輸出代碼的質(zhì)量等等。

下表為基于 LLM 的自主智能體的代表性應(yīng)用：

基于 LLM 的自主智能體評(píng)估

本文介紹了兩種常用的評(píng)估策略：主觀評(píng)估和客觀評(píng)估。

主觀評(píng)估是指人類(lèi)通過(guò)交互、評(píng)分等多種手段對(duì)基于 LLM 的智能體的能力進(jìn)行測(cè)試。在這種情況下，參與評(píng)估的人員往往是通過(guò)眾包平臺(tái)招募的；而一些研究者認(rèn)為眾包人員由于個(gè)體能力差異而不穩(wěn)定，因而也會(huì)使用專(zhuān)家注釋來(lái)進(jìn)行評(píng)估。 

除此以外，在當(dāng)前的一些研究中，我們可以使用 LLM 智能體作為主觀評(píng)估者。例如在 ChemCrow 研究中，EvaluatorGPT 通過(guò)指定等級(jí)來(lái)評(píng)估實(shí)驗(yàn)結(jié)果，該等級(jí)既考慮任務(wù)的成功完成，又考慮基本思維過(guò)程的準(zhǔn)確性。又比如 ChatEval 組建了一個(gè)基于 LLM 的多智能體裁判小組，通過(guò)辯論來(lái)評(píng)估模型的生成結(jié)果。

與主觀評(píng)估相比，客觀評(píng)估具有多種優(yōu)勢(shì)，客觀評(píng)估是指使用定量指標(biāo)來(lái)評(píng)估基于 LLM 自主智能體的能力。本節(jié)從指標(biāo)、策略和基準(zhǔn)的角度回顧和綜合客觀評(píng)估方法。

在使用評(píng)估過(guò)程中，我們可以將這兩種方法結(jié)合使用。

表 3 總結(jié)了以前的工作與這些評(píng)估策略之間的對(duì)應(yīng)關(guān)系：

了解更多內(nèi)容，請(qǐng)參考原論文。