LLM 代理正變得越來(lái)越普遍，似乎取代了我們熟悉的“常規(guī)”對(duì)話式 LLM。這些令人難以置信的功能并不容易創(chuàng)建，需要許多組件協(xié)同工作。

本文中提供了 60 多個(gè)自定義視覺對(duì)象，您將探索 LLM 代理領(lǐng)域、它們的主要組件，并探索多代理框架。

什么是LLM代理 

要了解什么是 LLM 代理，讓我們首先探索 LLM 的基本功能。

傳統(tǒng)上，LLM 只做下一個(gè)標(biāo)記預(yù)測(cè)。

通過連續(xù)對(duì)許多 tokens 進(jìn)行采樣，我們可以模擬對(duì)話并使用 LLM 為我們的查詢提供更廣泛的答案。

然而，當(dāng)我們繼續(xù) “對(duì)話” 時(shí)，任何給定的 LLM 都會(huì)展示其主要缺點(diǎn)之一，它不記得對(duì)話！

LLM 經(jīng)常無(wú)法完成許多其他任務(wù)，包括乘法和除法等基本數(shù)學(xué)：

這是否意味著 LLM 很糟糕？絕對(duì)不是！LLM 不需要無(wú)所不能，因?yàn)槲覀兛梢酝ㄟ^外部工具、內(nèi)存和檢索系統(tǒng)來(lái)彌補(bǔ)它們的缺點(diǎn)。

通過外部系統(tǒng)，可以增強(qiáng) LLM 的功能。

Anthropic 稱之為“增強(qiáng)的 LLM”。

例如，當(dāng)面臨數(shù)學(xué)問題時(shí)，LLM 可能會(huì)決定使用適當(dāng)?shù)墓ぞ撸?strong>計(jì)算器）。

那么這個(gè)“Augmented LLM”是 Agent 嗎？

讓我們從 Agent 的定義開始：

代理:是可以被視為通過傳感器感知其環(huán)境并通過執(zhí)行器作用于該環(huán)境的任何東西。

代理與其環(huán)境交互，通常由幾個(gè)重要組件組成：

• 環(huán)境— 代理與之交互的世界
• 傳感器— 用于觀察環(huán)境
• 執(zhí)行器— 用于與環(huán)境交互的工具
• 效應(yīng)器— 決定如何從觀察到行動(dòng)的“大腦”或規(guī)則

此框架用于與各種環(huán)境交互的各種代理，例如機(jī)器人與其物理環(huán)境交互或與軟件交互的 AI 代理。

我們可以稍微概括一下這個(gè)框架，使其適合 “Augmented LLM”。

使用“增強(qiáng)”LLM，代理可以通過文本輸入觀察環(huán)境（因?yàn)?LLM 通常是文本模型），并通過使用工具執(zhí)行某些操作（如搜索 Web）。

選擇要采取的行動(dòng)，LLM Agent 有一個(gè)至關(guān)重要的組成部分：它的計(jì)劃能力。

為此，LLM 需要能夠通過思維鏈等方法進(jìn)行 “推理” 和 “思考”。

使用這種推理行為，LLM 代理將規(guī)劃要采取的必要行動(dòng)。

這種規(guī)劃行為使 Agent 能夠了解情況 （LLM）、計(jì)劃下一步 （planning）、采取行動(dòng) （工具） 并跟蹤所采取的行動(dòng) （memory）。

根據(jù)系統(tǒng)的不同，您可以以不同程度的自主權(quán)來(lái)設(shè)置 LLM 代理。

根據(jù)你問的人，一個(gè)系統(tǒng)越是“代理”的，那么 LLM 就越能決定它的行為方式。

在接下來(lái)的部分中，我們將通過 LLM Agent 的三個(gè)主要組件（內(nèi)存、工具和規(guī)劃）介紹各種自主行為方法。

記憶 

LLM 是健忘系統(tǒng)，或者更準(zhǔn)確地說，在與它們交互時(shí)根本不執(zhí)行任何記憶。

例如，當(dāng)你向 LLM 提出一個(gè)問題，然后又提出另一個(gè)問題時(shí)，它不會(huì)記住前者。

我們通常將其稱為短期記憶，也稱為工作記憶，它充當(dāng)（近）即時(shí)上下文的緩沖區(qū)。這包括 LLM 代理最近采取的行動(dòng)。

但是，LLM 代理還需要跟蹤潛在的數(shù)十個(gè)步驟，而不僅僅是最近的操作。

這被稱為長(zhǎng)期記憶，因?yàn)?LLM 代理理論上可能需要數(shù)十甚至數(shù)百個(gè)需要記住的步驟。

讓我們探討幾個(gè)為這些模型提供內(nèi)存的技巧。

短期記憶 

啟用短期記憶最直接的方法是使用模型的上下文窗口，它本質(zhì)上是 LLM 可以處理的標(biāo)記數(shù)量。

上下文窗口往往至少有 8192 個(gè)令牌，有時(shí)可以擴(kuò)展到數(shù)十萬(wàn)個(gè)令牌！

大型上下文窗口可用于跟蹤完整的對(duì)話歷史記錄，作為輸入提示的一部分。

只要對(duì)話歷史記錄適合 LLM 的上下文窗口，這就可以工作，并且是模仿記憶的好方法。然而，我們實(shí)際上不是真正記住一段對(duì)話，而是 “告訴” LLM 那段對(duì)話是什么。

對(duì)于上下文窗口較小的模型，或者當(dāng)對(duì)話歷史很大時(shí)，我們可以改用另一個(gè) LLM 來(lái)總結(jié)到目前為止發(fā)生的對(duì)話。

通過不斷總結(jié)對(duì)話，我們可以保持較小的對(duì)話規(guī)模。它將減少代幣的數(shù)量，同時(shí)只跟蹤最重要的信息。

長(zhǎng)期記憶 

LLM 代理中的長(zhǎng)期記憶包括代理過去的操作空間，該空間需要長(zhǎng)時(shí)間保留。

啟用長(zhǎng)期記憶的一種常見技術(shù)是將之前的所有交互、動(dòng)作和對(duì)話存儲(chǔ)在外部向量數(shù)據(jù)庫(kù)中。

為了構(gòu)建這樣的數(shù)據(jù)庫(kù)，對(duì)話首先被嵌入到捕捉其含義的數(shù)字表示中。

構(gòu)建數(shù)據(jù)庫(kù)后，我們可以嵌入任何給定的提示，并通過比較提示嵌入與數(shù)據(jù)庫(kù)嵌入在向量數(shù)據(jù)庫(kù)中找到最相關(guān)的信息。

這種方法通常被稱為檢索增強(qiáng)生成 （RAG）。

長(zhǎng)期記憶還可能涉及保留來(lái)自不同會(huì)話的信息。例如，您可能希望 LLM 代理記住它在之前的會(huì)話中所做的任何研究。

不同類型的信息也可能與要存儲(chǔ)的不同類型的內(nèi)存相關(guān)。 在心理學(xué)中，有許多類型的記憶需要區(qū)分，在??Cognitive Architectures for Language Agents??論文將其中四種與 LLM 代理聯(lián)系起來(lái)。

這種差異化有助于構(gòu)建代理框架。 ??語(yǔ)義內(nèi)存???（關(guān)于世界的事實(shí)）可能存儲(chǔ)在與??工作內(nèi)存??（當(dāng)前和最近的情況）不同的數(shù)據(jù)庫(kù)中。

工具 

工具允許給定的 LLM 與外部環(huán)境（例如數(shù)據(jù)庫(kù)）交互或使用外部應(yīng)用程序（例如運(yùn)行自定義代碼）。

工具通常有兩個(gè)用例：獲取數(shù)據(jù)以檢索最新信息，以及采取行動(dòng)（例如安排會(huì)議或訂購(gòu)食物）。

要實(shí)際使用工具，LLM 必須生成適合給定工具的 API 的文本。我們傾向于期望字符串可以格式化為 JSON，以便可以輕松地將其提供給代碼解釋器。

請(qǐng)注意，這不僅限于 JSON，我們也可以在代碼本身中調(diào)用該工具！

您還可以生成 LLM 可以使用的自定義函數(shù)，例如基本的乘法函數(shù)。這通常稱為函數(shù)調(diào)用。

如果正確且廣泛地提示，某些 LLM 可以使用任何工具。工具使用是大多數(shù)當(dāng)前 LLM 都能夠做到的。

訪問工具的更穩(wěn)定方法是微調(diào) LLM （稍后會(huì)詳細(xì)介紹?。?/p>

如果代理框架是固定的，則可以按給定的順序使用工具或者 LLM 可以自主選擇使用哪個(gè)工具以及何時(shí)使用。

如上圖所示，LLM 代理本質(zhì)上是 LLM 調(diào)用的序列。

換句話說，中間步驟的輸出將反饋到 LLM 中以繼續(xù)處理。

工具成型機(jī) 

工具使用是增強(qiáng) LLM 功能并彌補(bǔ)其缺點(diǎn)的強(qiáng)大技術(shù)。因此，關(guān)于工具使用和學(xué)習(xí)的研究工作在過去幾年中迅速激增。

這些研究的大部分內(nèi)容不僅涉及提示 LLM 使用工具，還涉及專門訓(xùn)練他們使用工具。

最早執(zhí)行此操作的技術(shù)之一稱為 Toolformer，這是一個(gè)經(jīng)過訓(xùn)練的模型，用于決定調(diào)用哪些 API 以及如何調(diào)用。

它通過使用and 標(biāo)記來(lái)指示調(diào)用工具的開始和結(jié)束。當(dāng)給出提示時(shí)，例如“_什么是 5 乘以 3？_“，它會(huì)開始生成 Token，直到到達(dá) Token。

之后，它會(huì)生成 Token，直到到達(dá) Token，這表明 LLM 停止生成 Token。 ??→??

然后，將調(diào)用該工具，并將輸出添加到到目前為止生成的令牌中。

該符號(hào)表示 LLM 現(xiàn)在可以在必要時(shí)繼續(xù)生成。

Toolformer 通過仔細(xì)生成一個(gè)數(shù)據(jù)集來(lái)創(chuàng)建此行為，該數(shù)據(jù)集包含模型可以訓(xùn)練的許多工具用途。對(duì)于每個(gè)工具，都會(huì)手動(dòng)創(chuàng)建一個(gè) few-shot 提示，并用于對(duì)使用這些工具的輸出進(jìn)行采樣。

根據(jù)工具使用、輸出和損失減少的正確性對(duì)輸出進(jìn)行過濾。生成的數(shù)據(jù)集用于訓(xùn)練 LLM 以遵守這種工具使用格式。

自 Toolformer 發(fā)布以來(lái)，出現(xiàn)了許多令人興奮的技術(shù)，例如可以使用數(shù)千種工具的 LLM（ToolLLM） 或可以輕松檢索最相關(guān)工具的 LLM （Gorilla)。

無(wú)論哪種方式，大多數(shù)當(dāng)前的 LLM（2025 年初）都已經(jīng)過訓(xùn)練，可以通過 JSON 生成輕松調(diào)用工具（正如我們之前看到的那樣）。

模型上下文協(xié)議 （MCP） 

工具是 Agentic 框架的重要組成部分，它允許 LLM 與世界交互并擴(kuò)展其功能。但是，當(dāng)您擁有許多不同的 API 時(shí)，啟用工具使用會(huì)變得很麻煩，因?yàn)槿魏喂ぞ叨夹枰?/p>

• 手動(dòng)跟蹤并饋送到 LLM
• 手動(dòng)描述（包括其預(yù)期的 JSON 架構(gòu)）
• 每當(dāng)其 API 發(fā)生變化時(shí)手動(dòng)更新

為了使工具更容易為任何給定的 Agentic 框架實(shí)現(xiàn)，Anthropic 開發(fā)了模型上下文協(xié)議 （MCP）。 MCP 對(duì)天氣應(yīng)用程序和 GitHub 等服務(wù)的 API 訪問進(jìn)行了標(biāo)準(zhǔn)化。

它由三個(gè)部分組成：

• MCP主機(jī)— 管理連接的 LLM 應(yīng)用程序（如 Cursor）
• MCP客戶端— 與 MCP 服務(wù)器保持 1 對(duì) 1 連接
• MCP服務(wù)器— 為 LLM 提供上下文、工具和功能

例如，假設(shè)您希望給定的 LLM 應(yīng)用程序匯總存儲(chǔ)庫(kù)中的 5 個(gè)最新提交。

MCP 主機(jī)（連同客戶端）將首先調(diào)用 MCP 服務(wù)器以詢問哪些工具可用。

LLM 收到信息，并可能選擇使用工具。它通過 Host 向 MCP 服務(wù)器發(fā)送請(qǐng)求，然后接收結(jié)果，包括使用的工具。

最后，LLM 接收結(jié)果并可以解析用戶的答案。

此框架通過連接到任何 LLM 應(yīng)用程序都可以使用的 MCP 服務(wù)器，使創(chuàng)建工具變得更加容易。因此，當(dāng)您創(chuàng)建 MCP 服務(wù)器以與 Github 交互時(shí)，任何支持 MCP 的 LLM 應(yīng)用程序都可以使用它。

規(guī)劃 

使用工具可以讓 LLM 增加其功能。它們通常使用類似 JSON 的請(qǐng)求進(jìn)行調(diào)用。

但是，在代理系統(tǒng)中，LLM 如何決定使用哪種工具以及何時(shí)使用？

這就是規(guī)劃的用武之地。LLM 代理中的規(guī)劃涉及將給定的任務(wù)分解為可操作的步驟。

此計(jì)劃允許模型迭代地反映過去的行為，并在必要時(shí)更新當(dāng)前計(jì)劃。

我喜歡計(jì)劃制定時(shí)！

為了在 LLM 代理中啟用規(guī)劃，讓我們首先看一下這項(xiàng)技術(shù)的基礎(chǔ)，即推理。

推理 

規(guī)劃可操作的步驟需要復(fù)雜的推理行為。因此，LLM 必須能夠在采取下一步規(guī)劃任務(wù)之前展示這種行為。

“推理”LLM 是那些傾向于在回答問題之前 “思考” 的 LLM。

我使用“推理”和“思考”這兩個(gè)術(shù)語(yǔ)有點(diǎn)松散，因?yàn)槲覀兛梢誀?zhēng)論這是類似人類的思維，還是僅僅將答案分解為結(jié)構(gòu)化的步驟。

這種推理行為可以通過大約兩種選擇來(lái)實(shí)現(xiàn)：微調(diào) LLM 或特定的提示工程。

通過快速工程，我們可以創(chuàng)建 LLM 應(yīng)該遵循的推理過程的示例。提供示例（也稱為 few-shot prompting）） 是控制 LLM 行為的好方法。

這種提供思維過程示例的方法稱為 Chain-of-Thought ，可以實(shí)現(xiàn)更復(fù)雜的推理行為。

也可以在沒有任何示例（零鏡頭提示）的情況下啟用思路鏈，只需說 “Let's think step-by-step” 即可。

在訓(xùn)練 LLM 時(shí)，我們可以給它足夠數(shù)量的數(shù)據(jù)集，其中包括類似思想的例子，或者 LLM 可以發(fā)現(xiàn)自己的思維過程。

一個(gè)很好的例子是 DeepSeek-R1，其中獎(jiǎng)勵(lì)用于指導(dǎo)思維過程的使用。

推理和行動(dòng) 

在 LLM 中啟用推理行為很好，但不一定能夠規(guī)劃可行的步驟。

到目前為止，我們關(guān)注的技術(shù)要么展示推理行為，要么通過工具與環(huán)境交互。

例如，Chain-of-Thought 純粹專注于推理。

將這兩個(gè)過程結(jié)合起來(lái)的首批技術(shù)之一稱為 ReAct（理性和行為）。

ReAct 通過仔細(xì)的提示工程來(lái)實(shí)現(xiàn)這一點(diǎn)。ReAct 提示描述了三個(gè)步驟：

• 思考- 關(guān)于當(dāng)前情況的推理步驟
• Action （操作） - 要執(zhí)行的一組操作 （例如，工具）
• 觀察- 關(guān)于作結(jié)果的推理步驟

提示本身非常簡(jiǎn)單。

LLM 使用此提示（可用作系統(tǒng)提示）來(lái)引導(dǎo)其行為在思想、行動(dòng)和觀察的循環(huán)中工作。

它會(huì)繼續(xù)此行為，直到操作指定返回結(jié)果。通過迭代想法和觀察結(jié)果，LLM 可以規(guī)劃行動(dòng)，觀察其輸出，并進(jìn)行相應(yīng)的調(diào)整。

因此，與具有預(yù)定義和固定步驟的代理相比，此框架使 LLM 能夠展示更多自主的代理行為。

反思 

沒有人，即使是擁有 ReAct 的 LLM，也能完美地完成每項(xiàng)任務(wù)。失敗是過程的一部分，只要你能反思這個(gè)過程。

ReAct 中沒有這個(gè)過程，這就是 Reflexion 的用武之地。Reflexion 是一種使用語(yǔ)言強(qiáng)化來(lái)幫助代理從以前的失敗中學(xué)習(xí)的技術(shù)。

該方法承擔(dān)三個(gè) LLM 角色：

• Actor （作者） – 根據(jù)狀態(tài)觀察選擇和執(zhí)行操作。我們可以使用 Chain-of-Thought 或 ReAct 等方法。
• Evaluator （計(jì)算器）– 對(duì) Actor 生成的輸出進(jìn)行評(píng)分。
• Self-reflection （自我反思） - 反映 Actor 采取的行動(dòng)和 Evaluator 生成的分?jǐn)?shù)。

添加了內(nèi)存模塊以跟蹤操作 （短期） 和自我反思 （長(zhǎng)期），幫助代理從錯(cuò)誤中學(xué)習(xí)并確定改進(jìn)的操作。

一種類似且優(yōu)雅的技術(shù)稱為 SELF-REFINE，其中重復(fù)優(yōu)化輸出和生成反饋的操作。

同一個(gè) LLM 負(fù)責(zé)生成初始輸出、優(yōu)化輸出和反饋。

有趣的是，這種自我反思的行為，包括 Reflexion 和 SELF-REFINE，與強(qiáng)化學(xué)習(xí)非常相似，在強(qiáng)化學(xué)習(xí)中，根據(jù)輸出的質(zhì)量給予獎(jiǎng)勵(lì)。

多代理協(xié)作 

我們探索的單個(gè)代理有幾個(gè)問題：太多的工具可能會(huì)使選擇復(fù)雜化，上下文變得太復(fù)雜，并且任務(wù)可能需要專業(yè)化。

相反，我們可以看看 Multi-Agent，即多個(gè) Agent（每個(gè) Agent都可以訪問工具、內(nèi)存和規(guī)劃）相互交互及其環(huán)境的框架：

這些多代理系統(tǒng)通常由專門的代理組成，每個(gè)代理都配備了自己的工具集，并由主管監(jiān)督。主管管理 Agent 之間的通信，并可以將特定任務(wù)分配給專門的 Agent。

每個(gè) Agent 可能具有不同類型的可用工具，但也可能有不同的內(nèi)存系統(tǒng)。

在實(shí)踐中，有數(shù)十種 Multi-Agent 架構(gòu)，其核心有兩個(gè)組件：

• Agent初始化— 如何創(chuàng)建單個(gè)（專用）Agent ？
• AgentOrchestration— 如何協(xié)調(diào)所有 Agent ？

讓我們探索各種有趣的 Multi-Agent 框架，并重點(diǎn)介紹這些組件是如何實(shí)現(xiàn)的。

人類行為的交互式模擬 

可以說，最具影響力的，坦率地說，非?？岬亩啻碚撐闹槐环Q為??生成代理：人類行為的交互式模擬??

在本文中，他們創(chuàng)建了模擬可信的人類行為的計(jì)算軟件代理，他們稱之為 Generative Agents。

為每個(gè)生成代理提供的配置文件使它們以獨(dú)特的方式運(yùn)行，并有助于創(chuàng)建更有趣和動(dòng)態(tài)的行為。

每個(gè)代理都使用三個(gè)模塊（內(nèi)存、規(guī)劃和反射）進(jìn)行初始化，這與我們之前看到的 ReAct 和 Reflexion 的核心組件非常相似。

內(nèi)存模塊是此框架中最重要的組件之一。它存儲(chǔ) Planning 和 Reflection 行為，以及到目前為止的所有事件。

對(duì)于任何給定的下一步或問題，都會(huì)檢索記憶并根據(jù)其新近度、重要性和相關(guān)性進(jìn)行評(píng)分。得分最高的記憶將與 Agent 共享。

它們共同允許 Agent 自由地進(jìn)行他們的行為并相互交互。因此，代理編排非常少，因?yàn)樗鼈儧]有特定的目標(biāo)要努力。

交互式演示中的帶注釋圖像。

本文中有太多令人驚嘆的信息片段，但我想強(qiáng)調(diào)他們的評(píng)估指標(biāo)。

他們的評(píng)估涉及將代理行為的可信度作為主要指標(biāo)，由人工評(píng)估員對(duì)其進(jìn)行評(píng)分。

它展示了觀察、規(guī)劃和反思在這些生成代理的性能中是多么重要。如前所述，沒有反思行為的規(guī)劃是不完整的。

模塊化框架 

無(wú)論您選擇什么框架來(lái)創(chuàng)建多代理系統(tǒng)，它們通常由幾個(gè)要素組成，包括其配置文件、對(duì)環(huán)境的感知、內(nèi)存、規(guī)劃和可用操作。

用于實(shí)現(xiàn)這些組件的常用框架是 AutoGen和 CAMEL。但是，每個(gè)框架處理每個(gè) Agent 之間的通信方式略有不同。

例如，使用 CAMEL 時(shí)，用戶首先創(chuàng)建問題并定義 AI 用戶和 AI 助手角色。AI 用戶角色代表人類用戶，將指導(dǎo)該過程。

之后，AI 用戶和 AI Assistant 將通過相互交互來(lái)協(xié)作解決查詢。

這種角色扮演方法支持代理之間的協(xié)作通信。

AutoGen 和 MetaGPT 有不同的溝通方式，但這一切都?xì)w結(jié)為這種溝通的協(xié)作性質(zhì)。代理有機(jī)會(huì)相互交流和交談，以更新他們的當(dāng)前狀態(tài)、目標(biāo)和后續(xù)步驟。

翻譯自：A Visual Guide to LLM Agents Exploring the main components of Single- and Multi-Agents

本文轉(zhuǎn)載自??CourseAI??，作者：CourseAI