多智能體系統(tǒng)（Multi-Agent Systems, MAS）是由多個智能體（agents）協(xié)同工作以解決復(fù)雜任務(wù)的系統(tǒng)。這些智能體可以是生成式 AI 模型、工具或其他計算單元，它們通過協(xié)作來完成單個智能體難以獨立完成的任務(wù)。多智能體系統(tǒng)在許多領(lǐng)域展現(xiàn)了其強大的應(yīng)用潛力，包括自動駕駛、智能制造、金融分析和醫(yī)療診斷等。在這些應(yīng)用中，多智能體系統(tǒng)能夠處理長時間運行的復(fù)雜任務(wù)，提供更高的靈活性和適應(yīng)性。

盡管多智能體系統(tǒng)具有巨大的潛力，但其開發(fā)和調(diào)試過程卻充滿挑戰(zhàn)。開發(fā)者需要配置大量參數(shù)，包括選擇合適的模型、定義代理的技能和工具、設(shè)置通信和協(xié)調(diào)機制等。此外調(diào)試多智能體系統(tǒng)也非常復(fù)雜，開發(fā)者需要理解和分析代理之間的交互，以提取有用的信號來改進系統(tǒng)。這些因素使得多智能體系統(tǒng)的設(shè)計過程繁瑣且容易出錯，成為開發(fā)者進入這一領(lǐng)域的重大障礙。

為了解決上述挑戰(zhàn)，微軟研究院發(fā)布AUTOGEN STUDIO，這是一種無代碼開發(fā)工具，旨在快速原型設(shè)計、調(diào)試和評估多智能體工作流。AUTOGEN STUDIO 提供了一個基于 Web 的界面和 Python API，允許開發(fā)者使用聲明式（基于 JSON）的規(guī)范來表示啟用 LLM 的代理。其主要功能包括：

• 拖放界面：通過直觀的拖放 UI 來定義和調(diào)試代理工作流。
• 交互式評估和調(diào)試：支持工作流的交互式評估和調(diào)試，提供可視化的消息和操作分析工具。
• 可重用組件庫：包含可重用和共享的代理組件庫，簡化了多智能體系統(tǒng)的開發(fā)過程。
• 開源實現(xiàn)：作為開源項目，AUTOGEN STUDIO 已獲得廣泛的用戶基礎(chǔ)，展示了多智能體開發(fā)工具的設(shè)計模式和未來研究方向。

研究團隊來自位于美國雷德蒙德的微軟研究院（Microsoft Research），他們在生成式 AI 模型、多智能體系統(tǒng)和開發(fā)者工具方面具有豐富的經(jīng)驗和專業(yè)知識。團隊成員包括 Victor Dibia、Jingya Chen、Gagan Bansal、Suff Syed、Adam Fourney、Erkang Zhu、Chi Wang 和 Saleema Amershi。他們的工作為了在簡化多智能體系統(tǒng)的開發(fā)過程降低開發(fā)門檻，并通過開源實現(xiàn)促進這一領(lǐng)域的創(chuàng)新。AUTOGEN STUDIO 的開源實現(xiàn)不僅為開發(fā)者提供了強大的工具，還為研究和實踐提供了一個適合的平臺。（開源地址：https://github.com/microsoft/autogen/tree/autogenstudio/samples/apps/autogen-studio）

相關(guān)工作

生成式 AI 模型，如大型語言模型（LLMs），在許多任務(wù)中表現(xiàn)出色，但也存在一些局限性。一個主要問題是“幻覺”，即生成不基于事實的內(nèi)容。此外，這些模型在推理任務(wù)或處理新穎的、分布外的問題時表現(xiàn)有限。為了解決這些問題，研究者們開始探索將生成式 AI 模型與各種工具結(jié)合使用的方法。

通過賦予模型使用工具的能力，可以顯著增強其性能。例如，React 框架采用了“推理和行動”范式，使用 LLMs 生成推理軌跡和任務(wù)特定的行動。這種方法不僅提高了模型的準確性，還增強了其在復(fù)雜任務(wù)中的適應(yīng)性。其他框架如 LIDA 和 LangChain 也通過預(yù)定義的管道將模型和工具結(jié)合起來。然而隨著任務(wù)復(fù)雜性的增加，這些預(yù)定義管道的表現(xiàn)開始顯現(xiàn)出局限性，促使研究者探索更靈活和自適應(yīng)的代理架構(gòu)。

為了簡化多智能體應(yīng)用的開發(fā)，各種技術(shù)團隊的多個框架被提出。這些框架提供了創(chuàng)建多智能體應(yīng)用的抽象層，使開發(fā)者能夠更容易地構(gòu)建和管理復(fù)雜的多智能體系統(tǒng)。

AutoGen：這是一個開源的可擴展框架，允許開發(fā)者構(gòu)建大型多智能體應(yīng)用。AutoGen 提供了豐富的工具和接口，支持開發(fā)者定義和管理多智能體系統(tǒng)中的各個組件。

CAMEL：該框架通過角色扮演促進代理間的自主合作，使用引導(dǎo)提示來指導(dǎo)聊天代理完成任務(wù)，同時與人類意圖保持一致。

OS-Copilot：這是一個通用代理框架，能夠與操作系統(tǒng)中的各種元素（如網(wǎng)頁、代碼終端、文件、多媒體和第三方應(yīng)用）進行交互。OS-Copilot 探索了使用專用規(guī)劃模塊、配置器和執(zhí)行器的概念，以及工具（Python 函數(shù)或 API 調(diào)用）或技能（可以即時學(xué)習(xí)和重用的工具）的使用。

盡管這些框架在多智能體系統(tǒng)的開發(fā)中提供了重要的支持，但它們也存在一些局限性。大多數(shù)框架主要支持代碼優(yōu)先的表示方式，這對非專業(yè)開發(fā)者來說門檻較高。此外，它們?nèi)狈τ糜谡{(diào)試和評估代理行為的工具和指標，也缺乏結(jié)構(gòu)化的可重用模板來加速工作流的創(chuàng)建過程。AUTOGEN STUDIO 通過提供可視化界面來定義和可視化代理工作流，測試和評估這些工作流，并提供常見任務(wù)的模板，解決了這些限制。

AUTOGEN STUDIO 的設(shè)計與實現(xiàn)

設(shè)計原則：無代碼多智能體開發(fā)工具的四個設(shè)計原則

圖1:AUTOGEN STUDIO提供了一個拖放式UI，可以在其中定義模型、技能/工具、內(nèi)存組件，將其附加到代理和附加到工作流的代理。

AUTOGEN STUDIO 的設(shè)計基于以下四個核心原則：

快速原型設(shè)計：提供一個開發(fā)者可以快速指定代理配置并將其組合成多智能體工作流的環(huán)境。通過直觀的拖放界面，開發(fā)者可以輕松定義和調(diào)整代理的各個組件。

開發(fā)者工具：提供一系列工具，幫助開發(fā)者理解和調(diào)試代理行為，改進多智能體系統(tǒng)。這些工具包括消息和操作的可視化分析，以及調(diào)試和評估工作流的功能。

可重用模板：提供一個可重用和共享的模板庫，幫助開發(fā)者快速創(chuàng)建和部署多智能體工作流。這些模板促進了標準化和最佳實踐的應(yīng)用，推動了多智能體系統(tǒng)的廣泛采用。

協(xié)作和共享：支持用戶在多智能體工作流開發(fā)中的協(xié)作，并允許在社區(qū)內(nèi)輕松共享創(chuàng)作。通過提供實時協(xié)作、版本控制和無縫共享的工具和功能，促進了一個動態(tài)和創(chuàng)新的開發(fā)環(huán)境。

系統(tǒng)架構(gòu)：AUTOGEN STUDIO 的前端和后端組件

AUTOGEN STUDIO 的系統(tǒng)架構(gòu)包括前端用戶界面和后端 API 兩個主要部分。

用戶界面

• 構(gòu)建視圖：在構(gòu)建視圖中，用戶可以定義和組合多智能體工作流。通過拖放界面，用戶可以定義模型、技能/工具（如 Python 函數(shù)）和記憶存儲（如向量數(shù)據(jù)庫中的文檔）。這些實體可以獨立定義并保存，然后組合成代理和工作流。構(gòu)建視圖還提供了一些默認的代理模板，如 UserProxy 代理、AssistantAgent 和 GroupChat 代理，幫助用戶快速創(chuàng)建工作流。
• 游樂場視圖：游樂場視圖允許用戶創(chuàng)建會話，附加工作流并運行任務(wù)。用戶可以在會話中測試和調(diào)試工作流，觀察代理執(zhí)行的消息和操作，并通過后期分析視圖查看任務(wù)的各種指標，如消息數(shù)量、成本、工具使用頻率和狀態(tài)。
• 模板庫視圖：模板庫視圖提供了一個組件庫，包含技能、模型、代理和工作流，用戶可以導(dǎo)入、擴展和重用這些組件。每個組件規(guī)范都是聲明式的（JSON），用戶可以輕松導(dǎo)出、版本化和重新共享它們。

后端 API

圖2:AUTOGEN STUDIO提供了一個后端api（web、python、cli）和一個UI，該UI實現(xiàn)了游樂場（如圖所示）、構(gòu)建和庫視圖。在操場視圖中，用戶可以根據(jù)工作流在會話中運行任務(wù)。用戶還可以觀察代理采取的操作，基于分析器模塊查看代理消息和指標。

• Web API：后端 Web API 使用 FastAPI 庫構(gòu)建，支持 HTTP GET、POST 和 DELETE 方法。主要類包括 DBManager、WorkflowManager 和 Profiler。DBManager 負責(zé)對技能、模型、代理、記憶、工作流和會話等實體進行 CRUD 操作。WorkflowManager 處理聲明式代理工作流的攝取，將其轉(zhuǎn)換為 AUTOGEN 代理對象并執(zhí)行任務(wù)。Profiler 解析代理消息以計算指標。
• Python API：Python API 提供了與 Web API 類似的功能，允許開發(fā)者在 Python 環(huán)境中定義和管理多智能體工作流。開發(fā)者可以使用 Python 代碼導(dǎo)入和運行工作流，進行任務(wù)執(zhí)行和結(jié)果分析。
• 命令行接口：命令行接口提供了啟動捆綁 UI 和運行導(dǎo)出工作流的實用程序。用戶可以通過命令行啟動 AUTOGEN STUDIO 的 UI，并將工作流作為 API 端點執(zhí)行，或?qū)⑵浯虬鼮?Docker 容器進行大規(guī)模部署。

清單1:AUTOGEN STUDIO可以從PyPI（pip）安裝，UI從命令行啟動。

清單2：可以在python應(yīng)用程序中導(dǎo)入工作流。

通過這些設(shè)計原則和系統(tǒng)架構(gòu)，AUTOGEN STUDIO 為開發(fā)者提供了一個強大且易用的工具，簡化了多智能體系統(tǒng)的開發(fā)、調(diào)試和部署過程。

使用和評估

自 AUTOGEN STUDIO 發(fā)布以來，該工具包在 GitHub 上獲得了廣泛的關(guān)注和使用。在短短五個月內(nèi)，AUTOGEN STUDIO 已被安裝超過 20 萬次，并收到了超過 135 個 GitHub 問題。這些問題反映了用戶在使用過程中遇到的各種痛點，并為工具的改進提供了寶貴的反饋。

主要的用戶反饋和相應(yīng)的改進，用戶在定義、保存和重用組件時遇到了困難。為了解決這一問題，開發(fā)團隊實現(xiàn)了一個數(shù)據(jù)庫層，簡化了組件的管理和重用。用戶在創(chuàng)作組件時感到困難。為此，AUTOGEN STUDIO 增加了從描述中自動生成工具的功能，并集成了一個用于編輯工具的集成開發(fā)環(huán)境（IDE）。用戶在進行端到端測試時，組件經(jīng)常失敗。為了解決這一問題，開發(fā)團隊在構(gòu)建視圖中添加了一個測試按鈕，允許用戶在工作流中測試組件（如模型）。這些改進顯著提升了用戶體驗，使得 AUTOGEN STUDIO 更加易用和高效。

AUTOGEN STUDIO 提供了一個強大的平臺，支持開發(fā)者快速原型設(shè)計、測試和調(diào)試多智能體工作流。以下是一個典型的使用案例，展示了該工具的實際應(yīng)用。

快速原型設(shè)計：開發(fā)者可以使用 AUTOGEN STUDIO 的拖放界面快速定義和組合多智能體工作流。例如，開發(fā)者可以定義一個生成式 AI 模型，添加相應(yīng)的技能和工具，并將其組合成一個代理。然后，開發(fā)者可以將多個代理組合成一個工作流，以解決復(fù)雜任務(wù)。

測試和調(diào)試：在游樂場視圖中，開發(fā)者可以創(chuàng)建會話，附加工作流并運行任務(wù)。通過觀察視圖，開發(fā)者可以實時查看代理執(zhí)行的消息和操作，并通過后期分析視圖查看任務(wù)的各種指標，如消息數(shù)量、成本、工具使用頻率和狀態(tài)。這些功能幫助開發(fā)者理解和調(diào)試多智能體系統(tǒng)的行為，改進系統(tǒng)性能。

部署和共享：一旦工作流經(jīng)過測試和調(diào)試，開發(fā)者可以將其導(dǎo)出為 JSON 配置文件，并無縫集成到任何 Python 應(yīng)用中，或作為 API 端點執(zhí)行，或打包為 Docker 容器進行大規(guī)模部署。此外，開發(fā)者還可以將工作流和組件發(fā)布到模板庫，與社區(qū)共享，促進協(xié)作和創(chuàng)新。

圖3:AUTOGEN STUDIO倉庫中的GitHub問題圖（n=8個集群）。用戶反饋范圍從支持工作流創(chuàng)作工具（例如，配置和測試模型的能力）到一般安裝。

通過這些功能，AUTOGEN STUDIO 顯著降低了多智能體系統(tǒng)的開發(fā)門檻，使開發(fā)者能夠更輕松地配置、調(diào)試和優(yōu)化這些系統(tǒng)，從而加速了這一領(lǐng)域的創(chuàng)新和應(yīng)用。

新興設(shè)計模式和研究方向

定義和組合工作流

在多智能體系統(tǒng)中，配置和管理大量參數(shù)是一個復(fù)雜的任務(wù)。AUTOGEN STUDIO 采用了“定義和組合”工作流的方法，通過直觀的拖放界面，用戶可以首先獨立定義各個組件（如模型、技能、工具和記憶存儲），然后將這些組件組合成代理，并最終形成完整的多智能體工作流。這種方法不僅簡化了工作流的創(chuàng)建過程，還提高了開發(fā)者的理解和配置效率。AUTOGEN STUDIO 提供了定義和測試模型的工具、用于生成和編輯工具的集成開發(fā)環(huán)境（IDE），以及基于畫布的工作流可視化布局，支持拖放交互以關(guān)聯(lián)工作流中的實體。

調(diào)試和理解工具

多智能體工作流可能由于多種原因而失敗，從模型配置不當?shù)酱碇噶畈幻鞔_，再到工具配置錯誤或終止條件設(shè)置不當。為了幫助用戶調(diào)試和理解多智能體系統(tǒng)的行為，AUTOGEN STUDIO 提供了強大的調(diào)試工具。這些工具包括觀察視圖和后期分析視圖。觀察視圖允許用戶實時查看任務(wù)進展中代理執(zhí)行的消息和操作，而后期分析視圖則可視化任務(wù)的各種指標，如消息數(shù)量、成本、工具使用頻率和狀態(tài)。這些工具幫助用戶識別和解決問題，改進系統(tǒng)性能。

導(dǎo)出和部署

盡管無代碼工具如 AUTOGEN STUDIO 能夠快速迭代和演示工作流，但開發(fā)者通常希望將這些成果集成到核心應(yīng)用中。為此，AUTOGEN STUDIO 支持將多智能體工作流無縫導(dǎo)出為 JSON 配置文件，并集成到任何 Python 應(yīng)用中。用戶還可以將工作流作為 API 端點執(zhí)行，或打包為 Docker 容器進行大規(guī)模部署。這種無縫導(dǎo)出和部署功能使得開發(fā)者能夠輕松地將多智能體工作流應(yīng)用于實際生產(chǎn)環(huán)境中，提升了工具的實用性和靈活性。

協(xié)作和共享

協(xié)作和共享是加速創(chuàng)新和改進多智能體系統(tǒng)的關(guān)鍵。AUTOGEN STUDIO 通過提供實時協(xié)作、版本控制和無縫共享的工具和功能，促進了用戶在多智能體工作流開發(fā)中的協(xié)作。用戶可以在模板庫中發(fā)布和共享他們的工作流、技能和代理，其他用戶可以導(dǎo)入、擴展和重用這些組件。這種社區(qū)驅(qū)動的方法不僅促進了知識和經(jīng)驗的共享，還推動了多智能體系統(tǒng)的廣泛應(yīng)用和創(chuàng)新。

通過這些新興設(shè)計模式和研究方向，AUTOGEN STUDIO 為多智能體系統(tǒng)的開發(fā)提供了一個強大且易用的平臺，顯著降低了開發(fā)門檻，促進了這一領(lǐng)域的快速發(fā)展和應(yīng)用。

研究方向

在多智能體系統(tǒng)的開發(fā)過程中，評估代理的性能、可靠性和可重用性是至關(guān)重要的。離線評估工具可以幫助開發(fā)者在不影響實際運行的情況下，全面測試和分析代理的表現(xiàn)。這些工具可以回答以下問題：

1. 如何衡量代理在不同任務(wù)中的性能？
2. 如何評估代理的可靠性和穩(wěn)定性？
3. 如何理解代理的優(yōu)缺點，并探索替代方案和結(jié)果？

通過開發(fā)這些離線評估工具，研究人員可以更好地理解代理的行為，優(yōu)化其性能，并確保系統(tǒng)在實際應(yīng)用中的可靠性。

多智能體系統(tǒng)的設(shè)計決策對其整體性能和效率有著深遠的影響。研究人員需要量化這些設(shè)計決策的影響，以確定最佳的系統(tǒng)配置。

這包括：

• 確定給定問題的最佳代理數(shù)量和組成。
• 分配職責(zé)和協(xié)調(diào)行動的最佳方式。
• 集中控制與分散控制、同質(zhì)代理與異質(zhì)代理之間的權(quán)衡。

通過量化這些設(shè)計決策的影響，研究人員可以優(yōu)化多智能體系統(tǒng)的設(shè)計，提高其解決復(fù)雜任務(wù)的能力。

多智能體系統(tǒng)需要具備動態(tài)適應(yīng)能力，以應(yīng)對不斷變化的任務(wù)需求和環(huán)境條件。研究方向包括：

• 基于任務(wù)需求和可用資源動態(tài)生成代理。
• 調(diào)整工作流配置以實現(xiàn)最佳性能。
• 適應(yīng)不斷變化的環(huán)境和用戶偏好。

此外，研究人員還需要探索如何利用人類監(jiān)督和反饋來提高代理的可靠性、任務(wù)性能和安全性。這些優(yōu)化方法將有助于多智能體系統(tǒng)在實際應(yīng)用中更加高效和靈活。

通過這些未來研究方向的探索，AUTOGEN STUDIO 將進一步提升多智能體系統(tǒng)的開發(fā)和應(yīng)用水平，推動這一領(lǐng)域的創(chuàng)新和發(fā)展。

結(jié)論

AUTOGEN STUDIO 是一個無代碼開發(fā)工具，旨在簡化多智能體系統(tǒng)的構(gòu)建、調(diào)試和評估過程。其主要特點和貢獻包括：

無代碼界面：提供直觀的拖放界面，使開發(fā)者能夠輕松定義和組合多智能體工作流，降低了開發(fā)門檻。

交互式調(diào)試和評估：支持實時觀察和后期分析，幫助開發(fā)者理解和優(yōu)化多智能體系統(tǒng)的行為和性能。

可重用組件庫：包含豐富的可重用和共享的代理組件，促進了標準化和最佳實踐的應(yīng)用。

開源實現(xiàn)：作為開源項目，AUTOGEN STUDIO 已獲得廣泛的用戶基礎(chǔ)，展示了多智能體開發(fā)工具的設(shè)計模式和未來研究方向。

這些特點使得 AUTOGEN STUDIO 成為一個強大且易用的平臺，顯著降低了多智能體系統(tǒng)的開發(fā)復(fù)雜性，促進了這一領(lǐng)域的創(chuàng)新和應(yīng)用。

未來的研究方向?qū)⑦M一步提升 AUTOGEN STUDIO 的功能和應(yīng)用水平，推動多智能體系統(tǒng)的開發(fā)和優(yōu)化。

離線評估工具：開發(fā)用于衡量代理性能、可靠性和可重用性的工具，將幫助開發(fā)者更好地理解和優(yōu)化代理的行為。

多智能體系統(tǒng)設(shè)計決策的影響：量化多智能體系統(tǒng)設(shè)計決策的影響，有助于確定最佳的系統(tǒng)配置，提高系統(tǒng)的整體性能和效率。

優(yōu)化多智能體系統(tǒng)：研究動態(tài)生成代理、調(diào)整工作流配置和適應(yīng)環(huán)境變化的方法，將增強多智能體系統(tǒng)的靈活性和適應(yīng)性。

通過這些研究方向的探索，AUTOGEN STUDIO 將進一步降低多智能體系統(tǒng)的開發(fā)門檻，提升其在實際應(yīng)用中的性能和可靠性，推動這一領(lǐng)域的快速發(fā)展和廣泛應(yīng)用。未來，隨著更多創(chuàng)新和改進的實現(xiàn)，AUTOGEN STUDIO 有望成為多智能體系統(tǒng)開發(fā)的標準工具，促進這一領(lǐng)域的持續(xù)進步和突破。（END）

參考資料：???https://arxiv.org/pdf/2408.15247??

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS