多智能體系統(tǒng)（Multi-Agent Systems, MAS）近年來在各類任務(wù)中展現(xiàn)出卓越的能力，尤其是在代碼生成、數(shù)學(xué)問題解決、翻譯和文本評估等領(lǐng)域。通過多個專家智能體的協(xié)作，這些系統(tǒng)能夠?qū)?fù)雜任務(wù)分解為更小的子任務(wù)，由各個智能體分別處理，從而提高整體效率和準確性。然而隨著多智能體系統(tǒng)的廣泛應(yīng)用，其安全性問題也日益凸顯。特別是當(dāng)系統(tǒng)中存在惡意智能體時，這些智能體可能會生成錯誤或不相關(guān)的結(jié)果，進而破壞整個系統(tǒng)的協(xié)作效果。

因此,我們需要研究多智能體系統(tǒng)在存在惡意智能體時的彈性，即系統(tǒng)在面對惡意智能體時維持功能和性能的能力,需要回答以下兩個關(guān)鍵問題：

1. 不同結(jié)構(gòu)的多智能體系統(tǒng)在惡意智能體存在下的彈性如何？
2. 如何提高系統(tǒng)彈性以防御惡意智能體？

為了解答這些問題，來自中國香港中文大學(xué)、清華大學(xué)、北京大學(xué)和卡內(nèi)基梅隆大學(xué)的聯(lián)合研究團隊設(shè)計了AUTOTRANSFORM 和 AUTOINJECT兩種方法，用于將任何智能體轉(zhuǎn)變?yōu)閻阂庵悄荏w或直接在消息中引入特定錯誤。通過這兩種方法，研究團隊在代碼生成、數(shù)學(xué)問題、翻譯和文本評估四個任務(wù)上進行了綜合實驗。實驗結(jié)果表明，“層次結(jié)構(gòu)”多智能體系統(tǒng)（如 A→(B?C)）表現(xiàn)出最強的彈性，性能下降最?。?3.6%），相比之下，其他兩種結(jié)構(gòu)的性能下降分別為46.4%和49.8%。

此外研究還發(fā)現(xiàn)，通過引入額外的智能體來審查和糾正消息，或為每個智能體增加挑戰(zhàn)其他智能體輸出的機制，可以顯著提高系統(tǒng)的彈性。這些防御方法在實驗中表現(xiàn)出色，進一步驗證了其有效性。

研究團隊為設(shè)計更具彈性的多智能體系統(tǒng)提供了重要的見解和方法，特別是在面對惡意智能體時。研究結(jié)果不僅揭示了不同系統(tǒng)結(jié)構(gòu)在惡意智能體存在下的表現(xiàn)差異，還提出了有效的防御策略，為未來多智能體系統(tǒng)的安全性研究提供了寶貴的參考。

本研究由來自不同領(lǐng)域的專家合作完成，團隊成員包括中國香港中文大學(xué)的Jen-tse Huang, Jiaxu Zhou, Wenxuan Wang, Michael R. Lyu、清華大學(xué)的Tailin Jin、北京大學(xué)的Zixi Chen、卡內(nèi)基梅隆大學(xué)的Xuhui Zhou, Maarten Sap 和中國香港中文大學(xué)（深圳）的Youliang Yuan，這些研究人員專注于多智能體系統(tǒng)的研究，特別是其在面對惡意智能體時的彈性,在代碼生成和數(shù)學(xué)問題解決等任務(wù)中的應(yīng)用,在文本評估和翻譯任務(wù)中的應(yīng)用,在多智能體系統(tǒng)的協(xié)作和安全問題等，這個多學(xué)科、多機構(gòu)的團隊結(jié)合了來自不同領(lǐng)域的專家，共同研究多智能體系統(tǒng)在面對惡意智能體時的彈性，為設(shè)計更具彈性的多智能體系統(tǒng)提供重要的見解和方法。

預(yù)備知識

多智能體系統(tǒng)（MAS）在管理科學(xué)中可以根據(jù)其結(jié)構(gòu)和通信方式分為三種主要類型：線性結(jié)構(gòu)、扁平結(jié)構(gòu)和層次結(jié)構(gòu)。每種結(jié)構(gòu)都有其獨特的定義和特點，適用于不同的應(yīng)用場景和任務(wù)需求。

線性結(jié)構(gòu)的多智能體系統(tǒng)中，智能體之間的通信是單向的，類似于流水線作業(yè)。每個智能體只與其前一個和后一個智能體進行通信，形成一個鏈式的工作流程。例如，A→B→C 表示智能體 A 將任務(wù)傳遞給智能體 B，B 完成其部分后再傳遞給智能體 C。線性結(jié)構(gòu)的優(yōu)點在于其簡單性和明確的任務(wù)分配，但缺點是缺乏靈活性和冗余，一旦某個環(huán)節(jié)出現(xiàn)問題，整個系統(tǒng)的性能可能會受到嚴重影響。

扁平結(jié)構(gòu)的多智能體系統(tǒng)中，所有智能體之間進行雙向通信，形成一個平等的協(xié)作網(wǎng)絡(luò)。例如，A?B?C 表示智能體 A、B 和 C 之間可以相互通信和協(xié)作。扁平結(jié)構(gòu)的優(yōu)點在于其高效的通信和靈活的任務(wù)分配，能夠快速響應(yīng)變化和調(diào)整策略。然而，扁平結(jié)構(gòu)也存在通信開銷較大和協(xié)調(diào)復(fù)雜度高的問題，特別是在智能體數(shù)量較多時。

層次結(jié)構(gòu)的多智能體系統(tǒng)結(jié)合了線性結(jié)構(gòu)和扁平結(jié)構(gòu)的特點，既有單向通信也有雙向通信。例如，A→(B?C) 表示智能體 A 將任務(wù)分配給 B 和 C，B 和 C 之間可以相互通信和協(xié)作。層次結(jié)構(gòu)的優(yōu)點在于其靈活性和冗余性，能夠在不同層級之間進行有效的任務(wù)分配和協(xié)調(diào)，提高系統(tǒng)的魯棒性和適應(yīng)性。層次結(jié)構(gòu)在實際應(yīng)用中較為常見，特別是在需要復(fù)雜協(xié)作和多層次決策的場景中。

圖1：不同系統(tǒng)在各種任務(wù)上對惡意智能體的彈性如何？

系統(tǒng)彈性（Resilience）是指系統(tǒng)在面對內(nèi)部錯誤或外部攻擊時，維持其功能和性能的能力。在多智能體系統(tǒng)中，彈性尤為重要，因為系統(tǒng)的協(xié)作和任務(wù)完成依賴于多個智能體的共同努力。一旦某個智能體出現(xiàn)故障或被惡意攻擊，系統(tǒng)的整體性能可能會受到影響。因此研究和提高多智能體系統(tǒng)的彈性具有重要意義。

多智能體系統(tǒng)的彈性體現(xiàn)在以下幾個方面：

• 錯誤恢復(fù)能力：系統(tǒng)能夠識別并糾正智能體生成的錯誤，確保任務(wù)的正確完成。
• 協(xié)作穩(wěn)定性：系統(tǒng)能夠在智能體之間維持穩(wěn)定的協(xié)作關(guān)系，防止惡意智能體破壞協(xié)作機制。
• 任務(wù)連續(xù)性：系統(tǒng)能夠在面對智能體故障或攻擊時，繼續(xù)執(zhí)行任務(wù)，減少中斷和性能下降。

提高多智能體系統(tǒng)的彈性可以通過多種方法實現(xiàn)。

在系統(tǒng)中引入冗余智能體或冗余通信路徑，確保在某個智能體失效時，其他智能體能夠接替其任務(wù)。設(shè)計智能體具備錯誤檢測和糾錯能力，能夠識別并修正自身或其他智能體的錯誤。設(shè)計靈活的協(xié)作機制，允許智能體在任務(wù)執(zhí)行過程中進行動態(tài)調(diào)整和重新分配，提高系統(tǒng)的適應(yīng)性和魯棒性。

系統(tǒng)彈性是多智能體系統(tǒng)設(shè)計中的關(guān)鍵因素，直接影響系統(tǒng)的可靠性和穩(wěn)定性。通過研究和提高多智能體系統(tǒng)的彈性，可以有效應(yīng)對惡意智能體的威脅，確保系統(tǒng)在復(fù)雜和動態(tài)環(huán)境中的正常運行。

方法論

在研究多智能體系統(tǒng)的彈性時，關(guān)鍵在于如何有效地引入錯誤以模擬惡意智能體的行為。論文提出了兩種主要的方法：AUTOTRANSFORM 和 AUTOINJECT。

AUTOTRANSFORM：將智能體轉(zhuǎn)變?yōu)閻阂庵悄荏w

AUTOTRANSFORM 是一種基于大規(guī)模語言模型（LLM）的方法，旨在將任何智能體的配置文件轉(zhuǎn)變?yōu)閻阂庵悄荏w，同時保留其原有功能。其設(shè)計過程包括以下三個關(guān)鍵步驟：

1. 任務(wù)分析：首先，AUTOTRANSFORM 分析輸入智能體的配置文件，提取其分配的任務(wù)。這一步有助于識別生成錯誤輸出的潛在方法。
2. 錯誤注入方法列舉：基于任務(wù)分析，AUTOTRANSFORM 列出所有可能的錯誤注入方法，強調(diào)隱蔽性以避免被其他智能體檢測到。
3. 配置文件重寫：最后，AUTOTRANSFORM 使用這些錯誤注入方法重寫智能體的配置文件，確保智能體的原有功能保持不變。

通過這種方法，研究團隊能夠?qū)⑷魏沃悄荏w轉(zhuǎn)變?yōu)閻阂庵悄荏w，生成隱蔽的錯誤，從而模擬惡意智能體的行為。

圖2：錯誤引入過程概述。（a） 任務(wù)信息。（b） 無惡意代理的多智能體協(xié)作系統(tǒng)。（c） AUTOTRANSFORM修改智能體的配置文件，將其轉(zhuǎn)化為惡意。（d） AUTOINJECT攔截智能體之間的消息并在消息中添加錯誤。

AUTOINJECT：直接在消息中引入特定錯誤

盡管 AUTOTRANSFORM 能夠方便地生成惡意智能體，但難以確保這些智能體引入特定數(shù)量和類型的錯誤。為了解決這一問題，研究團隊提出了 AUTOINJECT 方法，直接在智能體之間傳遞的消息中引入特定錯誤。AUTOINJECT 的設(shè)計過程包括以下步驟：

1. 任務(wù)分配和錯誤注入：首先分配任務(wù)、智能體、錯誤率（Pm 和 Pe）和錯誤類型。AUTOINJECT 然后選擇智能體的輸出消息，并以概率 Pm 選擇消息中的某些部分，在這些部分中以概率 Pe 注入錯誤。
2. 錯誤生成：使用 LLM 自動生成錯誤行或句子，替換原始消息中的對應(yīng)部分。

通過這種方法，研究團隊能夠精確控制錯誤消息的比例、單條消息中的錯誤數(shù)量以及錯誤類型，從而更好地分析這些因素對系統(tǒng)彈性的影響。

錯誤率的定義及其對系統(tǒng)彈性的影響

錯誤率是指惡意智能體生成的錯誤消息的比例和單條消息中的錯誤數(shù)量。在論文中，錯誤率分為兩個方面。

錯誤消息比例（Pm）：指惡意智能體生成的錯誤消息在其所有消息中的比例。較高的錯誤消息比例意味著更多的消息包含錯誤，從而增加系統(tǒng)識別和糾正錯誤的難度。

單條消息中的錯誤數(shù)量（Pe）：指單條消息中包含的錯誤行或句子的比例。較高的錯誤數(shù)量意味著每條錯誤消息中包含更多的錯誤，從而增加系統(tǒng)糾正錯誤的復(fù)雜性。

研究表明，錯誤消息比例對系統(tǒng)彈性的影響較大，特別是在錯誤消息比例較高時，系統(tǒng)性能下降顯著。而單條消息中的錯誤數(shù)量對系統(tǒng)彈性的影響相對較小，但仍需考慮其對系統(tǒng)糾錯能力的挑戰(zhàn)。

圖3：六個多智能體系統(tǒng)在四個選定的下游任務(wù)上的性能下降。

錯誤類型（語法錯誤和語義錯誤）的定義及其對系統(tǒng)彈性的影響

錯誤類型主要分為兩類：語法錯誤和語義錯誤。

語法錯誤：指違反邏輯或事實正確性的錯誤，例如代碼中的語法錯誤或數(shù)學(xué)公式中的計算錯誤。語法錯誤通常較容易被識別和糾正，因為它們明顯偏離了訓(xùn)練數(shù)據(jù)的分布。

語義錯誤：指在邏輯上正確但在語義上不相關(guān)或不準確的錯誤，例如代碼中邏輯正確但不符合預(yù)期功能的錯誤。語義錯誤較難被識別和糾正，因為它們在分布上與正確代碼相似，需要更深層次的任務(wù)理解。

研究發(fā)現(xiàn)，語義錯誤對系統(tǒng)彈性的影響大于語法錯誤。這是因為語義錯誤更難被識別和糾正，特別是在需要深層次理解任務(wù)的情況下。例如在代碼生成任務(wù)中，語法錯誤較容易被檢測和修正，而語義錯誤則可能導(dǎo)致更嚴重的功能性問題。

通過引入這兩種錯誤類型，研究團隊能夠全面評估多智能體系統(tǒng)在面對不同類型錯誤時的彈性，為設(shè)計更具彈性的系統(tǒng)提供重要的參考。

實驗

1. 實驗設(shè)置

下游任務(wù)的選擇及其評估標準

為了全面評估多智能體系統(tǒng)在不同任務(wù)中的表現(xiàn)，研究團隊選擇了四個常見的下游任務(wù)。

• 代碼生成：使用 HumanEval 數(shù)據(jù)集（Chen et al., 2021），該數(shù)據(jù)集包含 164 個手寫編程問題，用于評估 LLMs 生成正確和功能性 Python 代碼的能力。評估標準為準確率（Pass@1）。
• 數(shù)學(xué)問題解決：使用 CIAR 數(shù)據(jù)集（Liang et al., 2023b），該數(shù)據(jù)集包含 50 個帶有隱藏陷阱的問題，用于評估 LLMs 的反直覺算術(shù)推理能力，要求多步推理。評估標準為準確率。
• 翻譯：使用 CommonMT 數(shù)據(jù)集（He et al., 2020），該數(shù)據(jù)集包含成對的句子，用于測試模型在模糊上下文中的常識推理能力。我們隨機抽取了 100 個最具挑戰(zhàn)性的詞匯類型句子進行評估，使用 BLEURT-20（Sellam et al., 2020; Pu et al., 2021）作為評估標準。
• 文本評估：使用 FairEval 數(shù)據(jù)集（Wang et al., 2023a），該數(shù)據(jù)集包含 80 個由人類注釋的“贏/平/輸”結(jié)果，用于比較 ChatGPT 和 Vicuna-13B 的響應(yīng)，旨在確定模型的偏好是否與人類判斷一致。評估標準為準確率。

多智能體系統(tǒng)架構(gòu)的選擇及其特點

研究團隊選擇了三種主要的多智能體系統(tǒng)架構(gòu)：線性、扁平和層次結(jié)構(gòu)。每種架構(gòu)都有其獨特的特點和應(yīng)用場景。

線性結(jié)構(gòu)

MetaGPT（Hong et al., 2023）：使用標準操作程序（SOPs）在軟件公司環(huán)境中創(chuàng)建高效的工作流程，利用五個智能體進行代碼生成。

Self-collaboration（Dong et al., 2023）：設(shè)計了三個角色，即分析師、編碼員和測試員，使用 2-5 個智能體在代碼生成任務(wù)中實現(xiàn)自我協(xié)作。

扁平結(jié)構(gòu)

Camel（Li et al., 2024a）：提出了一個框架，其中“用戶”智能體迭代地優(yōu)化“助手”智能體的輸出，適用于各種任務(wù)。

SPP（Wang et al., 2023b）：使用單人表現(xiàn)提示（Solo-Performance-Prompting）將單個模型分為三個角色進行編碼任務(wù)。

層次結(jié)構(gòu)

MAD（Liang et al., 2023b）：引入了一個多智能體辯論框架，包含兩個辯論者和一個裁判，以促進 LLMs 的發(fā)散思維，適用于各種任務(wù)。

AgentVerse（Chen et al., 2023b）：采用動態(tài)招聘過程，根據(jù)需要選擇智能體進行多輪協(xié)作，使用四個智能體完成所選任務(wù)。

2. 研究問題1（RQ1）：系統(tǒng)架構(gòu)的影響

不同架構(gòu)在面對惡意智能體時的表現(xiàn)

研究結(jié)果表明，層次結(jié)構(gòu)的多智能體系統(tǒng)在面對惡意智能體時表現(xiàn)出最高的彈性。

層次結(jié)構(gòu)：表現(xiàn)出最小的準確率下降，AUTOTRANSFORM 和 AUTOINJECT 分別為 23.6% 和 22.6%。這種結(jié)構(gòu)的優(yōu)勢在于存在一個高層智能體（如 MAD 中的評估者），該智能體總是能夠接收到多個智能體執(zhí)行相同子任務(wù)的不同版本的答案，從而增加了從單個智能體錯誤中恢復(fù)的可能性。

扁平結(jié)構(gòu)：在 AUTOTRANSFORM 下表現(xiàn)相似，但在 AUTOINJECT 下韌性顯著降低。這是由于缺乏高層領(lǐng)導(dǎo)者來監(jiān)督和選擇最佳結(jié)果的智能體。

線性結(jié)構(gòu)：表現(xiàn)出最低的韌性，缺乏領(lǐng)導(dǎo)和智能體間的溝通，導(dǎo)致一條流水線式的工作流程。

圖4：在每項任務(wù)中，MAD相對于AUTOINJECT的精度都有所提高。

層次結(jié)構(gòu)的優(yōu)勢及其原因分析

層次結(jié)構(gòu)的優(yōu)勢主要體現(xiàn)在層次結(jié)構(gòu)中存在多個智能體執(zhí)行相同的子任務(wù)，從而增加了系統(tǒng)的冗余性和錯誤恢復(fù)能力。高層智能體能夠監(jiān)督和評估多個智能體的輸出，選擇最佳結(jié)果，從而提高系統(tǒng)的整體性能。層次結(jié)構(gòu)允許智能體在不同層級之間進行動態(tài)調(diào)整和重新分配，提高系統(tǒng)的適應(yīng)性和魯棒性。

3. 研究問題2（RQ2）：下游任務(wù)的影響

不同任務(wù)在面對錯誤時的韌性差異

研究發(fā)現(xiàn)，不同下游任務(wù)在面對錯誤時的韌性存在顯著差異。具體表現(xiàn)為代碼生成和數(shù)學(xué)問題：這些任務(wù)需要較高的嚴格性和形式化，對智能體錯誤更為敏感，韌性較低。翻譯和文本評估：這些任務(wù)的主觀性較強，對錯誤的敏感性較低，韌性較高。

任務(wù)的客觀性和主觀性對系統(tǒng)彈性有重要影響

客觀任務(wù)：如代碼生成和數(shù)學(xué)問題，要求較高的準確性和一致性，任何錯誤都可能導(dǎo)致顯著的性能下降。

主觀任務(wù)：如翻譯和文本評估，允許一定程度的變異和解釋，錯誤的影響相對較小。

4. 研究問題3（RQ3）：錯誤率的影響

研究表明，錯誤消息比例（Pm）和單條消息中的錯誤數(shù)量（Pe）對系統(tǒng)彈性的影響表現(xiàn)為錯誤消息比例對系統(tǒng)彈性的影響較大，特別是在錯誤消息比例較高時，系統(tǒng)性能下降顯著。錯誤消息比例的性能下降是非線性的，最顯著的下降發(fā)生在 0 到 0.2 之間。單條消息中的錯誤數(shù)量對系統(tǒng)彈性的影響相對較小，但仍需考慮其對系統(tǒng)糾錯能力的挑戰(zhàn)。隨著 Pe 的增加，性能下降幾乎是線性的。

圖5：六個多智能體系統(tǒng)在選定下游任務(wù)上的性能下降。

5. 研究問題4（RQ4）：錯誤類型的影響

研究發(fā)現(xiàn)，語義錯誤對系統(tǒng)彈性的影響大于語法錯誤。這是因為語法錯誤較容易被識別和糾正，因為它們明顯偏離了訓(xùn)練數(shù)據(jù)的分布。語義錯誤較難被識別和糾正，因為它們在分布上與正確代碼相似，需要更深層次的任務(wù)理解。

例如，在代碼生成任務(wù)中，語法錯誤較容易被檢測和修正，而語義錯誤則可能導(dǎo)致更嚴重的功能性問題。

通過這些實驗，研究團隊全面評估了多智能體系統(tǒng)在面對不同類型錯誤時的彈性，為設(shè)計更具彈性的系統(tǒng)提供了重要的參考。

其他因素

惡意角色的影響

在多智能體系統(tǒng)中，不同類型的智能體在系統(tǒng)中的角色和職責(zé)各不相同。為了全面了解惡意智能體對系統(tǒng)彈性的影響，研究團隊不僅關(guān)注直接負責(zé)工作的智能體，還研究了高層任務(wù)分配智能體的影響。

高層任務(wù)分配智能體與直接負責(zé)工作的智能體的對比

高層任務(wù)分配智能體（如 Camel 系統(tǒng)中的 User 和 Assistant，MetaGPT 系統(tǒng)中的 Product Manager 和 Engineer）在系統(tǒng)中扮演著關(guān)鍵角色，負責(zé)任務(wù)的分配和協(xié)調(diào)。相比之下，直接負責(zé)工作的智能體主要執(zhí)行具體任務(wù)，如代碼生成或問題解決。

研究結(jié)果表明，污染高層任務(wù)分配智能體對系統(tǒng)性能的影響更大。這是因為高層任務(wù)分配智能體控制著系統(tǒng)的整體任務(wù)分配和協(xié)調(diào)，一旦這些智能體被惡意轉(zhuǎn)變，其生成的錯誤指令可能會影響多個下游智能體的工作。例如，在 Camel 系統(tǒng)中，Assistant 智能體難以識別 User 智能體生成的“有毒”指令，因為其職責(zé)僅限于執(zhí)行指令。

具體來說，研究團隊?wèi)?yīng)用 AUTOTRANSFORM 方法將高層任務(wù)分配智能體轉(zhuǎn)變?yōu)閻阂庵悄荏w，結(jié)果顯示系統(tǒng)的性能顯著下降。這一發(fā)現(xiàn)與直覺一致，即控制系統(tǒng)整體任務(wù)分配的智能體對系統(tǒng)的正常運行至關(guān)重要。

輪次數(shù)量的影響

另一個影響多智能體系統(tǒng)彈性的因素是智能體參與的輪次數(shù)量。研究團隊假設(shè)，增加智能體參與的輪次（即更多輪次）可能會增強系統(tǒng)的彈性，因為更多的輪次意味著更多的機會來識別和糾正錯誤。

智能體參與輪次對系統(tǒng)彈性的影響

為了消除額外智能體的影響，研究團隊專注于只有兩個智能體輪流發(fā)言的 Camel 系統(tǒng)。通過計算生成正確和錯誤代碼的平均輪次數(shù)，研究團隊發(fā)現(xiàn)以下結(jié)果：

1. 在沒有注入錯誤的情況下，生成通過 HumanEval 的代碼的平均輪次為 9.31，而生成未通過代碼的平均輪次為 9.79。
2. 在注入錯誤后，這些平均值分別變?yōu)?8.89 和 11.57。

這些結(jié)果表明，錯誤注入導(dǎo)致系統(tǒng)在完成較容易的任務(wù)時對話輪次減少，而在較難的任務(wù)上花費更多時間但無明顯改進。這與直覺相悖，即輪次數(shù)量可能與系統(tǒng)彈性相關(guān)，但實際結(jié)果顯示，輪次數(shù)量對系統(tǒng)彈性的影響有限。

圖6:HumanEval的兩個測試用例的案例研究。（a） 故意注入的錯誤有助于提高性能。（b） LLM過度依賴自然語言而不是代碼。

研究團隊進一步分析了這一現(xiàn)象，發(fā)現(xiàn)當(dāng)前 LLM 在上下文變長時效果減弱，特別是在指令存在沖突的情況下。對于惡意智能體來說，它們逐漸失去生成錯誤的任務(wù)軌跡，優(yōu)先考慮其他智能體的新指令來糾正消息中的錯誤。此外，AUTOINJECT 方法持續(xù)引入錯誤，而 AUTOTRANSFORM 方法并不總是確保生成錯誤，這也解釋了為什么 AUTOINJECT 方法對系統(tǒng)性能的影響更大。

圖7:§4.7中研究的兩個因素。（a） 應(yīng)用AUTOTRANSFORM對MetaGPT和Camel中不同角色的影響。（b） 平均輪次與代碼正確性的相關(guān)性。

綜上所述，惡意角色和輪次數(shù)量是影響多智能體系統(tǒng)彈性的兩個重要因素。高層任務(wù)分配智能體的惡意行為對系統(tǒng)的影響更大，而輪次數(shù)量對系統(tǒng)彈性的影響相對有限。這些發(fā)現(xiàn)為設(shè)計更具彈性的多智能體系統(tǒng)提供了重要的參考。

提高系統(tǒng)彈性的方法

在多智能體系統(tǒng)中，面對惡意智能體的威脅，提高系統(tǒng)的彈性至關(guān)重要。研究團隊提出了兩種主要的防御方法：Inspector 和 Challenger。這些方法旨在通過增加系統(tǒng)的錯誤檢測和糾正能力，增強多智能體系統(tǒng)在惡意智能體存在下的韌性。

1. 防御方法

Inspector：攔截并檢查所有消息中的錯誤并進行糾正

Inspector 方法的核心思想是引入一個額外的智能體，專門負責(zé)攔截并檢查所有智能體之間傳遞的消息，識別其中的錯誤并進行糾正。具體實現(xiàn)步驟如下：

• 消息攔截：Inspector 智能體攔截所有智能體之間傳遞的消息，確保每條消息都經(jīng)過檢查。
• 錯誤檢測：使用大規(guī)模語言模型（LLM）對消息進行分析，識別其中的語法錯誤和語義錯誤。
• 錯誤糾正：一旦檢測到錯誤，Inspector 智能體會生成正確的消息替換錯誤消息，并將其傳遞給目標智能體。

這種方法類似于 Zhang et al. (2024) 提出的“警察”智能體，旨在通過實時監(jiān)控和糾正消息中的錯誤，提高系統(tǒng)的整體性能和穩(wěn)定性。

Challenger：賦予智能體挑戰(zhàn)其他智能體結(jié)果的能力

Challenger 方法的核心思想是增強每個智能體的功能，使其不僅能夠執(zhí)行分配的任務(wù)，還能夠挑戰(zhàn)其他智能體的輸出結(jié)果。

在每個智能體的配置文件中添加挑戰(zhàn)功能，使其能夠?qū)邮盏降南⑦M行評估，并在發(fā)現(xiàn)錯誤時提出挑戰(zhàn)。智能體在接收到其他智能體的輸出結(jié)果后，會對其進行分析，如果發(fā)現(xiàn)潛在錯誤，會生成挑戰(zhàn)消息，要求對方智能體重新生成或修正結(jié)果。被挑戰(zhàn)的智能體在接收到挑戰(zhàn)消息后，會重新生成或修正其輸出結(jié)果，并將其傳遞回挑戰(zhàn)智能體進行驗證。

這種方法通過賦予智能體更多的自主性和糾錯能力，提高了系統(tǒng)在面對惡意智能體時的彈性。

2. 實驗結(jié)果

研究團隊將這兩種防御方法應(yīng)用于不同的多智能體系統(tǒng)架構(gòu)（線性和扁平），并評估其在代碼生成任務(wù)中的效果。

線性架構(gòu)（Self-collab）

無防御方法：在沒有防御方法的情況下，系統(tǒng)在 AUTOINJECT 方法下的性能顯著下降。

Inspector 方法：引入 Inspector 方法后，系統(tǒng)性能有所提升，但未能完全恢復(fù)到原始水平。

Challenger 方法：引入 Challenger 方法后，系統(tǒng)性能也有所提升，但與 Inspector 方法相比，提升幅度相似。

扁平架構(gòu)（Camel）

無防御方法：在沒有防御方法的情況下，系統(tǒng)在 AUTOINJECT 方法下的性能顯著下降。

Inspector 方法：引入 Inspector 方法后，系統(tǒng)性能有所提升，但未能完全恢復(fù)到原始水平。

Challenger 方法：引入 Challenger 方法后，系統(tǒng)性能也有所提升，但與 Inspector 方法相比，提升幅度相似。

總體而言，這兩種防御方法都能夠在一定程度上提高系統(tǒng)在惡意智能體存在下的彈性，但未能完全恢復(fù)到原始水平。研究團隊建議在實際應(yīng)用中同時嘗試這兩種方法，以獲得最佳效果。

圖8：防御方法“檢查器”和“挑戰(zhàn)者”在代碼生成任務(wù)中的性能。

通過這些防御方法的實驗結(jié)果，研究團隊驗證了其有效性，并為設(shè)計更具彈性的多智能體系統(tǒng)提供了重要的參考。這些方法不僅提高了系統(tǒng)的錯誤檢測和糾正能力，還增強了智能體之間的協(xié)作和互相監(jiān)督能力，從而提高了系統(tǒng)的整體韌性。

相關(guān)工作

多智能體系統(tǒng)的研究現(xiàn)狀

多智能體系統(tǒng)（MAS）在近年來得到了廣泛的研究和應(yīng)用。隨著大規(guī)模語言模型（LLMs）的發(fā)展，MAS 的能力得到了顯著提升，能夠在各種復(fù)雜任務(wù)中展現(xiàn)出卓越的性能。以下是一些主要的多智能體系統(tǒng)框架和方法的比較。

ChatEval（Chan et al., 2023）

特點：ChatEval 是一個多智能體辯論系統(tǒng)，用于評估 LLM 生成的文本，提供類似人類的評估過程。

應(yīng)用：主要用于文本生成和評估任務(wù)，通過智能體之間的辯論來提高評估的準確性和客觀性。

ChatDev（Qian et al., 2023）

特點：ChatDev 使用線性結(jié)構(gòu)的多個角色來解決代碼生成任務(wù)。

應(yīng)用：通過多個智能體的協(xié)作，優(yōu)化代碼生成過程，提高代碼的質(zhì)量和功能性。

AutoGen（Wu et al., 2023）

特點：AutoGen 提供了一個通用框架，用于構(gòu)建具有多種應(yīng)用的多智能體系統(tǒng)。

應(yīng)用：適用于各種任務(wù)，包括開放式問答和創(chuàng)意寫作，通過智能體的動態(tài)生成和協(xié)作來完成任務(wù)。

AutoAgents（Chen et al., 2023a）

特點：AutoAgents 支持智能體配置文件的動態(tài)生成和協(xié)作，評估了開放式問答和創(chuàng)意寫作任務(wù)。

應(yīng)用：通過智能體之間的協(xié)作和動態(tài)調(diào)整，提高任務(wù)完成的效率和質(zhì)量。

Agents（Zhou et al., 2023a）

特點：Agents 支持規(guī)劃、記憶、工具使用、多智能體通信和細粒度符號控制，用于多智能體或人機協(xié)作。

應(yīng)用：廣泛應(yīng)用于需要復(fù)雜協(xié)作和多層次決策的任務(wù)，如自動駕駛和智能制造。

模擬日常生活和對話（Park et al., 2023; Zhou et al., 2023b）

特點：這些研究模擬了多智能體系統(tǒng)在日常生活和對話中的應(yīng)用，探索智能體之間的互動和協(xié)作。

應(yīng)用：主要用于社交機器人和虛擬助手，通過模擬真實場景來提高智能體的交互能力。

多智能體競爭（Huang et al., 2024; Liu et al., 2024b; Liang et al., 2023a）

特點：這些研究探索了多智能體系統(tǒng)在競爭環(huán)境中的表現(xiàn)，研究智能體之間的競爭和合作策略。

應(yīng)用：主要用于游戲和模擬環(huán)境，通過競爭和合作來提高智能體的策略和決策能力。

這些框架和方法展示了多智能體系統(tǒng)在不同任務(wù)和應(yīng)用場景中的廣泛應(yīng)用和研究進展。盡管它們在系統(tǒng)設(shè)計和應(yīng)用上有所不同，但都強調(diào)了智能體之間的協(xié)作和動態(tài)調(diào)整，以提高任務(wù)完成的效率和質(zhì)量。

多智能體系統(tǒng)中的安全問題

隨著多智能體系統(tǒng)的廣泛應(yīng)用，其安全性問題也日益受到關(guān)注。特別是當(dāng)系統(tǒng)中存在惡意智能體時，這些智能體可能會生成錯誤或誤導(dǎo)性的結(jié)果，破壞系統(tǒng)的協(xié)作效果。以下是一些現(xiàn)有研究中的攻擊和防御機制：

PsySafe（Zhang et al., 2024）

特點：PsySafe 是一個整合攻擊、評估和防御機制的框架，使用負面人格的心理操縱。

應(yīng)用：通過模擬惡意智能體的行為，評估系統(tǒng)的安全性，并提出相應(yīng)的防御策略。

EG（Evil Geniuses）（Tian et al., 2023）

特點：EG 是一種自動生成與智能體原始角色相關(guān)提示的攻擊方法，類似于 AUTOTRANSFORM。

應(yīng)用：通過生成惡意提示，破壞智能體的正常工作，評估系統(tǒng)在面對惡意智能體時的表現(xiàn)。

Amayuelas et al.（2024）

特點：研究了多智能體辯論中的對手如何破壞協(xié)作，發(fā)現(xiàn)對手的說服技巧對成功攻擊至關(guān)重要。

應(yīng)用：通過模擬對手的攻擊行為，評估系統(tǒng)在面對惡意智能體時的協(xié)作能力。

Ju et al.（2024）

特點：提出了一種兩階段攻擊策略，在模擬多智能體聊天環(huán)境中傳播反事實和有毒知識，有效破壞協(xié)作。

應(yīng)用：通過生成和傳播有毒知識，評估系統(tǒng)在面對惡意智能體時的表現(xiàn)，并提出相應(yīng)的防御策略。

這些研究展示了多智能體系統(tǒng)在安全性方面的挑戰(zhàn)和應(yīng)對策略。通過模擬惡意智能體的行為，研究人員能夠評估系統(tǒng)的安全性，并提出相應(yīng)的防御機制，以提高系統(tǒng)在面對惡意智能體時的彈性。

多智能體系統(tǒng)的研究現(xiàn)狀和安全問題展示了這一領(lǐng)域的廣泛應(yīng)用和挑戰(zhàn)。通過不斷探索和優(yōu)化系統(tǒng)設(shè)計和防御策略，研究人員能夠提高多智能體系統(tǒng)的彈性，確保其在復(fù)雜和動態(tài)環(huán)境中的正常運行。

結(jié)論

研究總結(jié)

本研究深入探討了多智能體系統(tǒng)在存在惡意智能體時的彈性，重點分析了不同架構(gòu)的多智能體系統(tǒng)在面對惡意智能體時的表現(xiàn)，并提出了提高系統(tǒng)彈性的有效方法。以下是主要研究發(fā)現(xiàn)：

不同架構(gòu)的多智能體系統(tǒng)在面對惡意智能體時的表現(xiàn)

層次結(jié)構(gòu)：表現(xiàn)出最強的彈性，性能下降最小。層次結(jié)構(gòu)中存在高層智能體（如評估者），能夠監(jiān)督和評估多個智能體的輸出，從而增加了從單個智能體錯誤中恢復(fù)的可能性。

扁平結(jié)構(gòu)：在 AUTOTRANSFORM 下表現(xiàn)相似，但在 AUTOINJECT 下韌性顯著降低。缺乏高層領(lǐng)導(dǎo)者來監(jiān)督和選擇最佳結(jié)果的智能體是其主要劣勢。

線性結(jié)構(gòu)：表現(xiàn)出最低的韌性，缺乏領(lǐng)導(dǎo)和智能體間的溝通，導(dǎo)致一條流水線式的工作流程。一旦某個環(huán)節(jié)出現(xiàn)問題，整個系統(tǒng)的性能可能會受到嚴重影響。

提高系統(tǒng)彈性的有效方法

Inspector 方法：引入一個額外的智能體，專門負責(zé)攔截并檢查所有智能體之間傳遞的消息，識別其中的錯誤并進行糾正。實驗結(jié)果表明，Inspector 方法能夠顯著提高系統(tǒng)在惡意智能體存在下的彈性。

Challenger 方法：增強每個智能體的功能，使其不僅能夠執(zhí)行分配的任務(wù)，還能夠挑戰(zhàn)其他智能體的輸出結(jié)果。通過賦予智能體更多的自主性和糾錯能力，Challenger 方法提高了系統(tǒng)在面對惡意智能體時的彈性。

研究局限性

盡管本研究取得了一些重要發(fā)現(xiàn)，但仍存在一些局限性。

模型和任務(wù)選擇的局限性

由于預(yù)算限制，所有實驗僅使用 gpt-3.5-turbo-0125 進行。盡管研究團隊認為結(jié)果不會與其他模型有顯著差異，但使用更強大的模型可能會帶來改進，這將在未來的研究中進一步探索。

選擇的多智能體系統(tǒng)和下游任務(wù)不能全面代表所有情況。研究團隊通過選擇三種經(jīng)典的多智能體系統(tǒng)結(jié)構(gòu)和四個常用數(shù)據(jù)集來盡量覆蓋廣泛的應(yīng)用場景，但仍有一些未涉及的領(lǐng)域。

未識別的潛在變量

在分析系統(tǒng)彈性時，可能存在一些未識別的潛在變量影響結(jié)果。研究團隊主要考察了系統(tǒng)架構(gòu)、下游任務(wù)、錯誤率、錯誤類型、智能體角色和智能體間的通信輪次，但仍可能有其他因素未被考慮。

更廣泛的影響

本研究提出的兩種錯誤引入方法（AUTOTRANSFORM 和 AUTOINJECT）在模擬惡意智能體行為方面具有重要意義，但也可能帶來一些潛在的負面影響。

錯誤引入方法的潛在負面影響

這些方法可能會被惡意使用，污染良性智能體，導(dǎo)致負面社會影響。為了減輕這一風(fēng)險，研究團隊提出了有效的防御機制，如 Inspector 和 Challenger 方法，以提高系統(tǒng)的彈性。

研究團隊強調(diào)，這些方法的提出是為了研究和改進基于 LLM 的多智能體系統(tǒng)行為，強烈反對任何惡意使用這些方法的行為。

防御措施：

通過引入額外的智能體進行實時監(jiān)控和糾錯，或增強智能體的自主性和糾錯能力，可以有效提高系統(tǒng)在惡意智能體存在下的彈性。

這些防御措施不僅提高了系統(tǒng)的錯誤檢測和糾正能力，還增強了智能體之間的協(xié)作和互相監(jiān)督能力，從而提高了系統(tǒng)的整體韌性。

本研究為多智能體系統(tǒng)在面對惡意智能體時的彈性提供了重要的見解和方法。通過深入分析不同架構(gòu)的多智能體系統(tǒng)在惡意智能體存在下的表現(xiàn)，并提出有效的防御策略，研究團隊為未來多智能體系統(tǒng)的設(shè)計和優(yōu)化提供了寶貴的參考。希望這些研究成果能夠推動多智能體系統(tǒng)在復(fù)雜和動態(tài)環(huán)境中的應(yīng)用，確保其在各種挑戰(zhàn)下的穩(wěn)定性和可靠性。（END）

參考資料：https://arxiv.org/pdf/2408.00989

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS