多智能體強(qiáng)化學(xué)習(xí)（MARL）近年來在解決復(fù)雜的決策問題上取得了顯著進(jìn)展。MARL系統(tǒng)通過多個(gè)智能體的協(xié)作，能夠在諸如DOTA 2、星際爭(zhēng)霸II和旗幟爭(zhēng)奪等復(fù)雜任務(wù)中實(shí)現(xiàn)超人表現(xiàn)。然而，這些成就的背后是巨大的計(jì)算成本和環(huán)境交互需求，通常需要數(shù)百萬甚至數(shù)十億次的環(huán)境交互，這使得這些算法只能在高成本的計(jì)算集群上運(yùn)行。

在多智能體系統(tǒng)中，信用分配問題是一個(gè)關(guān)鍵挑戰(zhàn)。隨著智能體數(shù)量的增加，評(píng)估每個(gè)智能體對(duì)整體成功的貢獻(xiàn)變得愈加困難。這種困難在合作任務(wù)中尤為突出，因?yàn)槊總€(gè)智能體不僅要優(yōu)化自身的獎(jiǎng)勵(lì)，還要考慮其行為對(duì)其他智能體獎(jiǎng)勵(lì)的影響。信用分配問題導(dǎo)致了策略梯度方法中的高方差問題，使得學(xué)習(xí)過程變得緩慢且不穩(wěn)定。

8 月 9 日來自卡內(nèi)基梅隆大學(xué)機(jī)器人研究所的研究團(tuán)隊(duì)提出了一種改進(jìn)的多智能體強(qiáng)化學(xué)習(xí)算法，稱為PRD-MAPPO（部分獎(jiǎng)勵(lì)解耦的多智能體近端策略優(yōu)化）。該算法通過引入部分獎(jiǎng)勵(lì)解耦（PRD）機(jī)制，利用學(xué)習(xí)的注意力機(jī)制動(dòng)態(tài)將大群體智能體分解為更小的子群體，從而簡(jiǎn)化信用分配。實(shí)驗(yàn)結(jié)果表明，PRD-MAPPO在多個(gè)多智能體任務(wù)中，比現(xiàn)有的先進(jìn)方法具有更高的數(shù)據(jù)效率和最終性能。論文的核心貢獻(xiàn)在于：

1. 提出了適用于共享獎(jiǎng)勵(lì)環(huán)境的PRD-MAPPO版本。
2. 引入了“軟”變體，通過注意力權(quán)重重新加權(quán)優(yōu)勢(shì)項(xiàng)，而不是嚴(yán)格解耦。
3. 修改了優(yōu)勢(shì)估計(jì)策略，使學(xué)習(xí)更新的計(jì)算時(shí)間從二次方減少到線性。

通過這些改進(jìn)，PRD-MAPPO顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性，為解決大規(guī)模合作任務(wù)中的信用分配問題提供了新的思路和方法。

研究團(tuán)隊(duì)是來自卡內(nèi)基梅隆大學(xué)機(jī)器人研究所的Benjamin Freed、Howie Choset、Jeff Schneider 和來自Tata Consultancy Services 的Aditya Kapoor，他們主要研究方向包括多智能體系統(tǒng)、強(qiáng)化學(xué)習(xí)和機(jī)器人技術(shù)。以其在機(jī)器人技術(shù)和多智能體系統(tǒng)方面的開創(chuàng)性工作而聞名。這個(gè)團(tuán)隊(duì)結(jié)合了工業(yè)界和學(xué)術(shù)界的力量，致力于解決多智能體強(qiáng)化學(xué)習(xí)中的信用分配問題，并提出了部分獎(jiǎng)勵(lì)解耦（PRD）的方法，以提高多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。

方法介紹

馬爾可夫博弈的定義

在多智能體強(qiáng)化學(xué)習(xí)中，問題通常被建模為馬爾可夫博弈。一個(gè)馬爾可夫博弈由以下幾個(gè)部分組成：

狀態(tài)空間（S）：表示所有可能的系統(tǒng)狀態(tài)的集合。

動(dòng)作空間（A）：表示所有智能體的聯(lián)合動(dòng)作空間，即每個(gè)智能體的動(dòng)作組合。

狀態(tài)轉(zhuǎn)移概率（P）：定義了在給定當(dāng)前狀態(tài)和聯(lián)合動(dòng)作的情況下，系統(tǒng)轉(zhuǎn)移到下一個(gè)狀態(tài)的概率分布。

獎(jiǎng)勵(lì)分布（R）：定義了在給定當(dāng)前狀態(tài)和聯(lián)合動(dòng)作的情況下，智能體獲得的獎(jiǎng)勵(lì)分布。

初始狀態(tài)分布（ρ0）：表示系統(tǒng)初始狀態(tài)的概率分布。

折扣因子（γ）：用于折扣未來獎(jiǎng)勵(lì)的影響，取值范圍為(0, 1]。

在每個(gè)時(shí)間步t，智能體i根據(jù)其狀態(tài)選擇一個(gè)動(dòng)作，目標(biāo)是最大化整個(gè)團(tuán)隊(duì)的總回報(bào)，即所有智能體在所有時(shí)間步的獎(jiǎng)勵(lì)之和。這種合作行為的目標(biāo)要求智能體不僅要考慮自己的獎(jiǎng)勵(lì)，還要考慮其行為對(duì)其他智能體獎(jiǎng)勵(lì)的影響。

信用分配與策略梯度方差

在策略梯度算法中，優(yōu)勢(shì)函數(shù)用于衡量在特定狀態(tài)下選擇某個(gè)動(dòng)作比隨機(jī)選擇動(dòng)作更好的程度。優(yōu)勢(shì)函數(shù)通常定義為：

Aπ(s, a) = Qπ(s, a) - Vπ(s)

其中，Qπ(s, a)是狀態(tài)-動(dòng)作值函數(shù)，Vπ(s)是狀態(tài)值函數(shù)。優(yōu)勢(shì)函數(shù)的高方差會(huì)導(dǎo)致策略梯度估計(jì)的高方差，使得學(xué)習(xí)過程變得噪聲且不穩(wěn)定。

在多智能體設(shè)置中，單個(gè)智能體的策略梯度估計(jì)方差不僅取決于每個(gè)智能體的優(yōu)勢(shì)估計(jì)方差，還取決于智能體之間優(yōu)勢(shì)的協(xié)方差。通過消除不相關(guān)的優(yōu)勢(shì)項(xiàng)，可以減少方差，提高數(shù)據(jù)效率。因此，改進(jìn)信用分配策略，減少策略梯度估計(jì)的方差，是提高多智能體系統(tǒng)學(xué)習(xí)效率的關(guān)鍵。

近端策略優(yōu)化（PPO）

近端策略優(yōu)化（PPO）是一種改進(jìn)的策略梯度算法，通過允許在單個(gè)數(shù)據(jù)批次上進(jìn)行多次策略更新，提高了數(shù)據(jù)效率。PPO通過優(yōu)化一個(gè)“代理”目標(biāo)，懲罰與舊策略的過大偏離，從而避免策略過度偏離。具體來說，PPO在每次策略優(yōu)化步驟中，優(yōu)化以下目標(biāo)函數(shù)：

其中，r(θ)是更新后和舊策略的比率，A是優(yōu)勢(shì)估計(jì)。

PPO在多智能體問題上表現(xiàn)出色，但隨著團(tuán)隊(duì)規(guī)模的增加，策略梯度更新的方差也增加，需要更大的數(shù)據(jù)批次來達(dá)到滿意的信噪比。因此，盡管PPO提高了數(shù)據(jù)效率，但在處理大規(guī)模多智能體系統(tǒng)時(shí)，仍面臨高方差和數(shù)據(jù)需求的問題。

部分獎(jiǎng)勵(lì)解耦（PRD）

部分獎(jiǎng)勵(lì)解耦（PRD）是一種通過將大規(guī)模多智能體問題動(dòng)態(tài)分解為較小的子群體，改進(jìn)信用分配的方法。PRD利用注意力機(jī)制估計(jì)每個(gè)智能體的相關(guān)集，從而簡(jiǎn)化信用分配。具體來說，如果智能體i在某個(gè)時(shí)間步t對(duì)智能體j的注意力權(quán)重為零，則可以認(rèn)為智能體i不在智能體j的相關(guān)集中，從而可以忽略其對(duì)策略梯度的影響。

PRD最初應(yīng)用于Actor-Critic（AC）算法，通過減少無關(guān)智能體的貢獻(xiàn)，提高了數(shù)據(jù)效率。然而，PRD在AC算法中的應(yīng)用存在計(jì)算復(fù)雜度高和假設(shè)環(huán)境提供每個(gè)智能體的獎(jiǎng)勵(lì)流等局限性。論文提出的PRD-MAPPO通過將PRD整合到MAPPO中，改進(jìn)了相關(guān)集估計(jì)和優(yōu)勢(shì)函數(shù)計(jì)算，顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。

圖1:Q和價(jià)值函數(shù)網(wǎng)絡(luò)架構(gòu)。每個(gè)代理使用所有代理的狀態(tài)來計(jì)算除自身之外的每個(gè)代理的注意力權(quán)重。然后，這些注意力權(quán)重用于聚合除自身之外的所有主體的注意力值。最后，將代理i的聚合注意力值與代理i的嵌入式狀態(tài)動(dòng)作向量（如果網(wǎng)絡(luò)作為Q函數(shù)運(yùn)行）或代理i的嵌入狀態(tài)向量（如果該網(wǎng)絡(luò)作為值函數(shù)運(yùn)行）連接起來。最后，通過輸出網(wǎng)絡(luò)生成Q?i（s，a）或Vψi（s，a?=i）。

通過這些方法的改進(jìn)，PRD-MAPPO在多個(gè)多智能體任務(wù)中表現(xiàn)出色，展示了其在解決大規(guī)模合作任務(wù)中的潛力。

PRD-MAPPO算法

PRD-MAPPO的提出與改進(jìn)

PRD-MAPPO（部分獎(jiǎng)勵(lì)解耦的多智能體近端策略優(yōu)化）是通過將部分獎(jiǎng)勵(lì)解耦（PRD）機(jī)制整合到多智能體近端策略優(yōu)化（MAPPO）中提出的。PRD的核心思想是利用注意力機(jī)制來估計(jì)每個(gè)智能體的相關(guān)集，從而動(dòng)態(tài)地將大規(guī)模多智能體問題分解為較小的子群體。這種分解使得每個(gè)智能體只需關(guān)注與其相關(guān)的其他智能體，簡(jiǎn)化了信用分配問題。

在PRD-MAPPO中，每個(gè)智能體通過學(xué)習(xí)的Q函數(shù)來估計(jì)其相關(guān)集。具體來說，如果智能體i在某個(gè)時(shí)間步t對(duì)智能體j的注意力權(quán)重為零，則可以認(rèn)為智能體i不在智能體j的相關(guān)集中，從而可以忽略其對(duì)策略梯度的影響。為了提高計(jì)算效率，PRD-MAPPO引入了兩個(gè)獨(dú)立的評(píng)論家：一個(gè)用于相關(guān)集估計(jì)的Q函數(shù)，另一個(gè)用于優(yōu)勢(shì)函數(shù)估計(jì)的價(jià)值函數(shù)。通過這種方式，PRD-MAPPO將計(jì)算復(fù)雜度從二次方減少到線性，提高了數(shù)據(jù)效率。

PRD-MAPPO參數(shù)更新規(guī)則

PRD-MAPPO通過修改MAPPO的目標(biāo)函數(shù)，消除了不相關(guān)智能體的獎(jiǎng)勵(lì)項(xiàng)，從而減少了學(xué)習(xí)更新中的噪聲。具體來說，PRD-MAPPO的目標(biāo)函數(shù)為：

其中，Ai是智能體i的優(yōu)勢(shì)估計(jì)，忽略了不相關(guān)智能體的獎(jiǎng)勵(lì)項(xiàng)。

為了進(jìn)一步提高PRD-MAPPO的性能，論文提出了軟變體PRD-MAPPO-soft。該變體通過注意力權(quán)重重新加權(quán)智能體的獎(jiǎng)勵(lì)，而不是嚴(yán)格解耦。具體來說，軟變體的優(yōu)勢(shì)估計(jì)為：

其中，

通過這種方式，PRD-MAPPO-soft在實(shí)踐中表現(xiàn)出更高的性能。

共享獎(jiǎng)勵(lì)環(huán)境中的PRD

在某些多智能體系統(tǒng)中，環(huán)境只提供單一的共享獎(jiǎng)勵(lì)，而不是每個(gè)智能體的獨(dú)立獎(jiǎng)勵(lì)流。為了在這種環(huán)境中應(yīng)用PRD，論文提出了一種將共享回報(bào)分解為個(gè)體回報(bào)的方法。具體來說，首先訓(xùn)練一個(gè)共享Q函數(shù)來預(yù)測(cè)共享回報(bào)，然后使用注意力權(quán)重將共享回報(bào)分配給各個(gè)智能體。

在共享獎(jiǎng)勵(lì)環(huán)境中，PRD-MAPPO-shared通過將共享回報(bào)分解為個(gè)體回報(bào)，并應(yīng)用PRD-MAPPO進(jìn)行學(xué)習(xí)更新。具體來說，PRD-MAPPO-shared的優(yōu)勢(shì)估計(jì)為：

通過這種方式，PRD-MAPPO-shared能夠在共享獎(jiǎng)勵(lì)環(huán)境中有效地進(jìn)行信用分配，提高學(xué)習(xí)效率和穩(wěn)定性。

通過這些改進(jìn)，PRD-MAPPO在多個(gè)多智能體任務(wù)中表現(xiàn)出色，展示了其在解決大規(guī)模合作任務(wù)中的潛力。

實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證PRD-MAPPO的有效性，研究團(tuán)隊(duì)設(shè)計(jì)了一系列實(shí)驗(yàn)，比較了多種算法在不同多智能體強(qiáng)化學(xué)習(xí)（MARL）環(huán)境中的表現(xiàn)。

PRD-MAPPO：論文提出的結(jié)合部分獎(jiǎng)勵(lì)解耦（PRD）的多智能體近端策略優(yōu)化（MAPPO）。

PRD-MAPPO-soft：PRD-MAPPO的軟變體，通過注意力權(quán)重重新加權(quán)智能體的獎(jiǎng)勵(lì)。

PRD-MAPPO-shared：適用于共享獎(jiǎng)勵(lì)環(huán)境的PRD-MAPPO軟變體。

MAPPO：多智能體近端策略優(yōu)化算法，由Yu等人（2021）提出。

HAPPO：一種擴(kuò)展信任區(qū)域?qū)W習(xí)到合作多智能體強(qiáng)化學(xué)習(xí)的算法，由Kuba等人（2021）提出。

G2ANet-MAPPO：結(jié)合G2ANet風(fēng)格評(píng)論家的MAPPO，嘗試將G2ANet的信用分配優(yōu)勢(shì)引入MAPPO。

COMA：反事實(shí)多智能體策略梯度算法，由Foerster等人（2018）提出，通過反事實(shí)基線改進(jìn)信用分配。

PRD-V-MAPPO：使用基于價(jià)值函數(shù)的相關(guān)集估計(jì)方法的PRD-MAPPO，由Freed等人（2022）提出。

LICA：隱式信用分配方法，由Zhou等人（2020）提出，通過超網(wǎng)絡(luò)表示集中評(píng)論家。

QMix：聯(lián)合狀態(tài)-動(dòng)作值函數(shù)學(xué)習(xí)算法，由Rashid等人（2018）提出。

實(shí)驗(yàn)環(huán)境包括以下幾種典型的多智能體任務(wù)：

• 碰撞避免：智能體需要在避免碰撞的情況下到達(dá)指定目標(biāo)位置。
• 追捕：智能體需要合作追捕目標(biāo)。
• 壓力板：智能體需要合作按下壓力板以完成任務(wù)。
• 基于等級(jí)的覓食：智能體需要根據(jù)等級(jí)合作覓食。
• 星際爭(zhēng)霸多智能體挑戰(zhàn)（SMAClite）：包括5m_vs_6m、10m_vs_11m和3s5z戰(zhàn)斗場(chǎng)景。

實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)結(jié)果顯示，PRD-MAPPO、PRD-MAPPO-soft和PRD-MAPPO-shared在所有環(huán)境中表現(xiàn)出色，尤其是PRD-MAPPO-soft在大多數(shù)任務(wù)中表現(xiàn)最佳。具體來說，PRD-MAPPO-soft僅在壓力板環(huán)境中被QMix超越，其余任務(wù)中均優(yōu)于其他算法。PRD-MAPPO和PRD-MAPPO-shared也表現(xiàn)出色，整體上優(yōu)于MAPPO和其他先進(jìn)的多智能體強(qiáng)化學(xué)習(xí)算法。

圖2:PRD MAPPO soft、PRD-MAPPO、PRDV-MAPPO、COMA、LICA、QMix、MAPPO、MAPPO-G2ANet在A）團(tuán)隊(duì)避碰、B）追擊、C）壓力板、D）基于級(jí)別的覓食、E）星際爭(zhēng)霸5m_vs_6m、F）星際爭(zhēng)霸10m_vs_11m任務(wù)和G）星際爭(zhēng)霸3s5v上的平均獎(jiǎng)勵(lì)與劇集。實(shí)線表示5個(gè)隨機(jī)種子的平均值，陰影區(qū)域表示95%的置信區(qū)間。采用PRD的方法（PRD-MAPPO和PRD-MAPPO-soft）往往優(yōu)于所有其他方法，表明可以通過改善信貸分配來利用PRD來改善PPO。

為了深入了解相關(guān)集選擇過程，研究團(tuán)隊(duì)在碰撞避免任務(wù)中可視化了訓(xùn)練后的智能體的注意力權(quán)重。結(jié)果顯示，智能體主要對(duì)同隊(duì)智能體分配較高的注意力權(quán)重，而對(duì)其他隊(duì)的智能體分配的注意力權(quán)重接近于零。這驗(yàn)證了PRD機(jī)制在相關(guān)集選擇上的有效性。

為了驗(yàn)證部分獎(jiǎng)勵(lì)解耦減少策略梯度估計(jì)方差的效果，研究團(tuán)隊(duì)在訓(xùn)練過程中估計(jì)了MAPPO和PRD-MAPPO的梯度方差。結(jié)果表明，PRD-MAPPO在訓(xùn)練過程中顯著減少了梯度方差，避免了MAPPO中出現(xiàn)的劇烈波動(dòng)。這一結(jié)果進(jìn)一步證明了PRD-MAPPO在提高數(shù)據(jù)效率和學(xué)習(xí)穩(wěn)定性方面的優(yōu)勢(shì)。

通過這些實(shí)驗(yàn)結(jié)果，PRD-MAPPO展示了其在解決大規(guī)模合作任務(wù)中的潛力，顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。

相關(guān)工作

現(xiàn)有信用分配方法的綜述

在多智能體強(qiáng)化學(xué)習(xí)（MARL）中，信用分配問題是一個(gè)關(guān)鍵挑戰(zhàn)。為了應(yīng)對(duì)這一問題，研究人員提出了多種方法。

G2ANet：由Liu等人（2020）提出，G2ANet是一種基于注意力的游戲抽象機(jī)制，使評(píng)論家能夠更好地隔離重要的智能體交互，忽略不重要的交互。雖然G2ANet沒有像PRD那樣進(jìn)行顯式解耦，但它通過注意力機(jī)制改進(jìn)了信用分配。

COMA：反事實(shí)多智能體策略梯度（Counterfactual Multi-Agent Policy Gradient）算法由Foerster等人（2018）提出。COMA使用反事實(shí)基線，通過將單個(gè)智能體的動(dòng)作邊際化，同時(shí)保持其他智能體的動(dòng)作不變，來更精確地確定每個(gè)智能體的貢獻(xiàn)。COMA基于差異獎(jiǎng)勵(lì)的思想，使每個(gè)智能體使用修改后的獎(jiǎng)勵(lì)來比較共享獎(jiǎng)勵(lì)與反事實(shí)情境下的默認(rèn)動(dòng)作。

VDAC：價(jià)值分解Actor-Critic（Value-Decomposition Actor-Critics）方法由Su等人（2021）提出。VDAC使用價(jià)值分解網(wǎng)絡(luò)作為評(píng)論家，在Actor-Critic框架中進(jìn)行信用分配。該方法通過將聯(lián)合價(jià)值函數(shù)分解為每個(gè)智能體的價(jià)值函數(shù)，提高了信用分配的效率。

LICA：由Zhou等人（2020）提出，LICA是一種隱式信用分配方法。LICA通過將集中評(píng)論家表示為超網(wǎng)絡(luò)，并在聯(lián)合動(dòng)作值梯度的方向上優(yōu)化策略，從而隱式地解決了信用分配問題。LICA通過引入額外的潛在狀態(tài)表示，提供了足夠的信息來學(xué)習(xí)最優(yōu)的合作行為。

QMix：由Rashid等人（2018）提出，QMix學(xué)習(xí)一個(gè)聯(lián)合狀態(tài)-動(dòng)作值函數(shù)，該函數(shù)表示為每個(gè)智能體價(jià)值函數(shù)的復(fù)雜非線性組合。聯(lián)合價(jià)值函數(shù)在結(jié)構(gòu)上保證了單個(gè)智能體價(jià)值的單調(diào)性，使智能體能夠通過貪婪地選擇最佳動(dòng)作來最大化聯(lián)合價(jià)值函數(shù)。

圖3：防撞環(huán)境中的相關(guān)集合可視化。我們將每個(gè)代理分配給其他代理的平均注意力權(quán)重可視化，平均值為5000個(gè)獨(dú)立事件。因?yàn)榇砜偸墙o自己分配1的注意力權(quán)重，所以我們從圖中刪除了這些元素，因?yàn)樗鼈儧]有信息。我們注意到，與其他團(tuán)隊(duì)的代理人相比，代理人通常會(huì)給團(tuán)隊(duì)中的代理人分配更高的注意力權(quán)重，這是意料之中的，因?yàn)橹挥写砣说年?duì)友才能影響其獎(jiǎng)勵(lì)。

PRD-MAPPO與現(xiàn)有方法的比較

PRD-MAPPO通過將部分獎(jiǎng)勵(lì)解耦（PRD）機(jī)制整合到多智能體近端策略優(yōu)化（MAPPO）中，提出了一種新的信用分配策略。與現(xiàn)有方法相比，PRD-MAPPO具有以下優(yōu)勢(shì)：

• 顯式解耦：與G2ANet不同，PRD-MAPPO通過顯式解耦無關(guān)智能體的貢獻(xiàn)，減少了策略梯度估計(jì)的方差，提高了數(shù)據(jù)效率和學(xué)習(xí)穩(wěn)定性。
• 改進(jìn)的反事實(shí)基線：雖然COMA使用反事實(shí)基線來改進(jìn)信用分配，但PRD-MAPPO通過注意力機(jī)制動(dòng)態(tài)估計(jì)相關(guān)集，進(jìn)一步簡(jiǎn)化了信用分配問題。
• 計(jì)算效率：PRD-MAPPO通過引入兩個(gè)獨(dú)立的評(píng)論家（Q函數(shù)和價(jià)值函數(shù)），將計(jì)算復(fù)雜度從二次方減少到線性，提高了計(jì)算效率。
• 適用于共享獎(jiǎng)勵(lì)環(huán)境：PRD-MAPPO-shared通過將共享回報(bào)分解為個(gè)體回報(bào)，擴(kuò)展了PRD的適用范圍，使其能夠在共享獎(jiǎng)勵(lì)環(huán)境中有效應(yīng)用。
• 軟變體的提出：PRD-MAPPO-soft通過注意力權(quán)重重新加權(quán)智能體的獎(jiǎng)勵(lì)，而不是嚴(yán)格解耦，在實(shí)踐中表現(xiàn)出更高的性能。

圖4：團(tuán)隊(duì)避碰、壓力板和LBF環(huán)境的梯度估計(jì)器方差與事件。實(shí)線表示5個(gè)隨機(jī)種子的平均值，陰影區(qū)域表示95%的置信區(qū)間。PRD-MAPPO傾向于避免MAPPO所表現(xiàn)出的梯度方差的急劇峰值。

PRD-MAPPO在多個(gè)多智能體任務(wù)中表現(xiàn)出色，展示了其在解決大規(guī)模合作任務(wù)中的潛力。通過顯式解耦和改進(jìn)的信用分配策略，PRD-MAPPO顯著提高了多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性，優(yōu)于現(xiàn)有的多智能體強(qiáng)化學(xué)習(xí)算法。

局限性與未來工作

PRD-MAPPO的局限性

盡管PRD-MAPPO在多個(gè)多智能體任務(wù)中表現(xiàn)出色，但它仍然存在一些局限性：

PRD-MAPPO并不能在所有環(huán)境中加速學(xué)習(xí)。在某些任務(wù)中，智能體之間的交互過于復(fù)雜或密集，使得PRD的解耦效果有限。例如，在交通路口實(shí)驗(yàn)中，由于智能體之間的交互過于密集，PRD的效果可能僅有部分提升。這表明，PRD-MAPPO在處理高度復(fù)雜和密集交互的任務(wù)時(shí)，可能無法顯著提高學(xué)習(xí)效率。

在某些任務(wù)中，每個(gè)智能體的相關(guān)集可能包含大多數(shù)或所有其他智能體，這使得PRD的解耦策略難以發(fā)揮作用。當(dāng)智能體之間的交互非常密集時(shí)，PRD-MAPPO的優(yōu)勢(shì)會(huì)被削弱，因?yàn)閹缀跛兄悄荏w的行為都對(duì)其他智能體的獎(jiǎng)勵(lì)產(chǎn)生影響。在這種情況下，PRD-MAPPO的計(jì)算復(fù)雜度和數(shù)據(jù)需求可能會(huì)顯著增加，影響其性能。

未來研究方向

為了進(jìn)一步提高PRD-MAPPO的適用性和性能，未來的研究可以從以下幾個(gè)方向展開。

未來的研究可以探索如何改進(jìn)PRD-MAPPO，使其在更多類型的任務(wù)中表現(xiàn)出色。例如，可以研究更先進(jìn)的注意力機(jī)制或相關(guān)集估計(jì)方法，以更好地處理密集交互的任務(wù)。此外，可以探索如何動(dòng)態(tài)調(diào)整PRD的解耦策略，使其能夠適應(yīng)不同任務(wù)的需求，從而提高其通用性和適應(yīng)性。

除了PRD，未來的研究還可以探索其他新的信用分配策略，以進(jìn)一步提高多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性。例如，可以研究基于圖神經(jīng)網(wǎng)絡(luò)的信用分配方法，通過捕捉智能體之間的復(fù)雜關(guān)系來改進(jìn)信用分配。此外，可以探索結(jié)合多種信用分配策略的混合方法，以充分利用不同策略的優(yōu)勢(shì)，解決不同類型的任務(wù)。

未來的研究還可以將PRD-MAPPO應(yīng)用于更多實(shí)際場(chǎng)景，如自動(dòng)駕駛、機(jī)器人協(xié)作和智能電網(wǎng)等。這些實(shí)際應(yīng)用場(chǎng)景通常具有高度復(fù)雜和動(dòng)態(tài)的環(huán)境，對(duì)多智能體系統(tǒng)的學(xué)習(xí)效率和穩(wěn)定性提出了更高的要求。通過在實(shí)際場(chǎng)景中驗(yàn)證和改進(jìn)PRD-MAPPO，可以進(jìn)一步提升其實(shí)用性和影響力。

通過這些研究方向的探索，PRD-MAPPO有望在更多類型的任務(wù)和實(shí)際應(yīng)用中發(fā)揮重要作用，進(jìn)一步推動(dòng)多智能體強(qiáng)化學(xué)習(xí)的發(fā)展。（END）

參考資料：https://arxiv.org/pdf/2408.04295

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS