「多體問題」（又叫 N 體問題）是看似簡單，實際上在當(dāng)今數(shù)學(xué)中極難攻克的問題。多體問題是指多個相互作用的實體。在物理學(xué)中，任何三體問題都沒有一個封閉的形式或解析解（見：https://en.wikipedia.org/wiki/Three-body_problem）。像這樣簡單的問題反映了我們分析工具的局限性。這并不意味著它是不可解的，它只意味著我們必須訴諸于近似和數(shù)值技術(shù)來進(jìn)行計算?？梢杂米銐蚓_的數(shù)值計算分析太陽、月球和地球之間的三體問題以幫助宇航員登陸月球。

在深度學(xué)習(xí)領(lǐng)域，我們也有一個新興的 N 體問題。許多更先進(jìn)的系統(tǒng)現(xiàn)在正在處理多代理系統(tǒng)的問題。每個代理都可能有與全局目標(biāo)合作或競爭的目標(biāo)（即目標(biāo)函數(shù)）。在多代理深度學(xué)習(xí)系統(tǒng)中，甚至在模塊化的深度學(xué)習(xí)系統(tǒng)中，研究人員需要設(shè)計可擴(kuò)展的合作方法。

Johannes Kepler 大學(xué)、DeepMind、OpenAI 和 Facebook 最近紛紛發(fā)表論文探討了這個問題的各個方面。

在 Johannes Kepler 大學(xué)的團(tuán)隊，包括 Sepp Hochreiter（LSTM 的提出者）已提出利用模擬庫侖力（即電磁力大小與反向距離的平方成比例）作為一種訓(xùn)練生成對抗網(wǎng)絡(luò)（GAN）的替代目標(biāo)函數(shù)。

找到兩個對抗網(wǎng)絡(luò)之間的平衡狀態(tài)是一個熱門的研究課題。在深度學(xué)習(xí)中解決二體問題相當(dāng)困難。研究發(fā)現(xiàn)，使用這種方法可以防止「模式崩潰」的不良情況。此外，設(shè)置確保收斂到一個***的解決方案，而且只有一個恰好也是全局的局部極小值。Wasserstein 目標(biāo)函數(shù)（又名 Earth Mover Distance）可能是一個更好的解決方案，這在幾個月前極其熱門。這個團(tuán)隊已經(jīng)把他們的創(chuàng)造命名為「庫侖 GAN」。

微軟 Maluuba 發(fā)表了一篇論文介紹了一個人工智能玩吃豆人游戲的系統(tǒng)，它的水平已經(jīng)超過了人類。研究人員挑戰(zhàn)的吃豆人游戲跟此類游戲最初的版本類似，人物在收集小球和水果的同時避免怪物。論文的題目是「強(qiáng)化學(xué)習(xí)的混合式獎勵架構(gòu)」。本文介紹了不同于典型的強(qiáng)化結(jié)構(gòu)的強(qiáng)化學(xué)習(xí)（RL）的實現(xiàn)（即 HRA）：

這篇文章令人驚訝的是所使用的目標(biāo)函數(shù)的數(shù)量。本文描述了使用 1800 值函數(shù)作為其解決方案的一部分，也就是說，每個小球、每個水果和每個怪物都使用了代理。微軟的研究表明使用數(shù)以千計的微型代理將問題分解成子問題并實際解決它是有效的！在這個模型中，代理之間的耦合顯然是隱式的。

DeepMind 解了具有共享內(nèi)存的多代理程序的問題。在論文《Distral: Robust Multitask Reinforcement Learning》中，研究人員通過「思想融合」靈感的代理協(xié)調(diào)方法來解決一個共同的問題。為此，研究人員采用了一種封裝每個代理的方法。然而，它們允許一些信息通過代理的封裝邊界，希望狹窄的通道更具伸縮性和魯棒性。

我們提出了多任務(wù)聯(lián)合訓(xùn)練的新方法，我們稱之為 distral（提取和遷移學(xué)習(xí)）。我們不建議在不同的網(wǎng)絡(luò)之間共享參數(shù)，而是共享一個「提取」的策略，以捕獲跨任務(wù)的共同行為。每個網(wǎng)絡(luò)都被訓(xùn)練用來解決自己的任務(wù)，同時受限于近似共享的策略，而共享策略通過提取訓(xùn)練成為所有任務(wù)策略的中心。

其結(jié)果引出了更快，更穩(wěn)定的學(xué)習(xí)，從而驗證了狹窄通道的方法。在這些多代理（N 體問題）開放性問題是這種耦合的本質(zhì)。DeepMind 的論文表明了更低的耦合相對于原生的緊耦合的方法的有效性（即權(quán)重共享）。

OpenAI 最近發(fā)表了在他們的系統(tǒng)中訓(xùn)練模型匹配其他代理的多系統(tǒng)的有趣的論文。論文題目為《Learning with Opponent-Learning Awareness》。該論文表明，「以牙還牙」戰(zhàn)略的出現(xiàn)源自賦予多代理系統(tǒng)社會意識能力。盡管結(jié)果具有彈性問題，但它確實是一種非常令人著迷的方法，因為它解決了人工智能的一個關(guān)鍵維度（參見：多維智能）。

總而言之，許多領(lǐng)先的深度學(xué)習(xí)研究機(jī)構(gòu)正在積極探索模塊化深度學(xué)習(xí)。這些團(tuán)體正在探索由不同的對象函數(shù)組成的多代理系統(tǒng)，所有這些都用于合作解決單一的全局目標(biāo)函數(shù)的。仍然有許多問題需要解決，但顯然，這種做法確實非常有希望取得進(jìn)展。去年，我發(fā)現(xiàn)博弈論的變化對未來進(jìn)步***指導(dǎo)意義。在今年，我們將看到更多探索多代理系統(tǒng)的松散耦合嘗試。