麻省理工的 Chengtao Li 等研究人員最近提出了新型的分布式對抗網(wǎng)絡。與傳統(tǒng)的單點采樣的 GAN 方法不同，分布式對抗網(wǎng)絡是對真實的樣本進行操作。他們的實驗也證明了這種結構的對抗網(wǎng)絡更加穩(wěn)定，并且可以更好地完成模態(tài)復原。

論文地址：https://arxiv.org/pdf/1706.09549.pdf

摘要：我們提出了一種用于對抗式訓練的框架，它依賴于一個樣本，而不是像判別過程中的基本單元那樣依靠于一個單一采樣點。受到概率分布間的差異測量(discrepancy measures)和二組樣本測試(twosample tests)的啟發(fā)，我們提出了兩個這樣的分布式對抗，可以對樣本進行操作和預測，并且展示了它們是怎樣輕易地在現(xiàn)存模型之上被實施的。很多實驗結果都表明用我們的分布式對抗進行訓練的生成器是更加穩(wěn)定的，而且與用點態(tài)預測判別器訓練的傳統(tǒng)模型相比，它不容易遭受模型失效(mode collapse)的風險。這一框架在領域適應(domain adaptation)當中的應用與當前的***結果相比也有著相當可觀的提升。

圖 1： 用樣本設置來解釋***似然下采樣點判別器的模型失效(mode-collapse)行為的直覺力(intuition)。關于生成點 x 的梯度是由 -1/D (dD/dx) 進行加權，所以靠近第二種類型的點的梯度將由那些***種類型的點的梯度來控制。

圖 2：DAN-S 和 DAN-2S 模型及其相應損失，其中

圖 3：8 個高斯混合函數(shù)生成數(shù)據(jù)的模態(tài)復原結果。最右側的分布是真實的數(shù)據(jù)分布。當用 GAN 訓練生成器的時候僅能夠捕獲 8 個模態(tài)中的 1 個，然而在使用 DAN-S 和 DAN-2S 進行訓練的情況下，我們能夠復原所有的 8 種模態(tài)。

圖 4：在 MNIST 上用不同模型生成的樣本的類分布。要注意的是我們展示的是 GAN，RegGAN 和 EBGAN 10 個隨機序列中的***的一個，我們根據(jù)分布熵(distribution entropy)給了它們一個不公平的優(yōu)勢。對于 DAN，我們只是簡單地展示了一個隨機序列。RegGAN 和 EBGN 中的***的序列在某種程度上也復原了模態(tài)頻率，但是它們在不同序列下的性能表現(xiàn)卻相差很遠，詳見圖 5。

圖 5：2 種不同措施下的模態(tài)頻率復原的表現(xiàn)：生成的模態(tài)分布的熵，和生成模態(tài)分布和標準模態(tài)分布的整體偏差距離。DAN 完成了***的而且最穩(wěn)定的模態(tài)頻率復原。

圖 6：在 CelebA 數(shù)據(jù)集中用 DCGAN，DANS 和 DAN-2S 訓練生成的人臉。

【本文是51CTO專欄機構“機器之心”的原創(chuàng)譯文，微信公眾號“機器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文