一、概述

生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks)是一種無監(jiān)督深度學(xué)習(xí)模型，用來通過計(jì)算機(jī)生成數(shù)據(jù)，由Ian J. Goodfellow等人于2014年提出。模型通過框架中(至少)兩個(gè)模塊：生成模型(Generative Model)和判別模型(Discriminative Model)的互相博弈學(xué)習(xí)產(chǎn)生相當(dāng)好的輸出。生成對(duì)抗網(wǎng)絡(luò)被認(rèn)為是當(dāng)前最具前景、最具活躍度的模型之一，目前主要應(yīng)用于樣本數(shù)據(jù)生成、圖像生成、圖像修復(fù)、圖像轉(zhuǎn)換、文本生成等方向。

GAN這種全新的技術(shù)在生成方向上帶給了人工智能領(lǐng)域全新的突破。在之后的幾年中生GAN成為深度學(xué)習(xí)領(lǐng)域中的研究熱點(diǎn)，近幾年與GAN有關(guān)的論文數(shù)量也急速上升，目前數(shù)量仍然在持續(xù)增加中。

GAN論文數(shù)量增長示意圖

2018年，對(duì)抗式神經(jīng)網(wǎng)絡(luò)的思想被《麻省理工科技評(píng)論》評(píng)選為2018年“全球十大突破性技術(shù)”(10 Breakthrough Technologies)之一。 Yann LeCun(“深度學(xué)習(xí)三巨頭”之一，紐約大學(xué)教授，前Facebook首席人工智能科學(xué)家)稱贊生成對(duì)抗網(wǎng)絡(luò)是“過去20年中深度學(xué)習(xí)領(lǐng)域最酷的思想”，而在國內(nèi)被大家熟知的前百度首席科學(xué)家Andrew Ng也把生成對(duì)抗網(wǎng)絡(luò)看作“深度學(xué)習(xí)領(lǐng)域中一項(xiàng)非常重大的進(jìn)步”。

二、GAN基本原理

1. 構(gòu)成

GAN由兩個(gè)重要的部分構(gòu)成：生成器(Generator，簡寫作G)和判別器(Discriminator，簡寫作D)。

生成器：通過機(jī)器生成數(shù)據(jù)，目的是盡可能“騙過”判別器，生成的數(shù)據(jù)記做G(z)；

判別器：判斷數(shù)據(jù)是真實(shí)數(shù)據(jù)還是「生成器」生成的數(shù)據(jù)，目的是盡可能找出「生成器」造的“假數(shù)據(jù)”。它的輸入?yún)?shù)是x，x代表數(shù)據(jù)，輸出D(x)代表x為真實(shí)數(shù)據(jù)的概率，如果為1，就代表100%是真實(shí)的數(shù)據(jù)，而輸出為0，就代表不可能是真實(shí)的數(shù)據(jù)。

這樣，G和D構(gòu)成了一個(gè)動(dòng)態(tài)對(duì)抗(或博弈過程)，隨著訓(xùn)練(對(duì)抗)的進(jìn)行，G生成的數(shù)據(jù)越來越接近真實(shí)數(shù)據(jù)，D鑒別數(shù)據(jù)的水平越來越高。在理想的狀態(tài)下，G可以生成足以“以假亂真”的數(shù)據(jù)；而對(duì)于D來說，它難以判定生成器生成的數(shù)據(jù)究竟是不是真實(shí)的，因此D(G(z)) = 0.5。訓(xùn)練完成后，我們得到了一個(gè)生成模型G，它可以用來生成以假亂真的數(shù)據(jù)。

GAN示意圖

2. 訓(xùn)練過程

第一階段：固定「判別器D」，訓(xùn)練「生成器G」。使用一個(gè)性能不錯(cuò)的判別器，G不斷生成“假數(shù)據(jù)”，然后給這個(gè)D去判斷。開始時(shí)候，G還很弱，所以很容易被判別出來。但隨著訓(xùn)練不斷進(jìn)行，G技能不斷提升，最終騙過了D。這個(gè)時(shí)候，D基本屬于“瞎猜”的狀態(tài)，判斷是否為假數(shù)據(jù)的概率為50%。

第二階段：固定「生成器G」，訓(xùn)練「判別器D」。當(dāng)通過了第一階段，繼續(xù)訓(xùn)練G就沒有意義了。這時(shí)候我們固定G，然后開始訓(xùn)練D。通過不斷訓(xùn)練，D提高了自己的鑒別能力，最終他可以準(zhǔn)確判斷出假數(shù)據(jù)。

重復(fù)第一階段、第二階段。通過不斷的循環(huán)，「生成器G」和「判別器D」的能力都越來越強(qiáng)。最終我們得到了一個(gè)效果非常好的「生成器G」，就可以用它來生成數(shù)據(jù)。

3. GAN的優(yōu)缺點(diǎn)

1)優(yōu)點(diǎn)

能更好建模數(shù)據(jù)分布(圖像更銳利、清晰)；

理論上，GANs 能訓(xùn)練任何一種生成器網(wǎng)絡(luò)。其他的框架需要生成器網(wǎng)絡(luò)有一些特定的函數(shù)形式，比如輸出層是高斯的；

無需利用馬爾科夫鏈反復(fù)采樣，無需在學(xué)習(xí)過程中進(jìn)行推斷，沒有復(fù)雜的變分下界，避開近似計(jì)算棘手的概率的難題。

2)缺點(diǎn)

模型難以收斂，不穩(wěn)定。生成器和判別器之間需要很好的同步，但是在實(shí)際訓(xùn)練中很容易D收斂，G發(fā)散。D/G 的訓(xùn)練需要精心的設(shè)計(jì)。

模式缺失(Mode Collapse)問題。GANs的學(xué)習(xí)過程可能出現(xiàn)模式缺失，生成器開始退化，總是生成同樣的樣本點(diǎn)，無法繼續(xù)學(xué)習(xí)。

4. GAN的應(yīng)用

1)生成數(shù)據(jù)集

人工智能的訓(xùn)練是需要大量的數(shù)據(jù)集，可以通過GAN自動(dòng)生成低成本的數(shù)據(jù)集。

2)人臉生成

3)物品生成

4)圖像轉(zhuǎn)換

5)圖像修復(fù)

三、GAN的數(shù)學(xué)原理

1.GAN的數(shù)學(xué)推導(dǎo)

生成模型會(huì)從一個(gè)輸入空間將數(shù)據(jù)映射到生成空間(即通過輸入數(shù)據(jù)，在函數(shù)作用下生成輸出數(shù)據(jù))，寫成公式的形式是x=G(z)。通常，輸入z會(huì)滿足一個(gè)簡單形式的隨機(jī)分布(比如高斯分布或者均勻分布等)，為了使得生成的數(shù)據(jù)分布能夠盡可能地逼近真實(shí)數(shù)據(jù)分布，生成函數(shù)G會(huì)是一個(gè)神經(jīng)網(wǎng)絡(luò)的形式，通過神經(jīng)網(wǎng)絡(luò)可以模擬出各種完全不同的分布類型。

以下是生成對(duì)抗網(wǎng)絡(luò)中的代價(jià)函數(shù)，以判別器D為例，代價(jià)函數(shù)寫作J(D)J^{(D)}J(D)，形式如下所示:

其中，E表示期望概率，x～Pdatax \sim P_{data}x～Pdata表示x滿足PdataP_{data}Pdata分布。

對(duì)于生成器來說它與判別器是緊密相關(guān)的，我們可以把兩者看作一個(gè)零和博弈，它們的代價(jià)綜合應(yīng)該是零，所以生成器的代價(jià)函數(shù)應(yīng)滿足如下等式：

J(G)=?J(D)J^{(G)} = -J^{(D)} J(G)=?J(D)

這樣一來，我們可以設(shè)置一個(gè)價(jià)值函數(shù)V來表示J(G)J^{(G)}J(G)和J(D)J^{(D)}J(D)：

我們現(xiàn)在把問題變成了需要尋找一個(gè)合適的V(θ(D)，θ(G))V(θ^{(D)}，θ^{(G)})V(θ(D)，θ(G))使得J(G)J^{(G)}J(G)和J(D)J^{(D)}J(D)都盡可能小，也就是說對(duì)于判別器而言越大越V(θ(D)，θ(G))V(θ^{(D)}，θ^{(G)})V(θ(D)，θ(G))好，而對(duì)于生成器來說則是越小越好V(θ(D)，θ(G))V(θ^{(D)}，θ^{(G)})V(θ(D)，θ(G))，從而形成了兩者之間的博弈關(guān)系。

在博弈論中，博弈雙方的決策組合會(huì)形成一個(gè)納什平衡點(diǎn)(Nash equilibrium)，在這個(gè)博弈平衡點(diǎn)下博弈中的任何一方將無法通過自身的行為而增加自己的收益。在生成對(duì)抗網(wǎng)絡(luò)中，我們要計(jì)算的納什平衡點(diǎn)正是要尋找一個(gè)生成器G與判別器D使得各自的代價(jià)函數(shù)最小，從上面的推導(dǎo)中也可以得出我們希望找到一個(gè)V(θ(D)，θ(G))V(θ^{(D)}，θ^{(G)})V(θ(D)，θ(G))對(duì)于生成器來說最小而對(duì)判別器來說最大，我們可以把它定義成一個(gè)尋找極大極小值的問題，公式如下所示：

我們可以用圖形化的方法理解一下這個(gè)極大極小值的概念，一個(gè)很好的例子就是鞍點(diǎn)(saddle point)，如下圖所示，即在一個(gè)方向是函數(shù)的極大值點(diǎn)，而在另一個(gè)方向是函數(shù)的極小值點(diǎn)。

在上面公式的基礎(chǔ)上，我們可以分別求出理想的判別器D*和生成器G*：

下面我們先來看一下如何求出理想的判別器，對(duì)于上述的D*，我們假定生成器G是固定的，令式子中的G(z)=x。推導(dǎo)如下：

我們現(xiàn)在的目標(biāo)是希望尋找一個(gè)D使得V最大，我們希望對(duì)于積分中的項(xiàng)f(x)=pdata(x)logD(x)＋pg(x)log(1?D(x))f(x)=p_{data}(x)logD(x)＋p_g(x)log(1-D(x))f(x)=pdata(x)logD(x)＋pg(x)log(1?D(x))，無論x取何值都能最大。其中，我們已知pdatap_datapdata是固定的，之前我們也假定生成器G固定，所以pgp_gpg也是固定的，所以我們可以很容易地求出D以使得f(x)最大。我們假設(shè)x固定，f(x)對(duì)D(x)求導(dǎo)等于零，下面是求解D(x)的推導(dǎo)。

可以看出它是一個(gè)范圍在0到1的值，這也符合我們判別器的模式，理想的判別器在接收到真實(shí)數(shù)據(jù)時(shí)應(yīng)該判斷為1，而對(duì)于生成數(shù)據(jù)則應(yīng)該判斷為0，當(dāng)生成數(shù)據(jù)分布與真實(shí)數(shù)據(jù)分布非常接近的時(shí)候，應(yīng)該輸出的結(jié)果為1/2.

找到了D*之后，我們?cè)賮硗茖?dǎo)一下生成器G*?，F(xiàn)在先把D*(x)代入前面的積分式子中重新表示：

到了這一步，我們需要先介紹一個(gè)定義——Jensen–Shannon散度，我們這里簡稱JS散度。在概率統(tǒng)計(jì)中，JS散度也與前面提到的KL散度一樣具備了測(cè)量兩個(gè)概率分布相似程度的能力，它的計(jì)算方法基于KL散度，繼承了KL散度的非負(fù)性等，但有一點(diǎn)重要的不同，JS散度具備了對(duì)稱性。JS散度的公式如下，我們還是以P和Q作為例子，另外我們?cè)O(shè)定M=12(P+Q)M=\frac{1}{2}(P+Q)M=21(P+Q)，KL為KL散度公式。

對(duì)于上面的MaxV(G,D)MaxV(G,D)MaxV(G,D)，由于JS散度是非負(fù)的，當(dāng)且僅當(dāng)pdata=pgp_{data}=p_gpdata=pg的時(shí)候，上式可以取得全局最小值?log(4)-log(4)?log(4)。所以我們要求的最優(yōu)生成器G*，正是要使得G*的分布pg=pdatap_g=p_{data}pg=pdata.

2. GAN的可視化理解

下面我們用一個(gè)可視化概率分布的例子來更深入地認(rèn)識(shí)一下生成對(duì)抗網(wǎng)絡(luò)。Ian Goodfellow的論中給出了這樣一個(gè)GAN的可視化實(shí)現(xiàn)的例子：下圖中的點(diǎn)線為真實(shí)數(shù)據(jù)分布，曲線為生成數(shù)據(jù)樣本，生成對(duì)抗網(wǎng)絡(luò)在這個(gè)例子中的目標(biāo)在于，讓曲線(也就是生成數(shù)據(jù)的分布)逐漸逼近點(diǎn)線(代表的真實(shí)數(shù)據(jù)分布)。

虛線為生成對(duì)抗網(wǎng)絡(luò)中的判別器，它被賦予了初步區(qū)分真實(shí)數(shù)據(jù)與生成數(shù)據(jù)的能力，并對(duì)于它的劃分性能加上一定的白噪聲，使得模擬環(huán)境更為真實(shí)。輸入域?yàn)閦(圖中下方的直線)在這個(gè)例子里默認(rèn)為一個(gè)均勻分布的數(shù)據(jù)，生成域?yàn)閤(圖中上方的直線)為不均勻分布數(shù)據(jù)，通過生成函數(shù)x=G(z)形成一個(gè)映射關(guān)系，如圖中的那些箭頭所示，將均勻分布的數(shù)據(jù)映射成非均勻數(shù)據(jù)。

從a到d的四張圖可以展現(xiàn)整個(gè)生成對(duì)抗網(wǎng)絡(luò)的運(yùn)作過程。在a圖中，可以說是一種初始的狀態(tài)，生成數(shù)據(jù)與真實(shí)數(shù)據(jù)還有比較大的差距，判別器具備初步劃分是否為真實(shí)數(shù)據(jù)的能力，但是由于存在噪聲，效果仍有缺陷。b圖中，通過使用兩類標(biāo)簽數(shù)據(jù)對(duì)于判別器的訓(xùn)練，判別器D開始逐漸向一個(gè)比較完善的方向收斂，最終呈現(xiàn)出圖中的結(jié)果。當(dāng)判別器逐漸完美后，我們開始迭代生成器G，如圖c所示。通過判別器D的倒數(shù)梯度方向作為指導(dǎo)，我們讓生成數(shù)據(jù)向真實(shí)數(shù)據(jù)的分布方向移動(dòng)，讓生成數(shù)據(jù)更容易被判別器判斷為真實(shí)數(shù)據(jù)。在反復(fù)的一系列上述訓(xùn)練過程后，生成器與判別器會(huì)進(jìn)入圖d的最終狀態(tài)，此時(shí)pgp_gpg會(huì)非常逼近甚至完全等于pdatap_{data}pdata，當(dāng)達(dá)到理想的pg=pdatap_g=p_{data}pg=pdata的時(shí)候，D與G都已經(jīng)無法再更進(jìn)一步優(yōu)化了，此時(shí)G生成的數(shù)據(jù)已經(jīng)達(dá)到了我們期望的目的，能夠完全模擬出真實(shí)數(shù)據(jù)的分布，而D在這個(gè)狀態(tài)下已經(jīng)無法分辨兩種數(shù)據(jù)分布(因?yàn)樗鼈兺耆嗤?，此時(shí)D(x)=12D(x)=\frac{1}{2}D(x)=21.

四、DCGAN

1. 概述

DCGAN的創(chuàng)始論文《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》(基于深層卷積生成對(duì)抗網(wǎng)絡(luò)的無監(jiān)督表示學(xué)習(xí))發(fā)表于2015年，文章在GAN的基礎(chǔ)之上提出了全新的DCGAN架構(gòu)，該網(wǎng)絡(luò)在訓(xùn)練過程中狀態(tài)穩(wěn)定，并可以有效實(shí)現(xiàn)高質(zhì)量的圖片生成及相關(guān)的生成模型應(yīng)用。由于其具有非常強(qiáng)的實(shí)用性，在它之后的大量GAN模型都是基于DCGAN進(jìn)行的改良版本。為了使得GAN能夠很好地適應(yīng)于卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，DCGAN提出了四點(diǎn)架構(gòu)設(shè)計(jì)規(guī)則，分別是：

使用卷積層替代池化層。首先第一點(diǎn)是把傳統(tǒng)卷積網(wǎng)絡(luò)中的池化層全部去除，使用卷積層代替。對(duì)于判別器，我們使用步長卷積(strided convolution)來代替池化層；對(duì)于生成器，我們使用分?jǐn)?shù)步長卷積(fractional-strided convolutions)來代替池化層。

去除全連接層。目前的研究趨勢(shì)中我們會(huì)發(fā)現(xiàn)非常多的研究都在試圖去除全連接層，常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)往往會(huì)在卷積層后添加全連接層用以輸出最終向量，但我們知道全連接層的缺點(diǎn)在于參數(shù)過多，當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)深了以后運(yùn)算速度會(huì)變得非常慢，此外全連接層也會(huì)使得網(wǎng)絡(luò)容易過度擬合。有研究使用了全局平均池化(global average pooling)來替代全連接層，可以使得模型更穩(wěn)定，但也影響了收斂速度。論文中說的一種折中方案是將生成器的隨機(jī)輸入直接與卷積層特征輸入進(jìn)行連接，同樣地對(duì)于判別器的輸出層也是與卷積層的輸出特征連接，具體的操作會(huì)在后面的框架結(jié)構(gòu)介紹中說明。

使用批歸一化(batch normalization)。由于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)很多，每一層都會(huì)使得輸出數(shù)據(jù)的分布發(fā)生變化，隨著層數(shù)的增加網(wǎng)絡(luò)的整體偏差會(huì)越來越大。批歸一化的目標(biāo)則是為了解決這一問題，通過對(duì)每一層的輸入進(jìn)行歸一化處理，能夠有效使得數(shù)據(jù)服從某個(gè)固定的數(shù)據(jù)分布。

使用恰當(dāng)?shù)募せ詈瘮?shù)。在DCGAN網(wǎng)絡(luò)框架中，生成器和判別器使用了不同的激活函數(shù)來設(shè)計(jì)。生成器中使用ReLU函數(shù)，但對(duì)于輸出層使用了Tanh激活函數(shù)，因?yàn)檠芯空邆冊(cè)趯?shí)驗(yàn)中觀察到使用有邊界的激活函數(shù)可以讓模型更快地進(jìn)行學(xué)習(xí)，并能快速覆蓋色彩空間。而在判別器中對(duì)所有層均使用LeakyReLU，在實(shí)際使用中尤其適用于高分辨率的圖像判別模型。這些激活函數(shù)的選擇是研究者在多次實(shí)驗(yàn)測(cè)試中得出的結(jié)論，可以有效使得DCGAN得到最優(yōu)的結(jié)果。

2. 網(wǎng)絡(luò)結(jié)構(gòu)

下圖是DCGAN生成器G的架構(gòu)圖，輸入數(shù)據(jù)為100維的隨機(jī)數(shù)據(jù)z，服從范圍在[-1，1]的均勻分布，經(jīng)過一系列分?jǐn)?shù)步長卷積后，最后形成一幅64×64×3的RGB圖片，與訓(xùn)練圖片大小一致。

對(duì)于判別器D的架構(gòu)，基本是生成器G的反向操作，如下圖所示。輸入層為64×64×3的圖像數(shù)據(jù)，經(jīng)過一系列卷積層降低數(shù)據(jù)的維度，最終輸出的是一個(gè)二分類數(shù)據(jù)。

3. 訓(xùn)練細(xì)節(jié)

1)對(duì)于用于訓(xùn)練的圖像數(shù)據(jù)樣本，僅將數(shù)據(jù)縮放到[-1，1]的范圍內(nèi)，這個(gè)也是tanh的取值范圍，并不做任何其他處理。

2)模型均采用Mini-Batch大小為128的批量隨機(jī)梯度下降方法進(jìn)行訓(xùn)練。權(quán)重的初始化使用滿足均值為0、方差為0.02的高斯分布的隨機(jī)變量。

3)對(duì)于激活函數(shù)LeakyReLU，其中Leak的部分設(shè)置斜率為0.2。

4)訓(xùn)練過程中使用Adam優(yōu)化器進(jìn)行超參數(shù)調(diào)優(yōu)。學(xué)習(xí)率使用0.0002，動(dòng)量β1取0.5，使得訓(xùn)練更加穩(wěn)定。

五、實(shí)現(xiàn)DCGAN

1. 任務(wù)目標(biāo)

實(shí)現(xiàn)DCGAN，并利用其合成卡通人物頭像。

2. 數(shù)據(jù)集

樣本內(nèi)容：卡通人物頭像

樣本數(shù)量：51223個(gè)

3. 實(shí)驗(yàn)結(jié)果

為了加快訓(xùn)練速度，實(shí)際只采用了8903個(gè)樣本進(jìn)行訓(xùn)練，執(zhí)行每20輪一次增量訓(xùn)練。實(shí)驗(yàn)結(jié)果如下：

1輪訓(xùn)練

5輪訓(xùn)練

10輪訓(xùn)練

20輪訓(xùn)練

40輪訓(xùn)練

60輪訓(xùn)練

六、其它GAN模型

1)文本生成圖像：GAWWN

2)匹配數(shù)據(jù)圖像轉(zhuǎn)換：Pix2Pix

3)非匹配數(shù)據(jù)圖像轉(zhuǎn)換：CycleGAN，用于實(shí)現(xiàn)兩個(gè)領(lǐng)域圖片互轉(zhuǎn)

4)多領(lǐng)域圖像轉(zhuǎn)換：StarGAN

七、參考資源

1. 在線視頻

1)李宏毅GAN教程： https://www.ixigua.com/pseries/6783110584444387843/?logTag=cZwYY0OhI8vRiNppza2UW

2. 書籍

1)《生成對(duì)抗網(wǎng)絡(luò)入門指南》，史丹青編著，機(jī)械工業(yè)出版社