罕見(jiàn)，著實(shí)罕見(jiàn)。

今年的NeurIPS，竟然一口氣頒發(fā)了兩個(gè)時(shí)間檢驗(yàn)獎(jiǎng)（Test of Time Awards）！

用官方的話(huà)來(lái)說(shuō)就是：

這兩篇論文對(duì)整個(gè)領(lǐng)域的影響是不可否認(rèn)的。

第一篇，很經(jīng)典——GAN。

出自Yoshua Bengio、lan Goodfellow等一眾大佬之后，引用超過(guò)85,000次。官方的評(píng)價(jià)是：

它是生成建模的基礎(chǔ)部分之一，在過(guò)去10年中激發(fā)了許多研究進(jìn)展。

除了研究之外，它還使生成建模在考慮視覺(jué)數(shù)據(jù)和其他領(lǐng)域的各種應(yīng)用中產(chǎn)生影響。

第二篇，也很經(jīng)典——Seq2Seq。

作者包括Ilya、Oriol Vinyals和Quoc V. Le，引用超過(guò)27,000次。官方也給出了對(duì)應(yīng)評(píng)價(jià)：

隨著當(dāng)前大型語(yǔ)言模型和基礎(chǔ)模型的快速發(fā)展，人工智能和應(yīng)用領(lǐng)域發(fā)生了范式轉(zhuǎn)變，該領(lǐng)域受益于這項(xiàng)工作奠定的基礎(chǔ)。

這是建立編碼器-解碼器架構(gòu)的基礎(chǔ)工作，啟發(fā)了后來(lái)基于注意力的改進(jìn)，導(dǎo)致了今天的基礎(chǔ)模型研究。

值得一提的是，三人的另一項(xiàng)工作——word2vec，也斬獲了去年的NeurIPS時(shí)間檢驗(yàn)獎(jiǎng)。

谷歌首席科學(xué)家Jeff Dean聞?dòng)嵰舶l(fā)來(lái)祝賀：

如此殊榮，實(shí)至名歸。

接下來(lái)，我們一起重溫一下經(jīng)典。

GAN

生成對(duì)抗網(wǎng)絡(luò)的核心概念是在2014年被提出，通過(guò)兩個(gè)神經(jīng)網(wǎng)絡(luò)的對(duì)抗來(lái)實(shí)現(xiàn)高質(zhì)量的數(shù)據(jù)生成。

這兩個(gè)網(wǎng)絡(luò)分別是生成器（Generator）和判別器（Discriminator）。

這種對(duì)抗式的訓(xùn)練方式，不僅讓GAN在圖像生成、音樂(lè)創(chuàng)作等領(lǐng)域大放異彩，還深刻地影響了AI創(chuàng)作的方式。

GAN的工作機(jī)制可以類(lèi)比為“造假者與鑒定師”的較量。

生成器就像一位造假者，它不斷學(xué)習(xí)如何根據(jù)隨機(jī)噪聲生成逼真的數(shù)據(jù)；而判別器就像鑒定師，學(xué)會(huì)辨別哪些是“真品”（真實(shí)的數(shù)據(jù)），哪些是“贗品”（生成器造出的數(shù)據(jù)）。

兩者之間相互競(jìng)爭(zhēng)，生成器不斷改進(jìn)以欺騙判別器，而判別器也不斷提高辨別能力。在這種博弈中，最終生成器能夠產(chǎn)生幾乎與真實(shí)數(shù)據(jù)無(wú)異的樣本。

GAN的訓(xùn)練過(guò)程本質(zhì)上是一個(gè)“零和游戲”。

生成器和判別器之間的競(jìng)爭(zhēng)關(guān)系可以看作一個(gè)兩人博弈的極小極大問(wèn)題：生成器的目標(biāo)是最小化判別器的成功率，而判別器的目標(biāo)則是最大化辨別真實(shí)數(shù)據(jù)與生成數(shù)據(jù)的正確性。

最終，當(dāng)生成器生成的數(shù)據(jù)足夠真實(shí)，使得判別器無(wú)法區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)時(shí)，博弈達(dá)到平衡，GAN的訓(xùn)練成功。

這篇論文提出的GAN并不依賴(lài)于復(fù)雜的馬爾科夫鏈（Markov Chain）或者近似推斷網(wǎng)絡(luò)，這使得訓(xùn)練過(guò)程更為高效。

與其他生成模型（例如深度玻爾茲曼機(jī)）相比，GAN的優(yōu)勢(shì)在于它不需要進(jìn)行復(fù)雜的推斷操作，只需通過(guò)簡(jiǎn)單的前向傳播就可以生成樣本，并且可以使用標(biāo)準(zhǔn)的反向傳播算法來(lái)訓(xùn)練。

這種相對(duì)簡(jiǎn)潔的結(jié)構(gòu)為GAN在圖像、視頻和音頻生成等任務(wù)中開(kāi)辟了廣闊的應(yīng)用前景。

盡管GAN具有許多優(yōu)勢(shì)，但其訓(xùn)練過(guò)程也面臨挑戰(zhàn)。

例如，生成器和判別器的訓(xùn)練需要保持一種微妙的平衡。如果生成器過(guò)于強(qiáng)大，判別器將無(wú)法有效學(xué)習(xí)，從而影響訓(xùn)練效果；反之亦然。

為了應(yīng)對(duì)這些挑戰(zhàn)，后續(xù)的研究人員提出了許多改進(jìn)方案，如條件GAN（cGAN）、WGAN等，使得GAN的訓(xùn)練更加穩(wěn)定，生成效果更加優(yōu)秀。

生成對(duì)抗網(wǎng)絡(luò)的提出為深度學(xué)習(xí)領(lǐng)域開(kāi)啟了新的可能性，讓計(jì)算機(jī)在生成內(nèi)容的能力上邁上了一個(gè)新的臺(tái)階。

如今，GAN被廣泛應(yīng)用于藝術(shù)創(chuàng)作、圖像修復(fù)、風(fēng)格轉(zhuǎn)換等多個(gè)領(lǐng)域，成為了現(xiàn)代人工智能工具箱中不可或缺的一部分。

Seq2Seq

Seq2Seq也是于2014年被提出，是一種能夠?qū)⑤斎胄蛄杏成涞捷敵鲂蛄械纳疃葘W(xué)習(xí)方法。

傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)（DNN）雖然在很多任務(wù)中表現(xiàn)出色，但它們無(wú)法直接處理輸入和輸出長(zhǎng)度不定的序列數(shù)據(jù)。

而Seq2Seq模型通過(guò)使用兩個(gè)長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）來(lái)實(shí)現(xiàn)這一目標(biāo)：一個(gè)LSTM將輸入序列編碼成固定維度的向量，另一個(gè)LSTM再?gòu)倪@個(gè)向量解碼出目標(biāo)序列。

具體而言：

• 編碼器（Encoder）：將輸入序列逐步編碼為一個(gè)固定長(zhǎng)度的上下文向量。編碼器逐一接收輸入序列的元素（例如單詞），并通過(guò)LSTM的隱藏狀態(tài)逐漸生成該上下文向量。
• 解碼器（Decoder）：基于編碼器生成的上下文向量，解碼器逐步生成目標(biāo)序列的輸出。解碼器在生成每一個(gè)輸出時(shí)，也會(huì)參考先前生成的輸出內(nèi)容，以確保生成的序列是符合邏輯的。

一個(gè)有趣的技巧是在訓(xùn)練過(guò)程中將輸入序列的單詞順序反轉(zhuǎn)，這種做法能夠顯著提高模型的性能。

這是因?yàn)榉崔D(zhuǎn)后的輸入序列能夠引入更多短期依賴(lài)關(guān)系，從而讓模型更容易捕捉到源語(yǔ)言和目標(biāo)語(yǔ)言之間的關(guān)聯(lián)。

通過(guò)這種方法，研究者在WMT’14英語(yǔ)到法語(yǔ)的翻譯任務(wù)上取得了34.8的BLEU得分，超過(guò)了基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯（SMT）系統(tǒng)的表現(xiàn)。

在實(shí)驗(yàn)中，Seq2Seq模型展示了對(duì)長(zhǎng)句子的強(qiáng)大處理能力，這使它在機(jī)器翻譯中具有很大的優(yōu)勢(shì)。

與傳統(tǒng)的基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯相比，Seq2Seq模型能夠自動(dòng)學(xué)習(xí)到句子級(jí)別的特征表示，并且對(duì)主動(dòng)語(yǔ)態(tài)和被動(dòng)語(yǔ)態(tài)等變化具有較強(qiáng)的魯棒性。

此外，研究團(tuán)隊(duì)還發(fā)現(xiàn)，利用Seq2Seq模型對(duì)SMT系統(tǒng)生成的候選翻譯進(jìn)行重新排序，可以進(jìn)一步提高翻譯質(zhì)量，使得BLEU得分達(dá)到了36.5。

而Seq2Seq作者之一Oriol Vinyals剛剛也在社交平臺(tái)中發(fā)文回憶：

在我看來(lái)，2014 年的演講也經(jīng)受了時(shí)間的考驗(yàn)。

這是一張當(dāng)時(shí)演講的PPT（今天的強(qiáng)大模型==大型Transformer）。

信不信由你，這個(gè)演講當(dāng)時(shí)頗具爭(zhēng)議（我在 NeurIPS 上收到了很多負(fù)面反饋）。

NeurIPS官方還表示，兩篇時(shí)間檢驗(yàn)獎(jiǎng)的作者將在當(dāng)?shù)貢r(shí)間12月13日（北京時(shí)間12月14日）進(jìn)行Q&A。

以及本屆NeurIPS更多獎(jiǎng)項(xiàng)，量子位會(huì)繼續(xù)保持關(guān)注。

One More Thing

彈指十年間，兩篇經(jīng)典論文的關(guān)鍵人物的變動(dòng)也是值得說(shuō)道說(shuō)道。

例如Ilya和lanGoodfellow都從谷歌投奔到了OpenAI，目前也都離開(kāi)了OpenAI。

前不久，lanGoodfellow還被曝出雙重頑疾，正在與疾病抗?fàn)帯?/p>

而Ilya這邊，目前則是忙于創(chuàng)業(yè)，主打就是安全超級(jí)智能（Safe Superintelligence）。

GAN論文地址：https://arxiv.org/abs/1406.2661

Seq2Seq論文地址：https://arxiv.org/abs/1409.3215