[[334740]]

01 全連接網(wǎng)絡(luò)

全連接、密集和線性網(wǎng)絡(luò)是最基本但功能強(qiáng)大的架構(gòu)。這是機(jī)器學(xué)習(xí)的直接擴(kuò)展，將神經(jīng)網(wǎng)絡(luò)與單個(gè)隱藏層結(jié)合使用。全連接層充當(dāng)所有架構(gòu)的最后一部分，用于獲得使用下方深度網(wǎng)絡(luò)所得分?jǐn)?shù)的概率分布。

如其名稱所示，全連接網(wǎng)絡(luò)將其上一層和下一層中的所有神經(jīng)元相互連接。網(wǎng)絡(luò)可能最終通過(guò)設(shè)置權(quán)重來(lái)關(guān)閉一些神經(jīng)元，但在理想情況下，最初所有神經(jīng)元都參與訓(xùn)練。

02 編碼器和解碼器

編碼器和解碼器可能是深度學(xué)習(xí)另一個(gè)最基本的架構(gòu)之一。所有網(wǎng)絡(luò)都有一個(gè)或多個(gè)編碼器–解碼器層。你可以將全連接層中的隱藏層視為來(lái)自編碼器的編碼形式，將輸出層視為解碼器，它將隱藏層解碼并作為輸出。通常，編碼器將輸入編碼到中間狀態(tài)，其中輸入為向量，然后解碼器網(wǎng)絡(luò)將該中間狀態(tài)解碼為我們想要的輸出形式。

編碼器–解碼器網(wǎng)絡(luò)的一個(gè)規(guī)范示例是序列到序列 （seq2seq）網(wǎng)絡(luò)（圖1.11），可用于機(jī)器翻譯。一個(gè)句子將被編碼為中間向量表示形式，其中整個(gè)句子以一些浮點(diǎn)數(shù)字的形式表示，解碼器根據(jù)中間向量解碼以生成目標(biāo)語(yǔ)言的句子作為輸出。

▲圖1.11 seq2seq 網(wǎng)絡(luò)

自動(dòng)編碼器（圖1.12）是一種特殊的編碼器–解碼器網(wǎng)絡(luò)，屬于無(wú)監(jiān)督學(xué)習(xí)范疇。自動(dòng)編碼器嘗試從未標(biāo)記的數(shù)據(jù)中進(jìn)行學(xué)習(xí)，將目標(biāo)值設(shè)置為輸入值。

例如，如果輸入一個(gè)大小為100×100的圖像，則輸入向量的維度為10 000。因此，輸出的大小也將為 10 000，但隱藏層的大小可能為 500。簡(jiǎn)而言之，你正在嘗試將輸入轉(zhuǎn)換為較小的隱藏狀態(tài)表示形式，從隱藏狀態(tài)重新生成相同的輸入。

▲圖1.12 自動(dòng)編碼器的結(jié)構(gòu)

你如果能夠訓(xùn)練一個(gè)可以做到這一點(diǎn)的神經(jīng)網(wǎng)絡(luò)，就會(huì)找到一個(gè)好的壓縮算法，其可以將高維輸入變?yōu)榈途S向量，這具有數(shù)量級(jí)收益。

如今，自動(dòng)編碼器正被廣泛應(yīng)用于不同的情景和行業(yè)。

03 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是最常見(jiàn)的深度學(xué)習(xí)算法之一，它席卷了整個(gè)世界。我們現(xiàn)在在自然語(yǔ)言處理或理解方面幾乎所有最先進(jìn)的性能都?xì)w功于RNN的變體。在循環(huán)網(wǎng)絡(luò)中，你嘗試識(shí)別數(shù)據(jù)中的最小單元，并使數(shù)據(jù)成為一組這樣的單元。

在自然語(yǔ)言的示例中，最常見(jiàn)的方法是將一個(gè)單詞作為一個(gè)單元，并在處理句子時(shí)將句子視為一組單詞。你在整個(gè)句子上展開(kāi)RNN，一次處理一個(gè)單詞（圖1.13）。RNN 具有適用于不同數(shù)據(jù)集的變體，有時(shí)我們會(huì)根據(jù)效率選擇變體。長(zhǎng)短期記憶 （LSTM）和門控循環(huán)單元（GRU）是最常見(jiàn)的 RNN 單元。

▲圖1.13 循環(huán)網(wǎng)絡(luò)中單詞的向量表示形式

04 遞歸神經(jīng)網(wǎng)絡(luò)

顧名思義，遞歸神經(jīng)網(wǎng)絡(luò)是一種樹(shù)狀網(wǎng)絡(luò)，用于理解序列數(shù)據(jù)的分層結(jié)構(gòu)。遞歸網(wǎng)絡(luò)被研究者（尤其是 Salesforce 的首席科學(xué)家理查德·索徹和他的團(tuán)隊(duì)）廣泛用于自然語(yǔ)言處理。

字向量能夠有效地將一個(gè)單詞的含義映射到一個(gè)向量空間，但當(dāng)涉及整個(gè)句子的含義時(shí)，卻沒(méi)有像word2vec這樣針對(duì)單詞的首選解決方案。遞歸神經(jīng)網(wǎng)絡(luò)是此類應(yīng)用最常用的算法之一。

遞歸網(wǎng)絡(luò)可以創(chuàng)建解析樹(shù)和組合向量，并映射其他分層關(guān)系（圖1.14），這反過(guò)來(lái)又幫助我們找到組合單詞和形成句子的規(guī)則。斯坦福自然語(yǔ)言推理小組開(kāi)發(fā)了一種著名的、使用良好的算法，稱為SNLI，這是應(yīng)用遞歸網(wǎng)絡(luò)的一個(gè)好例子。

▲圖1.14 遞歸網(wǎng)絡(luò)中單詞的向量表示形式

05 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）（圖1.15）使我們能夠在計(jì)算機(jī)視覺(jué)中獲得超人的性能，它在2010年代早期達(dá)到了人類的精度，而且其精度仍在逐年提高。

卷積網(wǎng)絡(luò)是最容易理解的網(wǎng)絡(luò)，因?yàn)樗锌梢暬ぞ邅?lái)顯示每一層正在做什么。

Facebook AI研究（FAIR）負(fù)責(zé)人Yann LeCun早在20世紀(jì)90年代就發(fā)明了CNN。人們當(dāng)時(shí)無(wú)法使用它，因?yàn)椴](méi)有足夠的數(shù)據(jù)集和計(jì)算能力。CNN像滑動(dòng)窗口一樣掃描輸入并生成中間表征，然后在它到達(dá)末端的全連接層之前對(duì)其進(jìn)行逐層抽象。CNN也已成功應(yīng)用于非圖像數(shù)據(jù)集。

▲圖1.15 典型的 CNN

Facebook的研究小組發(fā)現(xiàn)了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的先進(jìn)自然語(yǔ)言處理系統(tǒng)，其卷積網(wǎng)絡(luò)優(yōu)于RNN，而后者被認(rèn)為是任何序列數(shù)據(jù)集的首選架構(gòu)。雖然一些神經(jīng)科學(xué)家和人工智能研究人員不喜歡CNN（因?yàn)樗麄冋J(rèn)為大腦不會(huì)像CNN那樣做），但基于CNN的網(wǎng)絡(luò)正在擊敗所有現(xiàn)有的網(wǎng)絡(luò)實(shí)現(xiàn)。

06 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN）由 Ian Goodfellow 于 2014 年發(fā)明，自那時(shí)起，它顛覆了整個(gè) AI 社群。它是最簡(jiǎn)單、最明顯的實(shí)現(xiàn)之一，但其能力吸引了全世界的注意。GAN的配置如圖1.16所示。

▲圖1.16 GAN配置

在GAN中，兩個(gè)網(wǎng)絡(luò)相互競(jìng)爭(zhēng)，最終達(dá)到一種平衡，即生成網(wǎng)絡(luò)可以生成數(shù)據(jù)，而鑒別網(wǎng)絡(luò)很難將其與實(shí)際圖像區(qū)分開(kāi)。

一個(gè)真實(shí)的例子就是警察和造假者之間的斗爭(zhēng)：假設(shè)一個(gè)造假者試圖制造假幣，而警察試圖識(shí)破它。最初，造假者沒(méi)有足夠的知識(shí)來(lái)制造看起來(lái)真實(shí)的假幣。隨著時(shí)間的流逝，造假者越來(lái)越善于制造看起來(lái)更像真實(shí)貨幣的假幣。這時(shí)，警察起初未能識(shí)別假幣，但最終他們會(huì)再次成功識(shí)別。

這種生成–對(duì)抗過(guò)程最終會(huì)形成一種平衡。GAN 具有極大的優(yōu)勢(shì)。

07 強(qiáng)化學(xué)習(xí)

通過(guò)互動(dòng)進(jìn)行學(xué)習(xí)是人類智力的基礎(chǔ)，強(qiáng)化學(xué)習(xí)是領(lǐng)導(dǎo)我們朝這個(gè)方向前進(jìn)的方法。過(guò)去強(qiáng)化學(xué)習(xí)是一個(gè)完全不同的領(lǐng)域，它認(rèn)為人類通過(guò)試錯(cuò)進(jìn)行學(xué)習(xí)。然而，隨著深度學(xué)習(xí)的推進(jìn)，另一個(gè)領(lǐng)域出現(xiàn)了“深度強(qiáng)化學(xué)習(xí)”，它結(jié)合了深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)。

現(xiàn)代強(qiáng)化學(xué)習(xí)使用深度網(wǎng)絡(luò)來(lái)進(jìn)行學(xué)習(xí)，而不是由人們顯式編碼這些規(guī)則。我們將研究Q學(xué)習(xí)和深度Q學(xué)習(xí)，展示結(jié)合深度學(xué)習(xí)的強(qiáng)化學(xué)習(xí)與不結(jié)合深度學(xué)習(xí)的強(qiáng)化學(xué)習(xí)之間的區(qū)別。

強(qiáng)化學(xué)習(xí)被認(rèn)為是通向一般智能的途徑之一，其中計(jì)算機(jī)或智能體通過(guò)與現(xiàn)實(shí)世界、物體或?qū)嶒?yàn)互動(dòng)或者通過(guò)反饋來(lái)進(jìn)行學(xué)習(xí)。訓(xùn)練強(qiáng)化學(xué)習(xí)智能體和訓(xùn)練狗很像，它們都是通過(guò)正、負(fù)激勵(lì)進(jìn)行的。當(dāng)你因?yàn)楣窊斓角蚨?jiǎng)勵(lì)它一塊餅干或者因?yàn)楣窙](méi)撿到球而對(duì)它大喊大叫時(shí)，你就是在通過(guò)積極和消極的獎(jiǎng)勵(lì)向狗的大腦中強(qiáng)化知識(shí)。

我們對(duì)AI智能體也做了同樣的操作，但正獎(jiǎng)勵(lì)將是一個(gè)正數(shù)，負(fù)獎(jiǎng)勵(lì)將是一個(gè)負(fù)數(shù)。盡管我們不能將強(qiáng)化學(xué)習(xí)視為與 CNN/RNN 等類似的另一種架構(gòu)，但這里將其作為使用深度神經(jīng)網(wǎng)絡(luò)來(lái)解決實(shí)際問(wèn)題的另一種方法，其配置如圖1.17所示。

▲圖1.17 強(qiáng)化學(xué)習(xí)配置

關(guān)于作者：謝林·托馬斯（Sherin Thomas）的職業(yè)生涯始于信息安全專家，后來(lái)他將工作重心轉(zhuǎn)移到了基于深度學(xué)習(xí)的安全系統(tǒng)。他曾幫助全球多家公司建立AI流程，并曾就職于位于印度班加羅爾的一家快速成長(zhǎng)的初創(chuàng)公司CoWrks。

蘇丹舒·帕西（Sudhanshu Passi）是CoWrks的技術(shù)專家。在CoWrks ，他一直是機(jī)器學(xué)習(xí)的一切相關(guān)事宜的驅(qū)動(dòng)者。在簡(jiǎn)化復(fù)雜概念方面的專業(yè)知識(shí)使他的著作成為初學(xué)者和專家的理想讀物。

本文摘編自《PyTorch深度學(xué)習(xí)實(shí)戰(zhàn)》，經(jīng)出版方授權(quán)發(fā)布。