為了讓初學(xué)者了解AI，以下列出六個(gè)值得注意的AI領(lǐng)域，并描述它們是什么、為什么它們是重要的、它們今天如何使用，以及研究它們的公司。

[[184083]]

1.強(qiáng)化學(xué)習(xí)( Reinforcement learning)

RL是一種通過(guò)試探而學(xué)習(xí)的范式，受人類學(xué)習(xí)新任務(wù)的啟發(fā)。在典型的RL設(shè)置中，AI被賦予在數(shù)字環(huán)境中觀察其當(dāng)前狀態(tài)的任務(wù)，從環(huán)境接收每個(gè)動(dòng)作的結(jié)果并給予激勵(lì)反饋，使得其知道動(dòng)作是否促進(jìn)或阻礙其進(jìn)展。因此，AI必須找到***的獲得獎(jiǎng)勵(lì)策略。谷歌旗下的DeepMind便使用了這種方法。在現(xiàn)實(shí)世界中，RL的一個(gè)例子是優(yōu)化冷卻Google數(shù)據(jù)中心能效的任務(wù)，一個(gè)RL系統(tǒng)實(shí)現(xiàn)了減少40%的冷卻成本。在可以模擬的環(huán)境(例如視頻游戲)中使用RL的優(yōu)點(diǎn)是，訓(xùn)練數(shù)據(jù)可以以非常低的成本生成。這與監(jiān)督深度學(xué)習(xí)任務(wù)形成鮮明對(duì)比，這些任務(wù)通常需要昂貴且難以從現(xiàn)實(shí)世界獲取的訓(xùn)練數(shù)據(jù)。

應(yīng)用范圍：多個(gè)AI在自己的環(huán)境中學(xué)習(xí)或互動(dòng)，在相同的環(huán)境中互相學(xué)習(xí)，學(xué)習(xí)導(dǎo)航的3D環(huán)境，如迷宮或城市街道的自動(dòng)駕駛，逆強(qiáng)化學(xué)習(xí)來(lái)概括觀察到的行為通過(guò)學(xué)習(xí)任務(wù)的目標(biāo)(例如學(xué)習(xí)駕駛)。

公司：谷歌DeepMind，Prowler.io，Osaro，MicroPSI，Maluuba /微軟，NVIDIA，Mobileye。

2.生成模型

與用于分類或回歸任務(wù)的判別模型相反，生成模型在訓(xùn)練示例上學(xué)習(xí)概率分布。通過(guò)從這種高維分布中抽樣，生成模型輸出與訓(xùn)練數(shù)據(jù)類似的新示例。這意味著，例如，在面部的真實(shí)圖像上訓(xùn)練的生成模型可以輸出類似面部的新的合成圖像。有關(guān)這些模型是如何工作的，可以參照伊恩·古德費(fèi)洛的真棒NIPS 2016教程。他介紹了該體系結(jié)構(gòu)，生成對(duì)抗網(wǎng)絡(luò)(GANs)，提供了對(duì)無(wú)監(jiān)督的學(xué)習(xí)路徑。GANs有兩個(gè)神經(jīng)網(wǎng)絡(luò)：一個(gè)發(fā)生器，它接受隨機(jī)噪聲作為輸入，其任務(wù)是合成的內(nèi)容(例如，圖像);一個(gè)鑒別器，它已經(jīng)學(xué)會(huì)真實(shí)圖像長(zhǎng)什么樣，任務(wù)是識(shí)別圖像是真的還是假的。對(duì)抗訓(xùn)練可以被認(rèn)為是一種游戲，機(jī)器必須迭代地學(xué)習(xí)如何使鑒別器不再能夠區(qū)分所生成的圖像和真實(shí)圖像。這個(gè)框架正在擴(kuò)展到許多數(shù)據(jù)模式和任務(wù)。

應(yīng)用范圍：模擬一個(gè)時(shí)間序列的可能的未來(lái)(如在強(qiáng)化學(xué)習(xí)計(jì)劃任務(wù)); 超分辨率圖像 ; 將2D圖像恢復(fù)成三維結(jié)構(gòu) ; 從小標(biāo)簽數(shù)據(jù)集中進(jìn)行歸納; 一個(gè)輸入可以產(chǎn)生多個(gè)正確的輸出(如預(yù)測(cè)視頻的下一幀 ;創(chuàng)建用在會(huì)話接口的自然語(yǔ)言; 當(dāng)不是所有的標(biāo)簽都可以半監(jiān)督學(xué)習(xí)時(shí); 藝術(shù)風(fēng)格轉(zhuǎn)移 ; 合成音樂(lè)，聲音 。

公司：Twitter，Adobe，蘋果，Prisma，Jukedeck，Creative.ai，Gluru，Mapillary，Unbabel。

3.具有記憶存儲(chǔ)的網(wǎng)絡(luò)

為了使AI系統(tǒng)在多樣化的現(xiàn)實(shí)世界環(huán)境中推廣，他們必須能夠不斷地學(xué)習(xí)新的任務(wù)，并記住如何在未來(lái)執(zhí)行所有的任務(wù)。然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)通常不能進(jìn)行這樣的學(xué)習(xí)，這個(gè)缺點(diǎn)被稱為災(zāi)難性的遺忘。其發(fā)生是因?yàn)楫?dāng)網(wǎng)絡(luò)被訓(xùn)練以解決任務(wù)B時(shí)，網(wǎng)絡(luò)中對(duì)于解決任務(wù)A的權(quán)重會(huì)發(fā)生改變。

然而，有幾個(gè)強(qiáng)大的架構(gòu)，可以賦予神經(jīng)網(wǎng)絡(luò)不同程度的記憶，包括長(zhǎng)短期記憶網(wǎng)絡(luò)(一個(gè)經(jīng)常性的神經(jīng)網(wǎng)絡(luò)的變體)，它能夠處理和預(yù)測(cè)時(shí)間序列。DeepMind的微神經(jīng)計(jì)算機(jī)，結(jié)合神經(jīng)網(wǎng)絡(luò)和存儲(chǔ)系統(tǒng)，便能學(xué)習(xí)和瀏覽自己的復(fù)雜數(shù)據(jù)結(jié)構(gòu)。

應(yīng)用范圍：可推廣到新的環(huán)境中學(xué)習(xí); 機(jī)器人臂控制任務(wù); 自動(dòng)駕駛; 時(shí)間序列預(yù)測(cè)(例如金融市場(chǎng)，視頻，物聯(lián)網(wǎng)); 自然語(yǔ)言理解和下一詞預(yù)測(cè)。

公司：谷歌DeepMind，NNaisense，SwiftKey /微軟研究院，F(xiàn)acebook的AI研究。

4.用更少的數(shù)據(jù)學(xué)習(xí)和建立更小的模型

深度學(xué)習(xí)模型值得注意的是需要大量的訓(xùn)練數(shù)據(jù)。如果沒(méi)有大規(guī)模的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)模型將不會(huì)收斂到它們的***設(shè)置，并且在諸如語(yǔ)音識(shí)別或機(jī)器翻譯的復(fù)雜任務(wù)上效果不佳。這種數(shù)據(jù)要求僅在使用單個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)端到端地解決問(wèn)題時(shí)增長(zhǎng)，比如將語(yǔ)音的原始音頻記錄作為輸入并輸出語(yǔ)音的文本轉(zhuǎn)錄。

如果我們希望AI解決訓(xùn)練數(shù)據(jù)少、貴、耗時(shí)的問(wèn)題，那么開(kāi)發(fā)可以從較少的示例(即一個(gè)或零開(kāi)始的學(xué)習(xí))學(xué)習(xí)***解決方案的模型。當(dāng)對(duì)小數(shù)據(jù)集進(jìn)行培訓(xùn)時(shí)，挑戰(zhàn)包括過(guò)度擬合，處理異常值的困難，訓(xùn)練和測(cè)試之間的數(shù)據(jù)分布的差異。另一種方法是遷移學(xué)習(xí)。

應(yīng)用范圍：通過(guò)學(xué)習(xí)培訓(xùn)淺網(wǎng)絡(luò)模仿深層網(wǎng)絡(luò)的性能，最初接受大型標(biāo)記的訓(xùn)練數(shù)據(jù); 用較少的參數(shù)，但同等性能深模型架構(gòu)(如SqueezeNet); 機(jī)器翻譯。

公司：Geometric Intelligence/Uber，DeepScale.ai，微軟研究院，谷歌，Bloomsbury AI。

5.用于訓(xùn)練的硬件

AI進(jìn)步的主要催化劑是圖形處理單元(GPU)的重用以訓(xùn)練大神經(jīng)網(wǎng)絡(luò)模型。不同于以順序方式計(jì)算的中央處理單元(CPU)，GPU提供一個(gè)大規(guī)模并行架構(gòu)，可以同時(shí)處理多個(gè)任務(wù)?？紤]到神經(jīng)網(wǎng)絡(luò)必須處理大量(通常是高維數(shù)據(jù))，在GPU上的訓(xùn)練比CPU快得多。這就是為什么NVIDIA能在近年大熱。

然而，GPU不是專門用于訓(xùn)練AI的，它們的出現(xiàn)是為了渲染視頻和游戲圖形。GPU具有的高計(jì)算精度并非必要，并且存在存儲(chǔ)器帶寬和數(shù)據(jù)吞吐量問(wèn)題。這為創(chuàng)業(yè)公司帶來(lái)了機(jī)會(huì)——創(chuàng)造專門為高維機(jī)器學(xué)習(xí)應(yīng)用設(shè)計(jì)的芯片。通過(guò)新的芯片改善更大的內(nèi)存帶寬，具有更高的計(jì)算密度，效率和每瓦性能。借此實(shí)現(xiàn)：更快、更有效的模型訓(xùn)練→更好的用戶體驗(yàn)→用戶與產(chǎn)品快速迭代→創(chuàng)建更大的數(shù)據(jù)集→通過(guò)優(yōu)化提高模型的性能。

應(yīng)用范圍：快速訓(xùn)練模型(尤其是在圖形上); 做預(yù)測(cè)時(shí)提高能量和數(shù)據(jù)效率; 運(yùn)行AI系統(tǒng)的IoT設(shè)備; IaaS;自動(dòng)駕駛，無(wú)人機(jī)和機(jī)器人。

公司：Graphcore，Cerebras，Isocline Engineering，谷歌(TPU)，NVIDIA(DGX-1)，Nervana系統(tǒng)(英特爾)，Movidius(英特爾)，Scortex

6.仿真環(huán)境

如前所述，為AI系統(tǒng)生成訓(xùn)練數(shù)據(jù)通常是具有挑戰(zhàn)性的。更重要的是，AI必須推廣到許多情況下才能在現(xiàn)實(shí)世界中有用。因此，開(kāi)發(fā)模擬現(xiàn)實(shí)世界的物理和行為，將為我們提供訓(xùn)練AI的良好環(huán)境。這些環(huán)境將原始像素呈現(xiàn)給AI，然后AI執(zhí)行動(dòng)作以便解決他們已經(jīng)設(shè)置(或?qū)W習(xí))的目標(biāo)。在訓(xùn)練中，這些仿真環(huán)境可以幫助我們理解的AI系統(tǒng)如何學(xué)習(xí)，如何提高他們，但也為我們提供了模型，可以潛在地轉(zhuǎn)移到現(xiàn)實(shí)世界的應(yīng)用。

應(yīng)用范圍：學(xué)習(xí)駕駛 ; 制造業(yè); 工業(yè)設(shè)計(jì); 游戲開(kāi)發(fā); 智能城市。