[[214266]]

毫無疑問，AI 的終極未來是達(dá)到并超越人類的智能。但是，這是一個(gè)非常遙遠(yuǎn)的目標(biāo)。即使我們之中最樂觀的人，也只敢打賭稱人類級別的 AI（泛人工智能（AGI）或者超人工智能（ASI））將會在 10～15 年之后出現(xiàn)。而懷疑論者甚至打賭稱，即使人類級別的人工智能出現(xiàn)，這個(gè)過程也需要幾個(gè)世紀(jì)。不過，這不是我們這篇文章所關(guān)注的（如果你對學(xué)習(xí)超人工智能非常感興趣，你可以閱讀這篇文章）。這里我們將講述一個(gè)觸手可及的、更近的未來，討論一些新興的并且強(qiáng)大的 AI 算法。我認(rèn)為，這些算法正在塑造 AI 不遠(yuǎn)的將來。

AI 已經(jīng)開始在一些選定的具體任務(wù)中超過人類。例如，在診斷皮膚癌上打敗醫(yī)生和在世界級大賽上打敗圍棋選手。但是，相同的系統(tǒng)和模型不能在其它的任務(wù)上表現(xiàn)得很好，因?yàn)檫@些任務(wù)與它們專門訓(xùn)練解決的任務(wù)不同。這就是為什么，長期以來，一個(gè)不需要重新評估就能高效地解決各種問題的通用智能系統(tǒng)被視為 AI 的未來。但是，在 AI 不遠(yuǎn)的將來，泛人工智能還很遙遠(yuǎn)的時(shí)候，科學(xué)家們將如何讓 AI 驅(qū)動(dòng)的算法克服我們現(xiàn)在面臨的問題，讓它們走出實(shí)驗(yàn)室，成為我們的日常用品？

當(dāng)你環(huán)顧四周，AI 正在一個(gè)一個(gè)地攻破各種難題（請閱讀我們關(guān)于 AI 如何超越人類的文章，第一部分和第二部分）。在這樣一個(gè)雙贏的情況下，可能會出現(xiàn)什么樣的問題呢？人類在制造越來越多的數(shù)據(jù)（這是 AI 的基礎(chǔ)）。同時(shí)，我們的硬件性能也在變得越來越好。畢竟，數(shù)據(jù)和更強(qiáng)的計(jì)算能力是深度學(xué)習(xí)在 2012 年開始復(fù)興的原因，不是嗎？然而真相是，人們的期待增長得遠(yuǎn)比數(shù)據(jù)和計(jì)算能力增長得要快。數(shù)據(jù)科學(xué)家將必須思考比現(xiàn)在已有的解決方案更好的方案，用于解決真實(shí)世界的問題。例如，大多數(shù)人以為圖像分類是一個(gè)科學(xué)上已經(jīng)解決了的問題（如果我們?nèi)套≌f 100% 精確度的沖動(dòng)）。我們能夠通過 AI 達(dá)到與人類相當(dāng)?shù)膱D像分類的能力（比如說貓的圖片和狗的圖片）。但是，這能夠在真實(shí)世界的情況下使用嗎？在某些情況下，可以，但是在很多情況下，我們還不能做到。

我們將會帶你了解在使用 AI 構(gòu)建真實(shí)世界解決方案時(shí)候，那些主要的“擋路石”。假設(shè)我們想要分類貓和狗的圖像。我們將會在整篇文章中使用這個(gè)例子。

我們的示例算法：分類貓和狗的圖片

下面這張圖總結(jié)了各種挑戰(zhàn)：

構(gòu)建真實(shí)世界的 AI 所涉及的挑戰(zhàn)

圖中英文翻譯如下：

你可以識別出星球大戰(zhàn)中的絕地武士是吧？一旦它我們把它記在腦海里，我們就能每次都能認(rèn)出絕地武士。然而，一個(gè)算法卻需要大量標(biāo)記過的圖像來學(xué)習(xí)、測試和訓(xùn)練。

假設(shè)一個(gè)算法輸入了一種非常罕見的狗。該算法很難正確地把它分類為狗。真實(shí)世界的問題則更加多樣，并且需要對這些更為多樣的問題進(jìn)行一定的調(diào)整和重新評估。

這是”Kotpies“，世界上第一個(gè)成功生下來的的貓狗雜交。一旦新的物種加進(jìn)來，模型需要輸入這些圖像來識別新的物種，并且最終的模型必須重新訓(xùn)練來適應(yīng)新加入的物種。

讓我們仔細(xì)地討論這些挑戰(zhàn)的細(xì)節(jié)：

通過更少的數(shù)據(jù)來學(xué)習(xí)：

• 成功的深度學(xué)習(xí)算法所使用的訓(xùn)練數(shù)據(jù)都要求包含有其內(nèi)容或者特征的標(biāo)簽。這個(gè)過程叫做打標(biāo)簽。
• 這些算法不能直接使用我們身邊的數(shù)據(jù)。幾百個(gè)標(biāo)記（或者幾千個(gè)）很簡單，但是達(dá)到人類級別的圖像分類算法需要輸入上百萬的標(biāo)記過的圖像來學(xué)習(xí)。
•  所以，問題在于：為一百萬個(gè)圖像進(jìn)行標(biāo)記是否可行？如果不可行，那么 AI 如何才能在更少量的標(biāo)記數(shù)據(jù)上進(jìn)行擴(kuò)展。

解決真實(shí)世界中多種多樣的問題：

• 雖然數(shù)據(jù)集是固定的，但真實(shí)世界的使用情況是多種多樣的（例如，與人類不同，在彩色圖像上訓(xùn)練的算法可能會在灰度圖像上表現(xiàn)的非常差）。
• 盡管我們能夠提高計(jì)算機(jī)視覺算法檢測物體的能力并達(dá)到人類的水平。但是，正如剛剛提到的，這些算法只能解決非常特定的問題。與人類的智能相比，這些算法不能廣泛應(yīng)用于多種場景。
• 我們的舉例說明的貓狗圖像分類算法，它如果之前沒有輸入過某種罕見品種的狗，那也就不能識別出該種類的狗。

調(diào)整增量數(shù)據(jù)：

• 另一個(gè)大的挑戰(zhàn)是增量數(shù)據(jù)。在我們的例子中，如果我們想要識別出是貓還是狗，在第一次部署的時(shí)候，我們可能需要為各種品種的貓和狗來訓(xùn)練我們的 AI 算法。但是，當(dāng)我們發(fā)現(xiàn)新的品種時(shí)，我們需要訓(xùn)練這個(gè)算法，讓它能夠在之前的品質(zhì)中識別出“Kotpies"這個(gè)品種。
• 盡管新的品種與其他品種之間可能比我們想象的更相似，并且能夠通過簡單的訓(xùn)練使算法得到適應(yīng)，但這就是其中最困難的一點(diǎn)并且需要完整的重新訓(xùn)練和重新評估的方法。
• 問題在于，我們是否能夠讓 AI 能至少在這種小的變化上有足夠的適應(yīng)能力。

遷移學(xué)習(xí)

是什么？

正如它的名字所示，在遷移學(xué)習(xí)中，習(xí)得的知識是在相同的算法上，從一個(gè)任務(wù)遷移到另一個(gè)任務(wù)上的。算法先在一個(gè)擁有更大的數(shù)據(jù)集的任務(wù)（源任務(wù)）上訓(xùn)練，然后再被遷移為學(xué)習(xí)另一個(gè)只有較少數(shù)據(jù)集的任務(wù)（目標(biāo)任務(wù)）的算法。

傳統(tǒng)學(xué)習(xí) vs 遷移學(xué)習(xí)。圖片來源：IEEE Computer Society

 舉幾個(gè)例子

在圖像分類算法中使用參數(shù)在不同的任務(wù)中提取特征（例如：物體識別）是遷移學(xué)習(xí)里的一個(gè)簡單的例子。與之相反，這種方法也能用在完成復(fù)雜的任務(wù)。最近，Google 開發(fā)的用來分類糖尿病性視網(wǎng)膜病變的算法表現(xiàn)超過了人類。這個(gè)算法就是用的遷移學(xué)習(xí)。出乎意料的是，該糖尿病性視網(wǎng)膜病變識別器實(shí)際上就是一個(gè)真實(shí)世界里的圖像分類器（貓狗圖像分類器），使用遷移學(xué)習(xí)來分類眼部掃描的圖像。

告訴我更多！

你會發(fā)現(xiàn)，數(shù)據(jù)科學(xué)家把神經(jīng)網(wǎng)絡(luò)中從源任務(wù)遷移到目標(biāo)任務(wù)的部分，在深度學(xué)習(xí)的術(shù)語中稱為預(yù)訓(xùn)練網(wǎng)絡(luò)。Fine Tuning 就是當(dāng)目標(biāo)任務(wù)中的誤差被輕微地反向傳播到預(yù)訓(xùn)練的網(wǎng)絡(luò)中，而不是完全不作修改地使用預(yù)訓(xùn)練網(wǎng)絡(luò)。對于計(jì)算機(jī)視覺里遷移學(xué)習(xí)的技術(shù)介紹可以在這里看到。遷移學(xué)習(xí)的這種思想在這些“有效學(xué)習(xí)”方法論中特別的重要。

多任務(wù)學(xué)習(xí)

是什么？

在多任務(wù)學(xué)習(xí)中，通過利用任務(wù)之間的相同和不同，多個(gè)學(xué)習(xí)任務(wù)可以同時(shí)解決。出人意料的是，有的時(shí)候，同時(shí)學(xué)習(xí)兩個(gè)或多個(gè)任務(wù)（有時(shí)也叫主任務(wù)和輔助任務(wù)）可以讓結(jié)果變得更好。請注意：并不是每一對（或者三個(gè)一組，四個(gè)一組）的任務(wù)都是相互輔助的。但是當(dāng)它們是相互輔助的關(guān)系時(shí)，我們就能“免費(fèi)地”得到精度上的提升。舉幾個(gè)例子



用多任務(wù)學(xué)習(xí)同時(shí)解決三個(gè)任務(wù)。圖片來源：Sebastian Ruder

告訴我更多！

在多任務(wù)學(xué)習(xí)里，真實(shí)世界應(yīng)用最為看重的是如何把任何任務(wù)都能訓(xùn)練的無懈可擊。要做到這一點(diǎn)，我們需要考慮很多領(lǐng)域數(shù)據(jù)（也稱為領(lǐng)域適應(yīng)）。在貓狗圖像分類的場景中，我們可以舉這樣一個(gè)例子：一個(gè)可以識別多種不同來源圖像的算法（例如，VGA 相機(jī)、高清相機(jī)或者紅外相機(jī)）。在這些場景中，關(guān)于領(lǐng)域分類問題（該圖像是從哪里來的）的輔助損失可以被加到任何任務(wù)中，然后機(jī)器就會去學(xué)習(xí)從而使主任務(wù)（分類圖像是貓還是狗）的算法變得更好，但是會導(dǎo)致在輔助任務(wù)上表現(xiàn)得更差（這是由反向傳播領(lǐng)域分類任務(wù)的相反誤差梯度所導(dǎo)致的）。這個(gè)想法就是，算法在主任務(wù)上學(xué)習(xí)有區(qū)分度的特征，卻不記住那些領(lǐng)域區(qū)別相關(guān)的特征，該方法就能讓算法表現(xiàn)的更好。多任務(wù)學(xué)習(xí)及其領(lǐng)域適應(yīng)是我們所知的“有效學(xué)習(xí)”技術(shù)中最成功的一個(gè)，并且在塑造 AI 的未來上扮演著舉足輕重的角色。

對抗學(xué)習(xí)

這是什么？

對抗學(xué)習(xí)是從 Ian Goodfellow 的研究工作里演化出來的一個(gè)領(lǐng)域。盡管對抗學(xué)習(xí)最流行的應(yīng)用是生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs），用它可以生成令人驚嘆的圖像，我們還是有很多其他應(yīng)用該技術(shù)的方法。這個(gè)由博弈論啟發(fā)而產(chǎn)生的技術(shù)包含兩個(gè)算法，一個(gè)是生成器算法，一個(gè)是鑒別器算法，它們的目標(biāo)是在訓(xùn)練的過程中欺騙對方。生成器可以生成我們所提到的非常新奇的圖像，但是也可以生成任何其他用來向鑒別器隱藏細(xì)節(jié)的數(shù)據(jù)。后者就是這個(gè)概念的有趣之處。

生成對抗網(wǎng)絡(luò)。圖片來源：O’Reilly

 舉幾個(gè)例子

這是一個(gè)新的領(lǐng)域，并且它的圖像生成能力吸引了像宇航員這樣的人的關(guān)注。但是，我們相信它會演化出更新穎的使用場景。

告訴我更多！

通過使用 GAN 的損失函數(shù)，領(lǐng)域適應(yīng)問題可以做的更好。這里所說的輔助損失是一個(gè) GAN 系統(tǒng)而不是一個(gè)單純的領(lǐng)域分類。這個(gè) GAN 系統(tǒng)中的鑒別器嘗試分類某個(gè)數(shù)據(jù)是從那個(gè)領(lǐng)域來的，生成器則嘗試通過一些隨機(jī)噪音產(chǎn)生的數(shù)據(jù)來欺騙它。在我們的經(jīng)驗(yàn)中，這種方法比普通的領(lǐng)域適應(yīng)（這種方法也更容易在編寫時(shí)出錯(cuò)）要更好一些。

少樣本學(xué)習(xí)（Few Shot Learning）

這是什么？

少樣本學(xué)習(xí)是一種能夠讓深度學(xué)習(xí)（或者任何機(jī)器學(xué)習(xí)算法）通過更少的樣本學(xué)習(xí)，而不像傳統(tǒng)的那樣使用大量樣本的技術(shù)。單樣本學(xué)習(xí)（One Shot Learning）就是通過每個(gè)分類中取一個(gè)樣本來學(xué)習(xí)。推而廣之，K 樣本學(xué)習(xí)（K-shot Learning）就是每個(gè)分類中取 K 個(gè)樣本學(xué)習(xí)。

使用每個(gè)類別中的少量樣本進(jìn)行單樣本學(xué)習(xí)。圖片來源：Google DeepMind

 舉幾個(gè)例子

少樣本學(xué)習(xí)是在所有深度學(xué)習(xí)的會議上都能看到大量論文的一個(gè)領(lǐng)域?，F(xiàn)在有一些特定的數(shù)據(jù)集可以用來衡量它們的性能，例如 MNIST 和 CIFAR，這些一般用于機(jī)器學(xué)習(xí)的數(shù)據(jù)集。單樣本學(xué)習(xí)有不少在特定圖像分類問題上的應(yīng)用，例如特征識別和表示。

告訴我更多！

我們有很多方法來實(shí)現(xiàn)少樣本學(xué)習(xí)，包括遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)和元學(xué)習(xí)。有時(shí)作為整個(gè)算法，有時(shí)作為算法的一部分。也有一些其他的方法，比如使用更聰明的損失函數(shù)，使用動(dòng)態(tài)的架構(gòu)或者使用一些優(yōu)化技巧。零樣本學(xué)習(xí)，該算法聲稱它可以預(yù)測那些從來沒有見過的分類里的數(shù)據(jù)，本質(zhì)就是一種可以隨著新類型的數(shù)據(jù)而擴(kuò)展的算法。

元學(xué)習(xí)

這是什么？

元學(xué)習(xí)就像它聽起來的那樣，是一種可以通過一個(gè)數(shù)據(jù)集，生成一個(gè)專為這個(gè)數(shù)據(jù)集準(zhǔn)備的新機(jī)器學(xué)習(xí)算法。這個(gè)定義第一眼看感覺非常前衛(wèi)。你會感覺到，“哇，這不就是數(shù)據(jù)科學(xué)家們做的事情嗎！”，它把“21 世紀(jì)最性感的工作”給自動(dòng)化了！在某種程度上，元學(xué)習(xí)算法已經(jīng)開始做這樣的事情了（引用自 Google 的博文和這篇論文）。

在一些少樣本圖像分類問題上構(gòu)建元學(xué)習(xí)的例子。圖片來源：Ravi et.al.

 舉幾個(gè)例子

元學(xué)習(xí)已經(jīng)成為了最近深度學(xué)習(xí)領(lǐng)域的熱門話題。有非常多的研究論文發(fā)表，大多數(shù)都使用了超參數(shù)和神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu)的方法，尋找好的網(wǎng)絡(luò)架構(gòu)，少樣本的圖像識別和高速的強(qiáng)化學(xué)習(xí)。你可以在這里找到更多易于理解的關(guān)于應(yīng)用場景的文章。

告訴我更多！

一些人把這樣完完全全的自動(dòng)化決定參數(shù)、超參數(shù)和網(wǎng)絡(luò)架構(gòu)的方法稱為 AutoML，同時(shí)你也可能發(fā)現(xiàn)人們把元學(xué)習(xí)和 AutoML 看作兩個(gè)不同的領(lǐng)域。盡管元學(xué)習(xí)和 AutoML 伴隨著非常多的炒作，但真相是元學(xué)習(xí)算法仍然是在數(shù)據(jù)復(fù)雜度和多樣性變得越來越大的時(shí)候，可以用于擴(kuò)展機(jī)器學(xué)習(xí)算法的一種好方法。

大多數(shù)元學(xué)習(xí)論文都運(yùn)用了非常聰明的技巧。根據(jù) Wikipedia 上的資料，他們普遍擁有一些屬性：

• 系統(tǒng)必須包含一個(gè)學(xué)習(xí)系統(tǒng)，它會根據(jù)經(jīng)驗(yàn)來做適應(yīng)。
• 經(jīng)驗(yàn)通過利用元知識，要么從之前學(xué)習(xí)的單個(gè)數(shù)據(jù)集里獲得，要么從不同的領(lǐng)域知識獲得。
• 學(xué)習(xí)偏差必須動(dòng)態(tài)選擇。

子系統(tǒng)的建立是為了適應(yīng)當(dāng)領(lǐng)域元數(shù)據(jù)被加入到系統(tǒng)中的情況。這個(gè)元數(shù)據(jù)可以告訴我們分類數(shù)量的增長，復(fù)雜度，顏色、材質(zhì)和物體的變化（在圖像問題中），風(fēng)格，語言模式（在自然語言問題中）和其他相似的特征。你可以看看一些非?？岬恼撐模篗eta-Learning Shared Hierarchies 和 Meta-Learning Using Temporal Convolutions。你也可以用元學(xué)習(xí)的架構(gòu)來構(gòu)建少樣本學(xué)習(xí)或零樣本學(xué)習(xí)的算法。元學(xué)習(xí)是最有前景能夠塑造 AI 未來的算法之一。

神經(jīng)推理

這是什么？

神經(jīng)推理是在圖像分類領(lǐng)域里的下一個(gè)重磅新事物。神經(jīng)推理在模式識別上更深入了一步，其算法不再只是簡單地認(rèn)出和分類文本和圖像。神經(jīng)推理正在解決文本分析和視覺分析中更通用的問題。例如，下面的圖片中展示了一系列問題，而這些問題神經(jīng)推理能夠通過圖像給出解答。

告訴我更多！

在 Facebook 放出它最新的 CLEVR 數(shù)據(jù)集之后，這一系列新技術(shù)就出現(xiàn)了。這些用于發(fā)掘圖像中物體的關(guān)系，而不只是其中的模式的技術(shù)，展示了非常巨大的潛力。它可能不只是解決神經(jīng)推理的問題，還有可能解決很多其他困難的問題，包括少樣本學(xué)習(xí)問題等。

小結(jié)

現(xiàn)在我們了解了這些技術(shù)是什么，讓我們回到最開始，來看看它們?nèi)绾谓鉀Q我們最開始提出的問題。下面的表格給出了這些“有效學(xué)習(xí)”技術(shù)的在解決這些挑戰(zhàn)時(shí)的能力：

“有效學(xué)習(xí)”技術(shù)的能力

• 所有我們上面提到的技術(shù)都能通過某些方法，幫助我們解決在少量數(shù)據(jù)上訓(xùn)練的問題。元學(xué)習(xí)會給出一個(gè)與訓(xùn)練數(shù)據(jù)匹配的架構(gòu)；遷移學(xué)習(xí)則利用一些其他領(lǐng)域的知識來彌補(bǔ)少量的訓(xùn)練數(shù)據(jù)；少樣本學(xué)習(xí)致力于解決科學(xué)學(xué)科專業(yè)的問題；而對抗學(xué)習(xí)則可以幫助增強(qiáng)數(shù)據(jù)集。
• 領(lǐng)域適應(yīng)（多任務(wù)學(xué)習(xí)的一種），對抗學(xué)習(xí)和元學(xué)習(xí)的架構(gòu)幫助解決了數(shù)據(jù)多樣性增長所引起的問題。
• 元學(xué)習(xí)和少樣本學(xué)習(xí)幫助解決了數(shù)據(jù)量變大的問題。
• 通過與元學(xué)習(xí)算法和少樣本學(xué)習(xí)算法結(jié)合起來，神經(jīng)推理算法展現(xiàn)出了解決真實(shí)世界問題的潛力。

請注意：這些“有效學(xué)習(xí)”技術(shù)并不是新的深度學(xué)習(xí)或機(jī)器學(xué)習(xí)技術(shù)，而是用于增強(qiáng)現(xiàn)有技術(shù)的技巧，讓他們能夠在現(xiàn)有的情況下表現(xiàn)的更好。因此，你還是會在實(shí)戰(zhàn)中使用例如卷積神經(jīng)和 LSTM 網(wǎng)絡(luò)這樣的工具，不過會被加上一些“特技”。這些只需要更少的數(shù)據(jù)還能夠同時(shí)解決多個(gè)問題的“有效學(xué)習(xí)”技術(shù)，能夠幫助我們更簡單地部署算法，更簡單地商業(yè)化 AI 驅(qū)動(dòng)的產(chǎn)品和服務(wù)。