[[202011]]

為了保護克里特島防御海盜和入侵者，人們創(chuàng)造了巨型青銅戰(zhàn)士塔羅斯(Talos)。他每天環(huán)繞全島三圈，勇武的造型嚇得海盜們只能另覓他處。但在勇猛外表下，塔羅斯并沒有所謂的“勇士之心”，他只是個機器人。就像稻草人一樣，生來只是為了對外表現(xiàn)出這種驍勇形象。然而信徒們認為，匠人已經(jīng)為塔羅斯這樣的作品灌注了真正的心智、喜怒哀樂、思想，以及智慧。當然這不是真的。塔羅斯也僅僅是夢想的一種外在表現(xiàn)，而這樣的夢想幾乎貫穿了人類的整個歷史：我們多想創(chuàng)造出如同我們自己一樣栩栩如生的智慧生命啊。

科學家、數(shù)學家、哲學家，甚至作家，對于創(chuàng)造所謂“會思考的機器”的方法已經(jīng)思考了很久。同時，又有什么比人類自身更像是“會思考的機器”呢?

自從創(chuàng)造出諸如塔羅斯這樣會動的機器后，我們身邊的匠人們對于簡單的“擬人”智慧就不再感興趣了，他們開始追求真正的智慧。這些“沒頭腦”的機器人僅讓他們管窺到智慧之表，卻并未揭示智慧之本。為此他們必須深入領略智慧最明確的體現(xiàn)：人類的心靈。

人們很快意識到，人類與其他不那么智慧的生物間最大的差別，并不在于腦容量或在地球上生存時間的長短，真相其實很簡單，僅僅在于我們卓越的推理能力。因此首個可編程計算機的構想產(chǎn)生后，我們會理所當然地認為，這樣的計算機將能模擬任何形式的推理過程，至少能夠像人一樣進行推理。事實上，“計算機(Computer)”這個詞的首次使用可以上溯至1640年代的英格蘭，當時這個詞被用于代表“會進行計算的人”。

最開始，這個過程的進展非常緩慢。1940年代，當時最先進的哈佛馬克一號(Harvard Mark I)是一個重達10,000磅，由數(shù)千個機械組件驅(qū)動的“怪獸”，為了讓這個機器動起來，內(nèi)部共使用了長達500英里的線纜。盡管有如此精心巧妙的設計，這個機器每秒鐘只能執(zhí)行三次加法運算。但隨著摩爾定律的影響，計算機很快在形式推理各種任務的執(zhí)行方面獲得了超出人類能力的表現(xiàn)。研究人員對所取得的進展感到驚喜，并斷言只要按照這樣的速度繼續(xù)發(fā)展，首個真正完善的“會思考的機器”變?yōu)楝F(xiàn)實將僅僅是時間問題。1960年代，20世紀知名學者司馬賀(Herbert Simon)甚至宣稱：“20年內(nèi)，機器將能從事人能做到的一切工作”。很可惜，雖然足夠驚人，但這個預言沒能實現(xiàn)。

實際上計算機確實很擅長解決能夠通過一系列邏輯和數(shù)學規(guī)則定義的問題，但更大的挑戰(zhàn)在于讓計算機解決無法通過這種以“聲明”方式歸納提煉的問題，例如識別圖片中的人臉，或者翻譯人的語言。

整個世界始終混亂不堪，機器下象棋的水平也許遠勝于人類，甚至可能贏得象棋錦標賽冠軍，但放眼現(xiàn)實世界，機器的作用其實和橡皮小黃鴨差不多(除非你從事的本身就是小黃鴨調(diào)試法，那就要另說了)。

意識到這一點后，很多AI領域的研究者開始拒絕承認符號化AI(Symbolic AI，一種描述形式推理方法的涵蓋性術語，至今依然在AI研究領域處于支配地位)是創(chuàng)建人工智能機器的最佳方式這一原則。符號化AI的基石，例如Situation Calculus(情景演算)和First-Order Logic(一階邏輯)被證明因為過于形式化并且過于嚴格而無法容納現(xiàn)實世界中的所有不確定性。我們需要新的方法。

一些研究人員決定通過更為巧妙的“模糊邏輯(Fuzzy Logic)”尋求答案，在這種邏輯范式中，真實的值不是簡單的0和1，而可以是介于這兩個數(shù)之間的任何值。還有其他研究人員決定專注于別的新興領域，例如“機器學習”。

機器學習彌補了形式邏輯的不足，可順利解決真實世界的不確定性問題。這種方式并不需要將有關現(xiàn)實世界的所有知識“硬編碼”至一系列嚴格的邏輯公式中，而是可以教計算機自行推導出所需知識。也就是說，我們并不需要告訴計算機“這是一把椅子”或“這是一張桌子”，我們可以教計算機學習如何將椅子和桌子的概念區(qū)分開來。機器學習領域的研究人員會謹慎地避免使用確定性概念描述整個世界，因為這種嚴格的描述特性與現(xiàn)實世界的本質(zhì)是截然相悖的。

于是他們決定使用統(tǒng)計學和概率論語言來描述整個世界。

機器學習算法并不需要了解真理和謬誤，只需要了解真實和虛假的程度，也就是概率。

這種使用概率，以數(shù)值方式了解現(xiàn)實世界中所存在不確定性的想法，使得貝氏統(tǒng)計學(Bayesian statistics)成為機器學習的基石。“頻率學派(Frequentists)”對此有不同看法，不過這個分歧還是另行撰文介紹吧。

很快，諸如邏輯回歸和樸素貝葉斯等簡單的機器學習算法已經(jīng)可以教計算機區(qū)分合法郵件和垃圾郵件，并能根據(jù)面積預測房屋價格。邏輯回歸是一種相當簡單的算法：給出一個輸入向量x，模型會直接將這個x分類至{1, 2, …, k}多個類別之一。

然而這就會導致一個問題。

這種簡單算法的效果嚴重依賴所使用的數(shù)據(jù)表達方法(Goodfellow et al. 2017)。

為了更形象地理解這個問題，可以試著假設構建一種使用邏輯回歸判斷是否建議進行剖腹產(chǎn)的機器學習系統(tǒng)。系統(tǒng)無法直接檢查產(chǎn)婦，因此需要通過醫(yī)生提供的信息來判斷。這種信息可能包含是否存在子宮疤痕、懷孕月數(shù)、產(chǎn)婦年齡等。每個信息可以算作一個特征，通過將不同特征結合起來，AI系統(tǒng)就可以全面了解產(chǎn)婦的表征。

通過提供訓練數(shù)據(jù)，邏輯回歸算法可以學習產(chǎn)婦的不同特征與各種結果之間的關系。例如，算法可以從訓練數(shù)據(jù)中發(fā)現(xiàn)，隨著產(chǎn)婦年齡的增長，分娩過程中出現(xiàn)“惡心反胃”情況的風險會增加，因此算法會降低向高齡產(chǎn)婦推薦自然分娩的概率。

雖然邏輯回歸可將表征與結果對應，但實際上并不能決定哪些特征可以組成產(chǎn)婦的表征。

如果直接為邏輯回歸算法提供患者的MRI掃描結果，而非醫(yī)生的正式報告，那么算法將無法提供有用的預測(Goodfellow et al. 2017)。

單純就MRI掃描結果中的每個像素來說，幾乎無法幫助我們判斷產(chǎn)婦分娩過程中遇到并發(fā)癥的可能。

這種足夠好的表征，與足夠好結果之間的依賴性廣泛存在于計算機科學和我們的日常生活中。例如，我們幾乎可以瞬間在Spotify上找到任何歌曲，因為他們的曲庫很可能就是用智能的數(shù)據(jù)結構來存儲的，例如三元搜索嘗試(Ternary search tries)，而非常見的簡單結構，例如無序數(shù)組。另一個例子：學童可以使用阿拉伯數(shù)字輕松進行數(shù)學計算，但如果使用羅馬數(shù)字，情況就截然不同了。機器學習也是如此，輸入表征的選擇將對學習算法的效果產(chǎn)生巨大影響。

圖1.1：不同表征的范例：假設我們需要在散點圖上畫一根線將兩類數(shù)據(jù)分開。左圖使用笛卡爾坐標系呈現(xiàn)這些數(shù)據(jù)，此時幾乎無法做到;右圖對同一批數(shù)據(jù)使用了極坐標系，一條豎線即可解決問題。此圖與David Warde-Farley合作制作。

David Warde-Farley, Goodfellow et al. 2017

因此人工智能領域的很多問題實際上可以通過為輸入數(shù)據(jù)尋找更適合的表征這種方式進行簡化。例如，假設我們要設計一套算法來學習識別Instagram照片中的漢堡。首先要構建一個用來描述所有漢堡的特征集。最初我們可能會用圖片中的原始像素值來描述漢堡，一開始你也許覺得這種做法很合理，但很快會發(fā)現(xiàn)根本不是這樣。

單憑原始像素值，很難描述漢堡看起來是什么樣的。想想你自己在麥當勞點漢堡時的場景吧(如果你還會在他家吃飯的話)。你也許會用不同“特征”來描述自己想要怎樣的漢堡，例如奶酪、三分熟的牛肉餅、表面撒有芝麻的圓面包、生菜、紅洋蔥，以及各種醬料。結合這種情況考慮，也許可以用類似的方式構造我們需要的特征集。我們可以將漢堡描述成一種不同成分的集合，每個成分又可以用各自不同的特征集來描述。大部分漢堡的成分都可以用其顏色和外形來描述，進而漢堡作為整體也就可以使用不同成分的顏色和外形來描述了。

但如果漢堡不在照片正中央，周圍有其他顏色相近的物體，或者是一間風格迥異的餐廳，他們提供沒有“組裝”在一起的漢堡，此時又該怎么辦?算法該如何區(qū)分這些顏色或幾何造型?最顯而易見的解決方式無疑是增加更多(可分辨的)特征，但這也僅僅是權宜之計，很快你將會遇到更多邊緣案例，需要增加更多特征才能區(qū)分類似圖片。輸入的表征越來越復雜，計算成本增加，同時會讓情況變得更棘手。因此從業(yè)者現(xiàn)在不僅需要關注數(shù)量，同時也要關注所輸入表征中，所有特征的表現(xiàn)能力。對于任何機器學習算法，尋找完美的特征集都是一個復雜過程，需要花費大量時間精力，甚至需要大量有經(jīng)驗的研究人員投入數(shù)十年的時間。

確定如何以最佳方式呈現(xiàn)輸入給學習算法的數(shù)據(jù)，行話來說實際上是一種“表征”問題。

1990年代末到2000年代初，機器學習算法在不完美輸入表征方面的局限對AI發(fā)展產(chǎn)生了巨大阻礙。在設計輸入特征的表征時，工程師們沒有任何選擇，只能依賴人類自身的才智以及圍繞問題所在領域的先驗知識(Prior knowledge)克服這些局限。長久以來，這樣的“特征工程”始終站不住腳，如果某個學習算法無法從未篩選的原始輸入數(shù)據(jù)中提取出任何見解，那么用更具哲學意義的話來說，它就無法理解我們的世界。

面對這些困難，研究人員快速發(fā)現(xiàn)了一種應對之道。如果機器學習算法的目標是學著將表征與輸出結果進行映射，為何不教它們學習表征本身。這種方式也叫做表征學習。最著名的例子可能就是autoencoder，這是一種神經(jīng)網(wǎng)絡，根據(jù)人腦和神經(jīng)系統(tǒng)進行建模的計算機系統(tǒng)。

Autoencoder實際上是編碼器(Encoder)函數(shù)和解碼器(Decoder)函數(shù)的組合，編碼器函數(shù)負責將輸入的數(shù)據(jù)轉(zhuǎn)換為不同表征，解碼器函數(shù)負責將中間態(tài)的表征重新轉(zhuǎn)換為原始格式，并在這一過程中盡可能多地保留信息。這樣就可以在編碼器和解碼器之間產(chǎn)生一個分界(Split)，輸入的“噪音”圖像可解碼出更有用的表征。例如，噪音圖像可能是一張Instagram照片，其中有一個漢堡，周圍還有很多顏色近似的物體。解碼器可以消除這些“噪音”，只保留描述漢堡本身所需的圖片特征。

作者：Chervinskii，自行制作，依CC BY-SA 4.0方式許可.

但就算有了autoencoder，問題依然存在。為了消除噪音，autoencoder(以及任何其他表征學習算法)必須能精確確定哪些因素對輸入數(shù)據(jù)的描述是最重要的。我們希望自己的算法能選擇恰當?shù)囊蛩?，使其更好地識別出真正感興趣的圖片(例如包含漢堡的圖片)，并排除不感興趣的圖片。在漢堡這個例子中，我們已經(jīng)明確，如果能更專注于圖片中不同元素的外形和顏色，而非只關注圖片的原始像素值，就可以很好地區(qū)分包含和不包含漢堡的圖片。然而永遠都是知易行難。重點在于教算法如何從不重要的因素中解讀出重要的因素，也就是說，需要教算法識別所謂的因素變體(Factors of variation)。

初看起來，表征學習似乎沒法解決這個問題，但還是仔細看看吧。

編碼器接受輸入的表征并通過傳入一個隱藏層(中間層)，將輸入結果壓縮為略小一點的格式。解碼器的作用截然相反：將輸入內(nèi)容重新解壓縮為原始格式，并盡可能多地保留信息。兩種情況下，如果隱藏層能夠知道哪些因素是描述輸入內(nèi)容時最重要的，并盡可能確保這些因素在該層傳遞過程中不會從輸入數(shù)據(jù)中消除，輸入數(shù)據(jù)中包含的信息將得到最大程度的保留。

在上圖示例中，編碼器和解碼器分別只包含一個隱藏層：一層用于壓縮，一層用于解壓縮。這種粗粒度的層數(shù)意味著算法在判斷如何以最佳方式對輸入數(shù)據(jù)進行壓縮和解壓縮，進而保留最大量信息的過程中缺乏足夠靈活性。但如果略微改動一下設計，引入多個隱藏層并按順序堆疊在一起，在選擇重要因素時，算法就可以更自由地判斷對輸入數(shù)據(jù)壓縮和解壓縮的最佳方式。

這種在神經(jīng)網(wǎng)絡中使用多個隱藏層的方法就是深度學習。

但事情還沒完，深度學習還可以更進一步。在使用多個隱藏層后，只需構造一個更簡單的層就可以建立復雜的表征。通過按順序堆疊隱藏層，我們可以在每一層中識別新的因素變體，這樣算法就可以用更簡單的層表達更復雜的概念。

Zeiler and Fergus (2014)

深度學習有著深遠悠久的歷史。這一領域的中心思想早在1960年代就已通過多層感知器(Multi-layer perceptrons)的形式誕生，后來在1970年代首次出現(xiàn)了更實用的反向傳播算法，1980年代出現(xiàn)了人工神經(jīng)網(wǎng)絡。盡管歷史悠久，這些技術依然花了數(shù)十年才變得實用。這些算法本身并不差(盡管很多人這樣想)，我們只是沒有意識到為了讓他們變得足夠?qū)嵱眯枰峁┒啻罅康臄?shù)據(jù)。

由于統(tǒng)計噪聲的影響，小規(guī)模數(shù)據(jù)樣本更有可能獲得極端的結果。然而只要增大數(shù)據(jù)量，就可以降低噪聲影響讓深度學習模型更精確地確定輸入數(shù)據(jù)最適合的描述因素。

毫無疑問，21世紀初，深度學習終于一飛沖天，與此同時很多大型科技公司也發(fā)現(xiàn)自己正坐在有待開發(fā)的數(shù)據(jù)金礦頂端。