幾千年來，人們就已經(jīng)有了思考如何構(gòu)建智能機(jī)器的想法。從那時(shí)開始，人工智能 (AI) 經(jīng)歷了起起落落，這證明了它的成功以及還未實(shí)現(xiàn)的潛能。如今，隨時(shí)都能聽到應(yīng)用機(jī)器學(xué)習(xí)算法來解決新問題的新聞。從癌癥檢測(cè)和預(yù)測(cè)到圖像理解和總結(jié)以及自然語言處理，AI 正在增強(qiáng)人們的能力和改變我們的世界。

現(xiàn)代 AI 的歷史包含一部偉大的戲劇應(yīng)具有的所有要素。上世紀(jì) 50 年代，隨著對(duì)思維機(jī)器及阿蘭·圖靈和約翰·馮·諾依曼等著名人物的關(guān)注，AI 開始嶄露頭角。盡管隨后經(jīng)歷了數(shù)十年的繁榮與蕭條，并被寄予了難以實(shí)現(xiàn)的厚望，但 AI 和它的先驅(qū)們?nèi)匀灰恢痹谂η靶?。如今，AI 展現(xiàn)出了它的真正潛力，專注于應(yīng)用并提供深度學(xué)習(xí)和認(rèn)知計(jì)算等技術(shù)。

本文將探索 AI 的一些重要方面和它的子領(lǐng)域。我們首先會(huì)分析 AI 的時(shí)間線，然后深入介紹每種要素。

現(xiàn)代 AI 的時(shí)間線

從上世紀(jì) 50 年代開始，現(xiàn)代 AI 開始專注于所謂的強(qiáng) AI，強(qiáng) AI 指的是能普遍執(zhí)行人類所能執(zhí)行的任何智能任務(wù)的 AI。強(qiáng) AI 的進(jìn)展乏力，最終導(dǎo)致了所謂的弱 AI，或者將 AI 技術(shù)應(yīng)用于更小范圍的問題。直到上世紀(jì) 80 年代，AI 研究被拆分為這兩種范式。但在 1980 年左右，機(jī)器學(xué)習(xí)成為了一個(gè)突出的研究領(lǐng)域，它的目標(biāo)是讓計(jì)算機(jī)能學(xué)習(xí)并構(gòu)建模型，以便能夠執(zhí)行一些活動(dòng)，比如特定領(lǐng)域中的預(yù)測(cè)。

圖 1. 現(xiàn)代人工智能的時(shí)間線

 

點(diǎn)擊查看大圖深度學(xué)習(xí)于 2000 年左右出現(xiàn)，建立在 AI 和機(jī)器學(xué)習(xí)的研究成果之上。計(jì)算機(jī)科學(xué)家通過新的拓?fù)浣Y(jié)構(gòu)和學(xué)習(xí)方法，在許多層中使用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的這次演變成功解決了各種不同領(lǐng)域的復(fù)雜問題。

在過去 10 年中，認(rèn)知計(jì)算興起，它的目標(biāo)是構(gòu)建能學(xué)習(xí)并自然地與人交流的系統(tǒng)。IBM Watson 通過在 Jeopardy 比賽上成功擊敗世界級(jí)對(duì)手，證明了認(rèn)知計(jì)算的能力。

在本教程中，我將探索每個(gè)領(lǐng)域，解釋一些促使認(rèn)知計(jì)算取得成功的重要算法。

基礎(chǔ) AI

1950 年前的研究中提出了大腦由電脈沖網(wǎng)絡(luò)組成的理念，這些脈沖觸發(fā)并以某種方式精心組織形成思想和意識(shí)。阿蘭·圖靈表明任何計(jì)算都能以數(shù)字方式實(shí)現(xiàn)，那時(shí)，距離實(shí)現(xiàn)構(gòu)建一臺(tái)能模仿人腦的機(jī)器的想法也就不遠(yuǎn)了。

許多早期研究都重點(diǎn)關(guān)注過這個(gè)強(qiáng) AI 方面，但這一時(shí)期也引入了一些基礎(chǔ)概念，如今的所有機(jī)器學(xué)習(xí)和深度學(xué)習(xí)都是在這些概念基礎(chǔ)上建立起來的。

圖 2. 1980 年前的人工智能方法的時(shí)間線

 

AI 即搜索

AI 中的許多問題都可以通過暴力搜索(比如深度或廣度優(yōu)先搜索)來解決。但是，考慮到普通問題的搜索空間，基本搜索很快就會(huì)招架不住。AI 即搜索的最早示例之一是一個(gè)下棋程序的開發(fā)。Arthur Samuel 在 IBM 701 Electronic Data Processing Machine 上構(gòu)建了第一個(gè)這樣的程序，對(duì)搜索樹執(zhí)行一種名為 α-β 剪枝技術(shù)(alpha-beta pruning)的優(yōu)化。他的程序還會(huì)記錄特定某步棋的回報(bào)，允許應(yīng)用程序?qū)W習(xí)每一場(chǎng)比賽(使它成為了第一個(gè)自主學(xué)習(xí)的程序)。為了提高程序的學(xué)習(xí)速度，Samuel 將它設(shè)計(jì)為能夠自己跟自己下棋，提高了它的下棋和學(xué)習(xí)能力。

盡管可以成功地應(yīng)用對(duì)許多簡(jiǎn)單問題的搜索，但隨著選擇數(shù)量的增加，該方法很快就會(huì)行不通。以簡(jiǎn)單的井字棋游戲?yàn)槔Ｔ谟螒蜷_始時(shí)，有 9 種可能的棋著。每步棋著會(huì)導(dǎo)致 8 種可能的對(duì)抗棋著，以此類推。井字棋完整的棋著樹(未進(jìn)行旋轉(zhuǎn)優(yōu)化來刪除重復(fù)棋著)有 362,880 個(gè)節(jié)點(diǎn)。如果您將同樣的思維試驗(yàn)推廣到象棋或圍棋，很快就會(huì)看到搜索的缺點(diǎn)。

感知器

感知器是一種用于單層神經(jīng)網(wǎng)絡(luò)的早期的監(jiān)督式學(xué)習(xí)算法。給定一個(gè)輸入特征矢量，感知器算法就能學(xué)習(xí)將輸入劃分到特定類別。通過使用訓(xùn)練集，可以更新線性分類的網(wǎng)絡(luò)的權(quán)值和閥值。感知器最初是針對(duì) IBM 704 實(shí)現(xiàn)的，隨后被用在定制硬件上，用于圖像識(shí)別。

圖 3. 感知器和線性分類

 

作為線性分類器，感知器能線性地分離問題。感知器的局限性的重要示例是，它無法學(xué)習(xí)一個(gè)異或 (XOR) 函數(shù)。多層感知器解決了這一問題，為更復(fù)雜的算法、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和深度學(xué)習(xí)鋪平了道路。

集群算法

對(duì)于感知器，學(xué)習(xí)方法是監(jiān)督式的。用戶提供數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)，然后針對(duì)新數(shù)據(jù)來測(cè)試網(wǎng)絡(luò)。集群算法采用了一種不同的學(xué)習(xí)方法，叫做無監(jiān)督學(xué)習(xí)。在此模型中，算法基于數(shù)據(jù)的一個(gè)或多個(gè)屬性，將一組特征矢量組織到集群中。

圖 4. 二維特征空間中的集群

 

可通過少量代碼實(shí)現(xiàn)的最簡(jiǎn)單的算法之一稱為 k 均值。在此算法中，k 表示您可向其中分配樣本的集群數(shù)量。您可以使用一個(gè)隨機(jī)特征矢量初始化一個(gè)集群，然后將其他所有樣本添加到離它們最近的集群(前提是每個(gè)樣本表示一個(gè)特征矢量，而且使用了一種歐幾里德距離來標(biāo)識(shí) “距離”)。隨著您將樣本添加到集群中，它的質(zhì)心 — 即集群的中心 — 會(huì)被重新計(jì)算。然后該算法會(huì)再次檢查樣本，確保它們存在于最近的集群中，并在沒有樣本改變集群成員關(guān)系時(shí)停止運(yùn)行。

盡管 k 均值的效率相對(duì)較高，但您必須提前指定 k。根據(jù)所用的數(shù)據(jù)，其他方法可能更高效，比如分層或基于分布的集群方法 。

決策樹

與集群緊密相關(guān)的是決策樹。決策樹是一種預(yù)測(cè)模型，對(duì)可得出某個(gè)結(jié)論的觀察值進(jìn)行預(yù)測(cè)。樹上的樹葉代表結(jié)論，而節(jié)點(diǎn)是觀察值分叉時(shí)所在的決策點(diǎn)。決策樹是利用決策樹學(xué)習(xí)算法來構(gòu)建的，它們根據(jù)屬性值測(cè)試將數(shù)據(jù)集拆分為子集(通過一個(gè)稱為遞歸分區(qū)的流程)。

考慮下圖中的示例。在這個(gè)數(shù)據(jù)集中，我可以根據(jù) 3 個(gè)因素來觀察某個(gè)人何時(shí)的生產(chǎn)力較高。使用決策樹學(xué)習(xí)算法時(shí)，我可以使用一個(gè)指標(biāo)來識(shí)別屬性(比如信息增益)。在這個(gè)示例中，情緒是生產(chǎn)力的主要因素，所以我依據(jù) “good mood” 是 Yes 還是 No 來拆分?jǐn)?shù)據(jù)集。No 分支很簡(jiǎn)單：它始終導(dǎo)致生產(chǎn)力低下。但是，Yes 分支需要根據(jù)其他兩個(gè)屬性來再次拆分?jǐn)?shù)據(jù)集。我給數(shù)據(jù)集涂上顏色，以演示何處的觀察值通向我的葉節(jié)點(diǎn)。

圖 5. 一個(gè)簡(jiǎn)單的數(shù)據(jù)集和得到的決策樹

 

點(diǎn)擊查看大圖決策樹的一個(gè)有用方面是它們的內(nèi)在組織，您能輕松且圖形化地解釋您是如何分類一個(gè)數(shù)據(jù)項(xiàng)的。流行的決策樹學(xué)習(xí)算法包括 C4.5 和分類回歸樹。

基于規(guī)則的系統(tǒng)

第一個(gè)根據(jù)規(guī)則和推斷來構(gòu)建的系統(tǒng)稱為 Dendral，是 1965 年開發(fā)出來的，但直到上世紀(jì) 70 年代，這些所謂的 “專家系統(tǒng)” 才得到大力發(fā)展。基于規(guī)則的系統(tǒng)可以存儲(chǔ)知識(shí)和規(guī)則，并使用一個(gè)推理系統(tǒng)來得出結(jié)論。

基于規(guī)則的系統(tǒng)通常包含一個(gè)規(guī)則集、一個(gè)知識(shí)庫、一個(gè)推理引擎(使用前向或后向規(guī)則鏈)，以及一個(gè)用戶界面。在下圖中，我使用一段信息(“蘇格拉底是一個(gè)凡人”)、一條規(guī)則(“凡人終有一死”)和一次關(guān)于誰會(huì)死的交互。

圖 6. 一個(gè)基于規(guī)則的系統(tǒng)

 

基于規(guī)則的系統(tǒng)已應(yīng)用于語音識(shí)別，規(guī)劃和控制，以及疾病識(shí)別。上世紀(jì) 90 年代開發(fā)的一個(gè)監(jiān)視和診斷壩體穩(wěn)定性的系統(tǒng) Kaleidos 至今仍在運(yùn)營。

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是 AI 和計(jì)算機(jī)科學(xué)的一個(gè)子領(lǐng)域，起源于統(tǒng)計(jì)學(xué)和數(shù)學(xué)優(yōu)化。機(jī)器學(xué)習(xí)涵蓋應(yīng)用于預(yù)測(cè)、分析和數(shù)據(jù)挖掘的監(jiān)督式和非監(jiān)督式學(xué)習(xí)技術(shù)。它并不僅限于深度學(xué)習(xí)，在本節(jié)中，我將探討一些實(shí)現(xiàn)這種效率奇高的方法的算法。

圖 7. 機(jī)器學(xué)習(xí)方法的時(shí)間線

 

反向傳播算法(Backpropagation)

神經(jīng)網(wǎng)絡(luò)的真正威力在于它們的多層變形。訓(xùn)練單層感知器很簡(jiǎn)單，但得到的網(wǎng)絡(luò)不是很強(qiáng)大。那么問題就變成了如何訓(xùn)練有多個(gè)層的網(wǎng)絡(luò)?這時(shí)就會(huì)用到反向傳播算法。

反向傳播是一種訓(xùn)練有許多層的神經(jīng)網(wǎng)絡(luò)的算法。它分兩個(gè)階段執(zhí)行。第一階段是通過一個(gè)神經(jīng)網(wǎng)絡(luò)將輸入傳播到最后一層(稱為前饋)。在第二階段，算法計(jì)算一個(gè)錯(cuò)誤，然后將此錯(cuò)誤從最后一層反向傳播(調(diào)節(jié)權(quán)值)到第一層。

圖 8. 反向傳播簡(jiǎn)圖

 

在訓(xùn)練期間，網(wǎng)絡(luò)的中間層自行進(jìn)行組織，以便將輸入空間的各部分映射到輸出空間。通過監(jiān)督式學(xué)習(xí)，反向傳播識(shí)別輸入-輸出映射中的錯(cuò)誤，然后相應(yīng)地(以一定的學(xué)習(xí)速率)調(diào)整權(quán)值來更正此錯(cuò)誤。反向傳播一直是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的一個(gè)重要方面。隨著計(jì)算資源消耗得更快和變得更廉價(jià)，反向傳播會(huì)繼續(xù)被應(yīng)用于更大更密集的網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks)

卷積神經(jīng)網(wǎng)絡(luò) (CNN) 是受動(dòng)物視覺皮質(zhì)啟發(fā)的多層神經(jīng)網(wǎng)絡(luò)。該架構(gòu)在各種應(yīng)用中都很有用，包括圖像處理。第一個(gè) CNN 是 Yann LeCun 創(chuàng)建的，當(dāng)時(shí)，該架構(gòu)專注于手寫字符識(shí)別任務(wù)，比如讀取郵政編碼。

LeNet CNN 架構(gòu)包含多層，這些層實(shí)現(xiàn)了特征提取，然后實(shí)現(xiàn)了分類。圖像被分成多個(gè)接受區(qū)，注入可從輸入圖像中提取特征的卷積層。下一步是池化，它可以(通過下采樣)降低提取特征的維度，同時(shí)(通常通過最大池化)保留最重要的信息。然后該算法執(zhí)行另一個(gè)卷積和池化步驟，注入一個(gè)完全連通的多層感知器。此網(wǎng)絡(luò)的最終輸出層是一組節(jié)點(diǎn)，這些節(jié)點(diǎn)標(biāo)識(shí)了圖像的特征(在本例中，每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)識(shí)別出的數(shù)字)。用戶可以通過反向傳播訓(xùn)練該網(wǎng)絡(luò)。

圖 9. LeNet 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

 

深層處理、卷積、池化和一個(gè)完全連通的分類層的使用，為神經(jīng)網(wǎng)絡(luò)的各種新應(yīng)用開啟了一扇門。除了圖像處理之外，CNN 還被成功應(yīng)用到許多視頻識(shí)別和自然語言處理的任務(wù)中。CNN 也已在 GPU 中獲得高效實(shí)現(xiàn)，顯著提高了它們的性能。

長(zhǎng)短期記憶

回想一下，在反向傳播的討論中曾提到過，該網(wǎng)絡(luò)是用前饋方式進(jìn)行訓(xùn)練的。在這個(gè)架構(gòu)中，用戶將輸入注入網(wǎng)絡(luò)中，通過隱藏層將它們前向傳播到輸出層。但是，還有許多其他神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。此處分析的拓?fù)浣Y(jié)構(gòu)允許在節(jié)點(diǎn)之間建立連接，以便形成一個(gè)定向循環(huán)。這些網(wǎng)絡(luò)被稱為遞歸神經(jīng)網(wǎng)絡(luò)，它們能反向饋送到前幾層或它們的層中的后續(xù)節(jié)點(diǎn)。該屬性使這些網(wǎng)絡(luò)成為處理時(shí)序數(shù)據(jù)的理想選擇。

1997 年，人們創(chuàng)建了一種名為長(zhǎng)短期記憶 (LSTM) 的特殊回歸網(wǎng)絡(luò)。LSTM 由記憶細(xì)胞組成，網(wǎng)絡(luò)中的這些細(xì)胞會(huì)短期或長(zhǎng)期記住一些值。

圖 10. 長(zhǎng)短期記憶網(wǎng)絡(luò)和記憶細(xì)胞

 

記憶細(xì)胞包含控制信息如何流進(jìn)或流出細(xì)胞的閘門。輸入門控制新信息何時(shí)能流入記憶中。遺忘門控制一段現(xiàn)有信息保留的時(shí)長(zhǎng)。最后，輸出門控制細(xì)胞中包含的信息何時(shí)用在來自該細(xì)胞的輸出中。記憶細(xì)胞還包含控制每個(gè)門的權(quán)值。訓(xùn)練算法通常沿時(shí)間反向傳播(反向傳播的一種變體)，可以根據(jù)得到的錯(cuò)誤來優(yōu)化這些權(quán)值。

LSTM 已被應(yīng)用于語音識(shí)別、手寫體識(shí)別、文本到語音合成、圖像字幕和其他各種任務(wù)。我很快會(huì)再介紹 LSTM。

深度學(xué)習(xí)

深度學(xué)習(xí)是一組相對(duì)較新的方法，它們正從根本上改變機(jī)器學(xué)習(xí)。深度學(xué)習(xí)本身不是一種算法，而是一系列通過無監(jiān)督學(xué)習(xí)來實(shí)現(xiàn)深度網(wǎng)絡(luò)的算法。這些網(wǎng)絡(luò)非常深，以至于(除了計(jì)算節(jié)點(diǎn)集群外)需要采用新計(jì)算方法(比如 GPU)來構(gòu)建它們。

本文目前為止探討了兩種深度學(xué)習(xí)算法：CNNs 和 LSTMs。這些算法的組合已用于實(shí)現(xiàn)多種非常智能的任務(wù)。如下圖所示，CNN 和 LSTM 已用于識(shí)別，以及使用自然語言描述照片或視頻。

圖 11. 組合使用卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)來描述圖片

 

點(diǎn)擊查看大圖深度學(xué)習(xí)算法也應(yīng)用于面部識(shí)別，能以 96% 的準(zhǔn)確度識(shí)別肺結(jié)核，自動(dòng)駕駛汽車，以及其他許多復(fù)雜的問題。

但是，盡管應(yīng)用深度學(xué)習(xí)算法取得了這些成果，但是仍有一些亟待我們解決的問題。最近，深度學(xué)習(xí)在皮膚癌檢測(cè)上的應(yīng)用發(fā)現(xiàn)，該算法比獲得職業(yè)認(rèn)證的皮膚科醫(yī)生更準(zhǔn)確。但是，皮膚科醫(yī)生能列舉促使他們得出診斷結(jié)果的因素，而深度學(xué)習(xí)程序無法識(shí)別其在分類時(shí)使用了哪些因素。這就是所謂的深度學(xué)習(xí)黑盒問題。

另一種應(yīng)用稱為 Deep Patient，能根據(jù)患者的醫(yī)療記錄成功地預(yù)測(cè)疾病。事實(shí)證明，該應(yīng)用預(yù)測(cè)疾病的能力比醫(yī)生好得多 — 甚至是眾所周知難以預(yù)測(cè)的精神分裂癥。所以，盡管這些模型很有效，但沒有人能真正弄清楚龐大的神經(jīng)網(wǎng)絡(luò)行之有效的原因。

認(rèn)知計(jì)算

AI 和機(jī)器學(xué)習(xí)都有許多生物靈感方面的示例。早期 AI 專注于構(gòu)建模仿人腦的機(jī)器的宏偉目標(biāo)，而認(rèn)知計(jì)算也致力于實(shí)現(xiàn)此目標(biāo)。

認(rèn)知計(jì)算是根據(jù)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)來構(gòu)建的，正在應(yīng)用來自認(rèn)知科學(xué)的知識(shí)來構(gòu)建模擬人類思維過程的系統(tǒng)。但是，認(rèn)知計(jì)算沒有專注于單組技術(shù)，而是涵蓋多個(gè)學(xué)科，包括機(jī)器學(xué)習(xí)、自然語言處理、視覺和人機(jī)交互。

IBM Watson 就是認(rèn)知計(jì)算的一個(gè)示例，在 Jeopardy 上，IBM Watson 證實(shí)了它最先進(jìn)的問答交互能力，但自那時(shí)起，IBM 已通過一系列 Web 服務(wù)擴(kuò)展了該能力。這些服務(wù)公開的應(yīng)用編程接口可用于視覺識(shí)別、語音到文本和文本到語音轉(zhuǎn)換功能，語言理解和翻譯，以及對(duì)話引擎，以構(gòu)建強(qiáng)大的虛擬代理。

結(jié)束語

本文僅介紹了 AI 發(fā)展史以及最新的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方法的一小部分。盡管 AI 和機(jī)器學(xué)習(xí)的發(fā)展跌宕起伏，但深度學(xué)習(xí)和認(rèn)知計(jì)算等新方法仍大大提高了這些學(xué)科的標(biāo)準(zhǔn)。有意識(shí)的機(jī)器可能仍無法實(shí)現(xiàn)，但幫助改善人類生活的系統(tǒng)目前已存在。