也許你覺得人工智能離你還有點遠(yuǎn)，只存在于谷歌那巨大無比的數(shù)據(jù)中心機房，或者充滿神秘感的麻省理工學(xué)院機器人實驗室。其實，透過互聯(lián)網(wǎng)和智能手機，人工智能已經(jīng)開始滲入我們每天的日常生活。

假設(shè)你生活在筆者老家，福建美麗的海濱城市廈門。早晨起來，當(dāng)你打開手機里的“今日頭條”APP，看看今天有什么新聞時，“今日頭條”的人工智能推薦系統(tǒng)會根據(jù)你過去的閱讀情況，給你推薦你特別喜歡的NBA籃球明星庫里的贏球消息。上班路上，當(dāng)你打開“百度地圖”APP，用語音直接說出了目的地“廈門大學(xué)”時，“百度地圖”會自動識別你略帶福建口音的普通話，并為你導(dǎo)航了一條不那么堵車的線路。到了公司，當(dāng)你打開郵件系統(tǒng)時，基于人工智能的反垃圾郵件算法已經(jīng)為你屏蔽了幾十條垃圾郵件，默默地幫助你提高工作效率。你還可以利用“科大訊飛”的人工智能語音輸入軟件口述完成一篇重要文件，并采用“谷歌翻譯”將文件翻譯成英文和西班牙文，然后發(fā)給你國外的客戶。中午吃完午餐，你和同事到附近的公園散步，看到草坪上有一棵樹開著紅花，非常美麗，你想知道這種花叫什么，于是你打開手機中的“形色”APP，拍照上傳，很快，人工智能圖像識別算法識別出這種花學(xué)名叫紅花羊蹄甲，又稱紫荊花，花語象征著兄弟情誼……

在這些給我們帶來方便和快樂的人工智能算法背后，最核心的就是目前人工智能領(lǐng)域最火熱的深度學(xué)習(xí)技術(shù)。第2章講述了人工智能在象棋和圍棋領(lǐng)域超越人類世界冠軍的故事，Alpha Go圍棋軟件特別強大的原因，是它的策略網(wǎng)絡(luò)和估值網(wǎng)絡(luò)，而這兩個子系統(tǒng)的產(chǎn)生，靠的也是深度學(xué)習(xí)。

也許你會問，什么是深度學(xué)習(xí)？簡單地說，機器學(xué)習(xí)是人工智能中很重要的一個學(xué)科，而深度學(xué)習(xí)是機器學(xué)習(xí)的一個分支。機器學(xué)習(xí)實現(xiàn)的是讓計算機透過大量的數(shù)據(jù)或以往的經(jīng)驗來學(xué)習(xí)，不斷優(yōu)化計算機程序的性能，實現(xiàn)分類或預(yù)測等功能。深度學(xué)習(xí)可以讓擁有多個處理層的神經(jīng)網(wǎng)絡(luò)計算模型來學(xué)習(xí)具有多層次抽象數(shù)據(jù)的表示，簡單地說，深度學(xué)習(xí)能夠發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)。這些概念雖然聽起來有點復(fù)雜，但是在本書的后續(xù)部分會作進(jìn)一步的解釋。

近幾年來，深度學(xué)習(xí)在圖像識別、語音識別、自然語言處理、機器人、醫(yī)學(xué)自動診斷、搜索引擎等方面都取得了非常驚人的成果，并且通過手機和互聯(lián)網(wǎng)開始全面影響人類的工作和生活。在本章中，讓我們來一起重溫深度學(xué)習(xí)的歷史，并且探討人工智能和深度學(xué)習(xí)的各種應(yīng)用。

早期的人工神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，早期的神經(jīng)網(wǎng)絡(luò)模型試圖模仿人類神經(jīng)系統(tǒng)和大腦的學(xué)習(xí)機理。1943年，神經(jīng)生理學(xué)家沃倫·麥卡洛克（Warren Mc Culloch）和邏輯學(xué)家沃爾特·皮茨（Walter Pitts）聯(lián)合發(fā)表了重要論文《神經(jīng)活動中內(nèi)在思想的邏輯演算》（A logical calculus of the ideas immanent in nervous activity）。在論文中，他們模擬人類神經(jīng)元細(xì)胞結(jié)構(gòu)提出了麥卡洛克-皮茨神經(jīng)元模型（McCulloch-Pitts Neuron Model，簡稱MP模型，見圖3.1），首次將神經(jīng)元的概念引入計算領(lǐng)域，提出了第一個人工神經(jīng)元模型，從此開啟了神經(jīng)網(wǎng)絡(luò)的大門，表3.1是生物神經(jīng)元與MP模型。

圖3.1 MP模型

表3.1 生物神經(jīng)元與MP模型

MP模型大致模擬了人類神經(jīng)元的工作原理，就是將一些輸入信號進(jìn)行一些變換后得到輸出結(jié)果。在圖3.1中，圖的下部是一個人工神經(jīng)元，有N個輸入信號x1，x2，…，xN（對應(yīng)于人類神經(jīng)元的N個樹突，每個樹突與其他神經(jīng)元連接得到信號），每個信號對應(yīng)于一個權(quán)重（對應(yīng)于每個樹突連接的重要性），即W11，W12，…，W1N，計算這N個輸入的加權(quán)和，然后經(jīng)過一個閾值函數(shù)得到“0”或者“1”的輸出。輸出的結(jié)果，在人類神經(jīng)元中，“0”和“1”可以代表神經(jīng)元的“壓抑”和“激活”狀態(tài)，在人工神經(jīng)元中，“0”和“1”可以代表邏輯上的“No”和“Yes”。

1958年，心理學(xué)家弗蘭克·羅森布拉特（Flank Rosenblatt）教授提出了感知機模型（Perceptron），感知機是基于MP模型的單層神經(jīng)網(wǎng)絡(luò)，是首個可以根據(jù)樣例數(shù)據(jù)來學(xué)習(xí)權(quán)重特征的模型。對于線性可分為兩類的數(shù)據(jù)，按照感知機的誤差修正算法，可以根據(jù)樣例數(shù)據(jù)經(jīng)過多次迭代運算，最終實現(xiàn)運算收斂，確定每個輸入x對應(yīng)的權(quán)重W。我們把迭代運算的過程稱為“神經(jīng)網(wǎng)絡(luò)的訓(xùn)練”，最終訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)可以對新的數(shù)據(jù)作分類預(yù)測。這就是最簡單的“機器學(xué)習(xí)”的過程。

受感知機模型的啟發(fā)，20世紀(jì)60年代，有不少數(shù)學(xué)家、物理學(xué)家和計算機工程師投身于神經(jīng)網(wǎng)絡(luò)的研究。1969年時，著名的人工智能專家明斯基教授和西蒙·派珀特（Seymour Papert）教授出版了《感知機：計算幾何學(xué)導(dǎo)論》一書（Perceptrons∶An Introduction to Computational Geometry），書中證明了感知機模型只能解決線性可分問題，明確指出了感知機無法解決異或問題等非線性可分問題。同時，書中也指出在當(dāng)時的計算能力之下，實現(xiàn)多層的神經(jīng)網(wǎng)絡(luò)幾乎是不可能的事情。明斯基教授和派珀特教授對感知機研究的悲觀預(yù)測，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)研究的第一次低潮，此書出版后的十多年，基于神經(jīng)網(wǎng)絡(luò)的研究幾乎處于停滯狀態(tài)。

一代宗師杰弗里·辛頓

1986年，深度學(xué)習(xí)的一代宗師杰弗里·辛頓（Geoffrey Hinton）教授開始嶄露頭角，這一年，辛頓教授、大衛(wèi)·魯梅哈特（David Rumelhart）教授和羅納德·威廉姆斯（Ronald Willliams）教授在《自然》雜志上發(fā)表了重要論文《通過反向傳播算法實現(xiàn)表征學(xué)習(xí)》（Learning Representations by Back-propagating Errors），文章中提出的反向傳播算法大幅度降低了訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需要的時間。直到30年后的今天，反向傳播算法仍然是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基本方法。同時，辛頓教授倡導(dǎo)的深層神經(jīng)網(wǎng)絡(luò)，也可以很好地解決異或問題和其他的線性不可分問題。

辛頓教授（見圖3.2），1947年出生在英國。他出生于一個非常傳奇的家族，他爺爺?shù)耐夤褪莻ゴ蟮臄?shù)學(xué)家喬治·布爾（George Boole），布爾代數(shù)的奠基人。喬治·布爾的太太叫瑪麗·埃佛勒斯（Mary Everest），是一位作家，著有《代數(shù)的哲學(xué)和樂趣》?，旣?middot;埃佛勒斯的叔叔是喬治·埃佛勒斯（George Everest），英國著名的測繪學(xué)家和探險家，曾經(jīng)擔(dān)任當(dāng)時的英國殖民地印度的測量局局長，領(lǐng)導(dǎo)了喜馬拉雅山脈的測量工作。后來英國人以他的姓氏命名了世界最高峰——珠穆朗瑪峰，英文名為Mount Everest。辛頓教授全名Geoffrey Everest Hinton，當(dāng)年他家人給他命名Everest時，也許已經(jīng)對他未來勇攀科學(xué)高峰許下了祝福。順便幫文藝青年“八卦”一下，喬治·布爾的小女兒伏尼契（Ethel Lilian Voynich），就是中國讀者特別喜歡的一本小說《牛虻》的作者，她本人的生活和愛情也極其精彩，傳說她與超級間諜西德尼·雷里（Sidney Reilly，電影《007》中詹姆斯·邦德（James Bond）的原型人物）還有過一段浪漫的愛情，在這里就不再贅述了。

[[391581]]

圖3.2 一代宗師辛頓教授

辛頓教授的父親霍華德·埃佛勒斯·辛頓（Howard Everest Hinton）是昆蟲學(xué)家，曾祖父查爾斯·霍華德·辛頓（Charles Howard Hinton）是一個知名的數(shù)學(xué)家和最早期的科普作家和科幻小說家。從高中時代開始，辛頓就對人類大腦和神經(jīng)網(wǎng)絡(luò)的奧秘深深著迷。1970年，辛頓畢業(yè)于劍橋大學(xué)，本科拿的是實驗心理學(xué)的學(xué)士學(xué)位。1978年獲得愛丁堡大學(xué)的人工智能博士學(xué)位，曾經(jīng)在卡內(nèi)基梅隆大學(xué)計算機系工作過5年。后來，他移居加拿大，成為多倫多大學(xué)的一位著名教授。

在辛頓教授科研生涯的前20多年里，雖然取得了不少成果，但是因為計算機的計算速度還不夠快，深層神經(jīng)網(wǎng)絡(luò)的優(yōu)化較為困難，所以基于深層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)并未在學(xué)術(shù)界取得足夠的重視，發(fā)表文章和獲取科研經(jīng)費也都比較困難。辛頓教授非常堅定地默默堅持自己的研究工作，同時培養(yǎng)了不少優(yōu)秀的學(xué)生和合作者，包括后來深度學(xué)習(xí)領(lǐng)域大名鼎鼎的延恩·樂存（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）。

2004年，依靠來自加拿大高級研究所的資金支持，辛頓教授創(chuàng)立了“神經(jīng)計算和自適應(yīng)感知”項目，簡稱NCAP項目。NCAP項目的目的是創(chuàng)建一個世界一流的團隊，致力于生物智能的模擬，也就是模擬出大腦運用視覺、聽覺和書面語言的線索來做出理解并對它的環(huán)境做出反應(yīng)這一過程。辛頓教授精心挑選了研究人員，邀請了來自計算機科學(xué)、生物、電子工程、神經(jīng)科學(xué)、物理學(xué)和心理學(xué)等領(lǐng)域的專家參與NCAP項目。后來的事實證明，辛頓教授建立這樣的跨學(xué)科合作項目對人工智能的研究是一個偉大的創(chuàng)舉，定期參加NCAP項目研討會的許多研究人員，比如延恩·樂存、約書亞·本吉奧和吳恩達(dá)（Andrew Ng），如圖3.3所示，后來也都取得了非常突出的成果。最核心的是這一團隊系統(tǒng)地打造了一批更高效的深度學(xué)習(xí)算法，最終，他們的杰出成果推動了深度學(xué)習(xí)成為人工智能領(lǐng)域的主流方向。2012年，辛頓教授獲得有“加拿大諾貝爾獎”之稱的基廉獎（Killam Prizes），這是加拿大的國家最高科學(xué)獎。

[[391582]]

圖3.3 左至右為樂存、辛頓、本吉奧和吳恩達(dá)

2013年，谷歌公司收購了辛頓教授創(chuàng)立的DNN Research公司，實際上，這家公司沒什么產(chǎn)品和客戶，只有3個深度學(xué)習(xí)領(lǐng)域的牛人，辛頓教授和他的兩個學(xué)生，分別是曾經(jīng)贏得2012年的Image Net大賽的埃里克斯·克里澤夫斯基（Alex Krizhevsky）和以利亞·蘇斯科夫（Ilya Sutskever）。有人調(diào)侃Google花了幾千萬美元買了幾篇論文，筆者認(rèn)為，谷歌這種大手筆引進(jìn)世界最頂尖人才的方式，正好體現(xiàn)了谷歌兩位老板拉里·佩奇（Lawrence Edward Page）和謝爾蓋·布林（Sergey Brin）面向未來的雄才大略，非常值得中國的企業(yè)家學(xué)習(xí)。2014年，谷歌花4億美元收購Deep Mind公司時，Deep Mind公司也就是剛剛在《自然》雜志發(fā)表了一篇利用強化學(xué)習(xí)算法玩計算機游戲論文的小公司，很多人都不理解為什么這家公司值這么多錢。后來Deep Mind研發(fā)了震驚世界的Alpha Go之后，人們才開始相信佩奇和布林的遠(yuǎn)見。