延恩·樂存與卷積神經(jīng)網(wǎng)絡(luò)

說完辛頓教授，我們來聊聊深度學(xué)習(xí)領(lǐng)域的另一位名人，曾經(jīng)跟隨辛頓教授作過博士后研究的樂存。1960年，樂存出生在法國巴黎附近，父親是航空工程師。1988年開始，樂存在著名的貝爾實(shí)驗(yàn)室工作了20年。樂存目前是紐約大學(xué)終身教授，同時是Facebook的人工智能實(shí)驗(yàn)室負(fù)責(zé)人。樂存教授對人工智能領(lǐng)域的最核心貢獻(xiàn)是發(fā)展和推廣了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN），卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中實(shí)現(xiàn)圖像識別和語言識別的關(guān)鍵技術(shù)。和辛頓教授一樣，樂存教授也是在人工智能和神經(jīng)網(wǎng)絡(luò)的低潮時期，長期堅(jiān)持科研并最終取得成功的典范。正如辛頓教授所說：“是樂存高舉著火炬，沖過了最黑暗的時代。”

卷積神經(jīng)網(wǎng)絡(luò)是受生物自然視覺認(rèn)知機(jī)制啟發(fā)而來，20世紀(jì)60年代初，大衛(wèi)·休伯爾（David Hunter Hubel）和托斯坦·維厄瑟爾（Torsten Nils Wiesel）通過對貓視覺皮層細(xì)胞的研究，提出了感受野（Receptive Field）的概念。受此啟發(fā)，1980年，福島邦彥（Kunihiko Fukushima）提出了卷積神經(jīng)網(wǎng)絡(luò)的前身Neocognitron。20世紀(jì)80年代，樂存發(fā)展并完善了卷積神經(jīng)網(wǎng)絡(luò)的理論。1989年，樂存發(fā)表了一篇著名的論文《反向傳播算法用于手寫郵政編碼的識別》（Backpropagation Applied to Handwritten Zip Code Recognition）。1998年，他設(shè)計(jì)了一個被稱為Le Net-5的系統(tǒng)，一個7層的神經(jīng)網(wǎng)絡(luò)，這是第一個成功應(yīng)用于數(shù)字識別問題的卷積神經(jīng)網(wǎng)絡(luò)。在國際通用的MNIST手寫體數(shù)字識別數(shù)據(jù)集上，Le Net-5可以達(dá)到接近99.2%的正確率。這一系統(tǒng)后來被美國的銀行廣泛用于支票上數(shù)字的識別。

樂存是一位成果豐碩的計(jì)算機(jī)科學(xué)大師，不過筆者最佩服的還是他的業(yè)余愛好——制造飛機(jī)！在一次IEEE組織的深度對談中，他和C++之父比揚(yáng)尼·斯特朗斯特魯普（Bjarne Stroustrup）有一個有趣的對話。斯特朗斯特魯普問：“你曾經(jīng)做過一些非?？岬耐嬉鈨?，其中大多數(shù)能夠飛起來。你現(xiàn)在是不是還有時間擺弄它們，還是這些樂趣已經(jīng)被你的工作壓榨光了？”樂存回答：“工作里也有非常多樂趣，但有時我需要親手創(chuàng)造些東西。這種習(xí)慣遺傳于我的父親，他是一位航空工程師，我的父親和哥哥也熱衷于飛機(jī)制造。因此當(dāng)我去法國度假的時候，我們就會在長達(dá)三周的時間里沉浸于制造飛機(jī)。”

卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野和權(quán)值共享的方式極大減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個數(shù)，因此非常適合用于構(gòu)建可擴(kuò)展的深度網(wǎng)絡(luò)，用于圖像、語音、視頻等復(fù)雜信號的模式識別。給你一個規(guī)模上的概念，目前用作圖像識別的某個比較典型的卷積神經(jīng)網(wǎng)絡(luò)，深度可達(dá)30層，有著2400萬個節(jié)點(diǎn)，1億4000萬個參數(shù)和150億個連接。連接個數(shù)遠(yuǎn)遠(yuǎn)多于參數(shù)個數(shù)的原因就是權(quán)值共享，也就是很多連接使用相同的參數(shù)。訓(xùn)練這么龐大的模型，必然要依靠大量最先進(jìn)的CPU和GPU，并提供海量的訓(xùn)練數(shù)據(jù)。

GPU與海量訓(xùn)練數(shù)據(jù)

談到GPU和海量的訓(xùn)練數(shù)據(jù)，可以說說我們?nèi)A人的貢獻(xiàn)。目前多數(shù)深度學(xué)習(xí)系統(tǒng)，都采用NVIDIA公司的GPU通過大規(guī)模并行計(jì)算實(shí)現(xiàn)訓(xùn)練的加速，而NVIDIA公司的聯(lián)合創(chuàng)始人和首席執(zhí)行官（Chief Executire Officer，CEO），是來自中國臺灣地區(qū)的黃仁勛（Jen-Hsun Huang，見圖3.4）。據(jù)黃仁勛介紹，2011年，是人工智能領(lǐng)域的研究人員發(fā)現(xiàn)了NVIDIA公司的GPU的強(qiáng)大并行運(yùn)算能力。當(dāng)時谷歌大腦（Google Brain）項(xiàng)目剛剛?cè)〉昧梭@人的成果，谷歌大腦的深層神經(jīng)網(wǎng)絡(luò)系統(tǒng)通過觀看一周的You Tube視頻，自主學(xué)會了識別哪些是關(guān)于貓的視頻。但是它需要使用谷歌一家大型數(shù)據(jù)中心內(nèi)的16000個服務(wù)器CPU。這些CPU的運(yùn)行和散熱能耗巨大，很少有人能擁有這種規(guī)模的計(jì)算資源。NVIDIA及其GPU出現(xiàn)在人們的視野中。NVIDIA研究院的布萊恩·卡坦扎羅（Bryan Catanzaro）與斯坦福大學(xué)吳恩達(dá)教授的團(tuán)隊(duì)展開合作，將GPU應(yīng)用于這個項(xiàng)目的深度學(xué)習(xí)。事實(shí)表明，12個NVIDIA公司的GPU可以提供相當(dāng)于2000個CPU的深度學(xué)習(xí)性能。此后，紐約大學(xué)、多倫多大學(xué)以及瑞士人工智能實(shí)驗(yàn)室的研究人員紛紛在GPU上加速其深度神經(jīng)網(wǎng)絡(luò)。再接下來，全世界的人工智能研究者都開始使用GPU，NVIDIA公司從此開始了又一輪的高速成長。

[[391585]]

圖3.4 黃仁勛（左）與伊隆·馬斯克（右）

在海量訓(xùn)練數(shù)據(jù)方面，1976年出生于北京的李飛飛教授（見圖3.5）功不可沒。李飛飛16歲時隨父母移居美國，現(xiàn)在是斯坦福大學(xué)終身教授，人工智能實(shí)驗(yàn)室與視覺實(shí)驗(yàn)室主任。2007年，李飛飛與普林斯頓大學(xué)的李凱教授合作，發(fā)起了Image Net計(jì)劃。利用互聯(lián)網(wǎng)，Image Net項(xiàng)目組下載了接近10億張圖片，并利用像亞馬遜網(wǎng)站的土耳其機(jī)器人（Amazon Mechanical Turk）這樣的眾包平臺來標(biāo)記這些圖片。在高峰期時，Image Net項(xiàng)目組是亞馬遜土耳其機(jī)器人這個平臺上最大的雇主之一，來自世界上167個國家的接近5萬個工作者在一起工作，幫助項(xiàng)目組篩選、排序、標(biāo)記了接近10億張備選照片。2009年，Image Net項(xiàng)目誕生了——這是一個含有1500萬張照片的數(shù)據(jù)庫，涵蓋了22000種物品。這些物品是根據(jù)日常英語單詞進(jìn)行分類組織的，對應(yīng)于大型英語知識圖庫Word Net的22000個同義詞集。無論是在質(zhì)量上還是數(shù)量上，Image Net都是一個規(guī)?？涨暗臄?shù)據(jù)庫，同時，它被公布為互聯(lián)網(wǎng)上的免費(fèi)資源，全世界的研究人員都可以免費(fèi)使用。Image Net這個項(xiàng)目，充分體現(xiàn)了人類通過互聯(lián)網(wǎng)實(shí)現(xiàn)全球合作產(chǎn)生的巨大力量。

圖3.5 李飛飛

隨著機(jī)器學(xué)習(xí)算法的不斷優(yōu)化，并得到了GPU并行計(jì)算能力和海量訓(xùn)練數(shù)據(jù)的支持，原來深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練方面的困難逐步得到解決，“深度學(xué)習(xí)”的發(fā)展迎來了新的高潮。在2012年Image Net挑戰(zhàn)賽中的圖像分類競賽中，由辛頓教授的學(xué)生埃里克斯·克里澤夫斯基教授實(shí)現(xiàn)的深度學(xué)習(xí)系統(tǒng)AlexNet獲得了冠軍，分類的Top5錯誤率，由原來的26%大幅降低到16%。從此以后，深度學(xué)習(xí)在性能上超越了機(jī)器學(xué)習(xí)領(lǐng)域的其他很多算法，應(yīng)用領(lǐng)域也從最初的圖像識別擴(kuò)展到機(jī)器學(xué)習(xí)的各個領(lǐng)域，掀起了人工智能的新浪潮。

深度學(xué)習(xí)的應(yīng)用

接下來我們舉幾個例子，來看看深度學(xué)習(xí)在各個領(lǐng)域的應(yīng)用情況。首先來看計(jì)算機(jī)視覺領(lǐng)域，這方面較早實(shí)用化的是光學(xué)字符識別（Optical Character Recognition，OCR）。所謂光學(xué)字符識別，就是將計(jì)算機(jī)無法理解的圖片文件中的字符，比如數(shù)字、字母、漢字等，轉(zhuǎn)化為計(jì)算機(jī)可以理解的文本格式。2004年，谷歌公司發(fā)起了谷歌圖書項(xiàng)目（http://books.google.com），通過與哈佛大學(xué)、牛津大學(xué)、斯坦福大學(xué)等大學(xué)圖書館的合作，目前已經(jīng)掃描識別了幾千萬本圖書，并可以實(shí)現(xiàn)全文檢索，對沒有版權(quán)問題的書籍，還提供PDF格式的文件下載。當(dāng)筆者在谷歌圖書中，打開哈佛大學(xué)圖書館珍藏的線裝古本王陽明的《傳習(xí)錄》，還有惠能的《六祖壇經(jīng)》時，心里真是非常的感動，谷歌相當(dāng)于把全世界的圖書館都搬到了每個人的電腦上，真是功德無量。

計(jì)算機(jī)視覺另外兩個熱門的應(yīng)用領(lǐng)域就是無人駕駛車和人臉識別。2010年，7輛車組成的谷歌無人駕駛汽車車隊(duì)開始在加州道路上試行，這些車輛使用攝像機(jī)、雷達(dá)感應(yīng)器和激光測距機(jī)來“看”交通狀況，并且使用詳細(xì)地圖來為前方的道路導(dǎo)航，真正控制車輛的是基于深度學(xué)習(xí)的人工智能駕駛系統(tǒng)。2012年5月8日，在美國內(nèi)華達(dá)州允許無人駕駛汽車上路3個月，經(jīng)過了幾十萬公里的測試之后，機(jī)動車駕駛管理處為谷歌的無人駕駛汽車頒發(fā)了一張合法車牌。圖3.6是谷歌無人駕駛車的設(shè)計(jì)原型。2014年，F(xiàn)acebook研發(fā)了Deep Face，這個深度學(xué)習(xí)系統(tǒng)可以識別或者核實(shí)照片中的人物，在全球權(quán)威的人臉識別評測數(shù)據(jù)集LFW中，人臉識別準(zhǔn)確率達(dá)97.25%。

圖3.6 谷歌無人駕駛車的設(shè)計(jì)原型

在不遠(yuǎn)的將來，十年以內(nèi)，肯定會有很多無人駕駛車開始上路行駛。到那時，除了馬路上那些固定的攝像頭，又會多出無人車上成千上萬的移動攝像頭，配合基于深度學(xué)習(xí)的人臉識別技術(shù)和高速的通信網(wǎng)絡(luò)，保護(hù)社會安全、抓捕罪犯的工作也許會得到很多的方便，同時，所有人的隱私也受到極大的威脅，只能祈禱人工智能的強(qiáng)大力量被善用了。

隨著深度學(xué)習(xí)的快速發(fā)展，人工智能科學(xué)家近年來在語音識別、自然語言處理、機(jī)器翻譯、語音合成等與人類語言交流相關(guān)的領(lǐng)域都實(shí)現(xiàn)了巨大的技術(shù)突破。2012年，在微軟亞洲研究院的21世紀(jì)計(jì)算大會上，微軟高級副總裁理查德·拉希德（Richard Rashid）現(xiàn)場演示了微軟開發(fā)的從英語到漢語的同聲傳譯系統(tǒng)，這次演講得到了全世界的廣泛關(guān)注，YouTube上就有超過100萬次的播放量。同聲傳譯系統(tǒng)，結(jié)合了語音識別、機(jī)器翻譯和語音合成的最新技術(shù)，并且要求在很短的時間內(nèi)高效完成。微軟的同聲傳譯系統(tǒng)，已經(jīng)被應(yīng)用到Skype網(wǎng)絡(luò)電話中，支持世界各地持不同語言的人們改善交流。蘋果公司的Siri、谷歌公司的Google Now等智能手機(jī)上的語音助手已經(jīng)打入了很多人的日常生活，而亞馬遜公司基于Alexa語音交互系統(tǒng)的Echo智能音箱（見圖3.7）更加厲害，可以直接實(shí)現(xiàn)語音購物和語音支付，并且可以回答你包裹已經(jīng)運(yùn)到了什么地方，還能播放你喜歡的音樂、設(shè)置鬧鐘、叫外賣、叫Uber出租車，與智能開關(guān)、智能燈具連接后，可以把你的整個家庭變成全聲控的智能家居環(huán)境。

圖3.7 亞馬遜公司的Echo智能音箱

對天才少年的一點(diǎn)建議

當(dāng)然，目前這些人工智能系統(tǒng)還都處于比較初級的階段，有時Siri或者Echo的回答會讓你啼笑皆非，筆者也經(jīng)常聽到朋友逗這些語音助手取樂的故事。期待未來有更多的杰出人士投身這一領(lǐng)域，做出更智能更通人性的系統(tǒng)。如果你有家有個天才少年，筆者特別推薦一本深度學(xué)習(xí)方面的經(jīng)典著作，由伊恩·古德費(fèi)洛（Ian Goodfellow）、本吉奧、亞倫·庫爾維爾（Aaron Courville）三位大師合作推出的Deep Learning（《深度學(xué)習(xí)》），這本書的作者非常無私，將這本書的內(nèi)容和相關(guān)資料都放在互聯(lián)網(wǎng)上讓大家免費(fèi)學(xué)習(xí)，網(wǎng)址是
http://www.deeplearningbook.org。

在本章的最后，如果要再給你家的天才少年送上一點(diǎn)建議，請?jiān)试S筆者引述深度學(xué)習(xí)領(lǐng)域一位大師本吉奧（見圖3.8）與學(xué)生的一個對話。2014年，本吉奧教授有一次在著名網(wǎng)絡(luò)社區(qū)Reddit的機(jī)器學(xué)習(xí)板塊參加了“Ask Me Anything”活動，回答了機(jī)器學(xué)習(xí)愛好者許多問題。

[[391586]]

圖3.8 本吉奧教授

有一個學(xué)生問：“我正在寫本科論文，關(guān)于科學(xué)和邏輯的哲學(xué)方面。未來我想轉(zhuǎn)到計(jì)算機(jī)系讀碩士，然后攻讀機(jī)器學(xué)習(xí)博士學(xué)位。除了惡補(bǔ)數(shù)學(xué)和編程以外，您覺得像我這樣的人還需要做些什么來吸引教授的目光呢？”

本吉奧教授回答如下：

“1．閱讀深度學(xué)習(xí)論文和教程，從介紹性的文字開始，逐漸提高難度。記錄閱讀心得，定期總結(jié)所學(xué)知識。

2．把學(xué)到的算法自己實(shí)現(xiàn)一下，從零開始，保證你理解了其中的數(shù)學(xué)。別光照著論文里看到的偽代碼復(fù)制一遍，實(shí)現(xiàn)一些變種。

3．用真實(shí)數(shù)據(jù)來測試這些算法，可以參加Kaggle競賽。通過接觸數(shù)據(jù)，你能學(xué)到很多。

4．把你整個過程中的心得和結(jié)果寫在博客上，跟領(lǐng)域內(nèi)的專家聯(lián)系，問問他們是否愿意接收你在他們的項(xiàng)目上遠(yuǎn)程合作，或者找一個實(shí)習(xí)。

5．找個深度學(xué)習(xí)實(shí)驗(yàn)室，申請。

這就是我建議的路線圖，不知道是否足夠清楚？”

獻(xiàn)上筆者的祝福，并期待在未來的某一天，可以和你家的天才少年，或者和他/她開發(fā)的超級智能機(jī)器人相遇，也許在這個藍(lán)色星球的某一片秀麗山河之間，也許在茫茫宇宙中飛行的太空飛船里……