深度學(xué)習(xí)的過(guò)去、現(xiàn)在和未來(lái)
一、過(guò)去：從貓到狗
翻閱1982年第1期的《世界科學(xué)》雜志，看到這樣一則消息：“1981年10月17日，在瑞典的斯德哥摩爾城舉行的諾貝爾獎(jiǎng)授獎(jiǎng)大會(huì)上，美國(guó)加州理工學(xué)院的羅杰•握爾考特•斯佩里(Roger Wolcott Sperry)博士和加拿大出生的美國(guó)人戴維•哈貝爾教授以及瑞典的托爾斯滕•韋塞爾分享了1981年諾貝爾生理學(xué)、醫(yī)學(xué)獎(jiǎng)。斯佩里因證明大腦兩半球的高度專(zhuān)門(mén)化以及許多較高級(jí)的功能集中在右半球而獲獎(jiǎng);哈貝爾和韋塞爾因研究視覺(jué)系統(tǒng)的信息處理方面有所發(fā)現(xiàn)而獲獎(jiǎng)。”
哈貝爾和韋塞爾的獲獎(jiǎng)要?dú)w功于“貓星人”，據(jù)說(shuō)這個(gè)研究從1958年開(kāi)始，在貓的后腦頭骨上，開(kāi)了一個(gè)小洞，向洞里插入電極，測(cè)量神經(jīng)元的活躍程度，從而發(fā)現(xiàn)了一種神經(jīng)元細(xì)胞——“方向選擇性細(xì)胞”，即后腦皮層的不同視覺(jué)神經(jīng)元與瞳孔所受刺激之間確實(shí)存在某種對(duì)應(yīng)關(guān)系。這一重要發(fā)現(xiàn)，激活了一度沉寂的神經(jīng)網(wǎng)絡(luò)的研究。但是，人們不得不面對(duì)這樣的現(xiàn)實(shí)：神經(jīng)網(wǎng)絡(luò)相關(guān)運(yùn)算中耗費(fèi)的運(yùn)算量與神經(jīng)元數(shù)目的平方成正比?；谟布A(chǔ)，那個(gè)時(shí)候人們普遍認(rèn)為潛在的龐大的計(jì)算量是幾乎無(wú)法實(shí)現(xiàn)的。
計(jì)算能力成了攔路虎，人們探尋真理的腳步一刻沒(méi)有停歇。同樣是1981年，IBM PC機(jī)中首次應(yīng)用了8088芯片，開(kāi)創(chuàng)了全新的微機(jī)時(shí)代。1985年INTEL推出了32位微處理器，而且制造工藝也有了很大的進(jìn)步。許多人對(duì)286、386、486機(jī)器還存有記憶，人類(lèi)的計(jì)算能力伴隨著摩爾定律在大踏步前進(jìn)。關(guān)于神經(jīng)網(wǎng)絡(luò)的算法也有了新的突破，1986年Hinton和David Rumelhard聯(lián)合在國(guó)際權(quán)威雜志《自然》上提出在神經(jīng)網(wǎng)絡(luò)模型上運(yùn)用反向傳播算法，大大降低了原來(lái)預(yù)計(jì)的運(yùn)算量。20世紀(jì)80年代末到90年代初，共享存儲(chǔ)器方式的大規(guī)模并行計(jì)算機(jī)又獲得了新的發(fā)展。1993年，Cray公司研制成功了第一臺(tái)具有標(biāo)志性的大規(guī)模并行計(jì)算機(jī)。我國(guó)的銀河系列并行計(jì)算機(jī)，在國(guó)際上也獨(dú)樹(shù)一幟。新世紀(jì)以來(lái)，大規(guī)模并行計(jì)算機(jī)蓬勃發(fā)展，逐漸成為國(guó)際上高性能計(jì)算機(jī)的主流。
伴隨著計(jì)算處理能力的提升，深度學(xué)習(xí)有了較快的發(fā)展，從結(jié)構(gòu)上分為生成型深度結(jié)構(gòu)、判別型深度結(jié)構(gòu)、混合型深度結(jié)構(gòu)三類(lèi)。1989年，加拿大多倫多大學(xué)教授Yann LeCun就和他的同事提出了卷積神經(jīng)網(wǎng)絡(luò)，是一種包含卷積層的深度神經(jīng)網(wǎng)絡(luò)模型，較早嘗試深度學(xué)習(xí)對(duì)圖像的處理。2012年，Hinton構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，在圖像識(shí)別問(wèn)題上取得質(zhì)的提升和突破。百度公司將相關(guān)最新技術(shù)成功應(yīng)用到人臉識(shí)別和自然圖像識(shí)別問(wèn)題，并推出相應(yīng)的產(chǎn)品。同樣是從2012年，人們逐漸熟悉Google Brain團(tuán)隊(duì)。2015年至2017年初，一只“狗”引起世界的關(guān)注，人類(lèi)圍棋大師們陷入沉思。
二、現(xiàn)在：深度學(xué)習(xí)有多深
回答這個(gè)問(wèn)題之前，讓我們回顧一下機(jī)器學(xué)習(xí)。以使用決策樹(shù)、推導(dǎo)邏輯規(guī)劃、聚類(lèi)、貝葉斯網(wǎng)絡(luò)等傳統(tǒng)算法對(duì)結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行分析為基礎(chǔ)，對(duì)真實(shí)世界中的事件作出決策和預(yù)測(cè)，通常被稱(chēng)為機(jī)器學(xué)習(xí)。比如無(wú)人駕駛汽車(chē)識(shí)別交通標(biāo)志，這種機(jī)器視覺(jué)就是典型的機(jī)器學(xué)習(xí)。但是在特定的天氣條件下，算法不靈，機(jī)器學(xué)習(xí)就有了局限。
深度學(xué)習(xí)在機(jī)器學(xué)習(xí)的基礎(chǔ)上又前進(jìn)了一步，同樣是從數(shù)據(jù)中提取知識(shí)來(lái)解決和分析問(wèn)題，深度學(xué)習(xí)使用的是人工神經(jīng)網(wǎng)絡(luò)算法，允許發(fā)現(xiàn)中間表示來(lái)擴(kuò)展標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)，這些中間表示能夠解決更復(fù)雜的問(wèn)題，并且以更高的精度、更少的觀察和更不麻煩的手動(dòng)調(diào)諧，潛在地解決其它問(wèn)題。最常見(jiàn)的深度學(xué)習(xí)類(lèi)型是前饋深層神經(jīng)網(wǎng)絡(luò)(DNN)，其使用大量的互連處理單元層從原始輸入數(shù)據(jù)中“發(fā)現(xiàn)”適當(dāng)?shù)闹虚g呈現(xiàn)。DNN提供了一個(gè)強(qiáng)大的框架，可應(yīng)用于各種業(yè)務(wù)問(wèn)題。例如可以分析視網(wǎng)膜掃描以“辨識(shí)”哪些模式指示健康或患病視網(wǎng)膜(并指示特定疾病)。“辨識(shí)”過(guò)程依賴(lài)于強(qiáng)力的高性能計(jì)算。
根據(jù)Gartner的相關(guān)資料，深度學(xué)習(xí)已經(jīng)在圖像識(shí)別、機(jī)器翻譯、語(yǔ)音識(shí)別、欺詐檢測(cè)、產(chǎn)品推薦等方面得到應(yīng)用，如下表1、2：
表1：深度學(xué)習(xí)當(dāng)前部分相關(guān)領(lǐng)域及案例
表2 深度學(xué)習(xí)當(dāng)前的能力范圍
來(lái)源：Gartner(2017年1月)
Gartner估計(jì)，從初創(chuàng)公司到技術(shù)巨頭，全球有2,000多家供應(yīng)商正在推出深度學(xué)習(xí)相關(guān)產(chǎn)品。但是，當(dāng)前的深度學(xué)習(xí)有其一定的局限：
1、深度學(xué)習(xí)技術(shù)是啟發(fā)式的。深度學(xué)習(xí)是否會(huì)解決一個(gè)給定的問(wèn)題是不清楚的，根本沒(méi)有數(shù)學(xué)理論可以表明一個(gè)“足夠好”的深度學(xué)習(xí)解決方案是否存在。該技術(shù)是啟發(fā)式的，工作即代表有效。
2、深度學(xué)習(xí)技術(shù)的不可預(yù)期性。深度學(xué)習(xí)涉及隱藏層，在許多情況下，即使是領(lǐng)先的科學(xué)家也不能解釋這些層面發(fā)生了什么，這樣的“黑盒子” 可能對(duì)解釋甚至接受結(jié)果造成問(wèn)題，有時(shí)甚至破壞合規(guī)性和道德性。
3、深度學(xué)習(xí)系統(tǒng)化運(yùn)用不成熟。沒(méi)有適合所有行業(yè)且通用的深度學(xué)習(xí)，企業(yè)想要?jiǎng)?chuàng)建自己的解決方案，目前必須混合和匹配可用的工具，并跟上新軟件的快速出現(xiàn)。
4、部分錯(cuò)誤的結(jié)果造成不良影響。深度學(xué)習(xí)目前不能以100%的精度解決問(wèn)題。深度學(xué)習(xí)延續(xù)了較淺層機(jī)器學(xué)習(xí)的大多數(shù)風(fēng)險(xiǎn)和陷阱。
5、學(xué)習(xí)速度不盡如人意。一個(gè)兩歲的孩子可以在被告知幾次后識(shí)別大象，而深度學(xué)習(xí)系統(tǒng)可能需要成千上萬(wàn)的例子，并且“看”這些例子數(shù)十萬(wàn)或數(shù)百萬(wàn)次，才能成功。
6、當(dāng)前的范圍比較狹窄。比如，AlphaGo系統(tǒng)學(xué)會(huì)了在大師水平線上玩Go，也只會(huì)玩Go。應(yīng)用于任何其他游戲(甚至更簡(jiǎn)單)時(shí)，系統(tǒng)將徹底失敗。
三、未來(lái)：從GPU到?PU
深度學(xué)習(xí)是人工智能發(fā)展的主要驅(qū)動(dòng)力。目前主要是在弱人工智能的發(fā)展中產(chǎn)生重要作用，主要是特定的行業(yè)應(yīng)用，如上文提到的圖像識(shí)別、自動(dòng)駕駛和機(jī)器翻譯等。但是要支撐和實(shí)現(xiàn)和人腦類(lèi)似的強(qiáng)人工智能，OSTP(美國(guó)白宮科技政策辦公室)認(rèn)為至少在幾十年內(nèi)無(wú)法實(shí)現(xiàn)。除了上文提及的數(shù)據(jù)不足、相關(guān)算法需要改進(jìn)外，對(duì)高性能計(jì)算的追求就是一個(gè)長(zhǎng)期的持續(xù)的根本任務(wù)。
GPU這個(gè)概念在當(dāng)前的“讀圖時(shí)代”，很多人并不陌生。GPU是相對(duì)于CPU的一個(gè)概念，由于在現(xiàn)代的計(jì)算機(jī)中(特別是家用系統(tǒng)，游戲的發(fā)燒友)圖形的處理變得越來(lái)越重要，需要一個(gè)專(zhuān)門(mén)的圖形的核心處理器，這就是GPU。GPU對(duì)于深度學(xué)習(xí)技術(shù)非常重要。隨著技術(shù)的演進(jìn)，核心處理器也將更新迭代。例如，谷歌大腦團(tuán)隊(duì)正在設(shè)計(jì)TPU(深度學(xué)習(xí)芯片)，這是針對(duì)深度神經(jīng)網(wǎng)絡(luò)運(yùn)算的改進(jìn)版的處理器。
量子計(jì)算至少在未來(lái)十年內(nèi)不會(huì)影響深度學(xué)習(xí)。谷歌大腦團(tuán)隊(duì)的科學(xué)家Jeff Dean認(rèn)為，人的大腦不是量子計(jì)算機(jī)，量子計(jì)算幾乎不會(huì)對(duì)深度學(xué)習(xí)造成特別明顯的影響，特別是在中短期內(nèi)(比如未來(lái)十年)。但是，未來(lái)的未來(lái)，量子計(jì)算是不是能根本上改變深度學(xué)習(xí)，這誰(shuí)也說(shuō)不準(zhǔn)。
文章轉(zhuǎn)載自微信公眾號(hào)“三思派”（ID: Science-Pie）
