深度學(xué)習(xí)的本質(zhì)探究？
1、人工智能浪潮又起
標(biāo)志型事件，阿爾法圍棋(AlphaGo)戰(zhàn)勝李世石。
alphago是一款圍棋人工智能程序，由谷歌(Google)旗下DeepMind公司的戴維·西爾弗、艾佳·黃和戴密斯·哈薩比斯與他們的團(tuán)隊(duì)開(kāi)發(fā)，這個(gè)程序利用“價(jià)值網(wǎng)絡(luò)”去計(jì)算局面，用“策略網(wǎng)絡(luò)”去選擇下子。2015年10月阿爾法圍棋以5:0完勝歐洲圍棋冠軍、職業(yè)二段選手樊麾;2016年3月對(duì)戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝。這個(gè)讓人工智能浪潮又起，熱浪達(dá)到了一個(gè)高度。
alphago 核心用到了”深度卷積神經(jīng)網(wǎng)絡(luò)”和“MCTS，蒙特卡洛搜索樹(shù)”算法。接下來(lái)我們了解下深度學(xué)習(xí)的本質(zhì)到底是什么?深度學(xué)習(xí)==人工智能嗎?
2、深度學(xué)習(xí)起源和概念
深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。
深度學(xué)習(xí)的概念由Hinton等人于2006年提出?；谏疃戎眯啪W(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是***個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像，聲音和文本。
同機(jī)器學(xué)習(xí)方法一樣，深度機(jī)器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)之分.不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同.例如，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，簡(jiǎn)稱CNNs)就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，而深度置信網(wǎng)(Deep Belief Nets，簡(jiǎn)稱DBNs)就是一種無(wú)監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。
3、深度學(xué)習(xí)解決什么問(wèn)題
從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計(jì)算可以通過(guò)一個(gè)流向圖(flow graph)來(lái)表示：流向圖是一種能夠表示計(jì)算的圖，在這種圖中每一個(gè)節(jié)點(diǎn)表示一個(gè)基本的計(jì)算以及一個(gè)計(jì)算的值，計(jì)算的結(jié)果被應(yīng)用到這個(gè)節(jié)點(diǎn)的子節(jié)點(diǎn)的值?？紤]這樣一個(gè)計(jì)算集合，它可以被允許在每一個(gè)節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中，并定義了一個(gè)函數(shù)族。輸入節(jié)點(diǎn)沒(méi)有父節(jié)點(diǎn)，輸出節(jié)點(diǎn)沒(méi)有子節(jié)點(diǎn)。
這種流向圖的一個(gè)特別屬性是深度(depth)：從一個(gè)輸入到一個(gè)輸出的最長(zhǎng)路徑的長(zhǎng)度。
傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度(比如對(duì)于輸出層為隱層數(shù)加1)。SVMs有深度2(一個(gè)對(duì)應(yīng)于核輸出或者特征空間，另一個(gè)對(duì)應(yīng)于所產(chǎn)生輸出的線性混合)。
人工智能研究的方向之一，是以所謂 “專家系統(tǒng)” 為代表的，用大量 “如果-就” (If - Then) 規(guī)則定義的，自上而下的思路。人工神經(jīng)網(wǎng)絡(luò) ( Artifical Neural Network)，標(biāo)志著另外一種自下而上的思路。神經(jīng)網(wǎng)絡(luò)沒(méi)有一個(gè)嚴(yán)格的正式定義。它的基本特點(diǎn)，是試圖模仿大腦的神經(jīng)元之間傳遞，處理信息的模式。
3.1大腦有一個(gè)深度架構(gòu)
1981年諾貝爾醫(yī)學(xué)生理學(xué)獎(jiǎng)?lì)C發(fā)給了David Hubel，一位神經(jīng)生物學(xué)家。他的主要研究成果是發(fā)現(xiàn)了視覺(jué)系統(tǒng)信息處理機(jī)制，證明大腦的可視皮層是分級(jí)的。他的貢獻(xiàn)主要有兩個(gè)，一是他認(rèn)為人的視覺(jué)功能一個(gè)是抽象，一個(gè)是迭代。抽象就是把非常具體的形象的元素，即原始的光線像素等信息，抽象出來(lái)形成有意義的概念。這些有意義的概念又會(huì)往上迭代，變成更加抽象，人可以感知到的抽象概念。
像素是沒(méi)有抽象意義的，但人腦可以把這些像素連接成邊緣，邊緣相對(duì)像素來(lái)說(shuō)就變成了比較抽象的概念;邊緣進(jìn)而形成球形，球形然后到氣球，又是一個(gè)抽象的過(guò)程，大腦最終就知道看到的是一個(gè)氣球。
視覺(jué)皮質(zhì)并顯示出一系列的區(qū)域，在每一個(gè)這種區(qū)域中包含一個(gè)輸入的表示和從一個(gè)到另一個(gè)的信號(hào)流(這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，因此更復(fù)雜)。這個(gè)特征層次的每一層表示在一個(gè)不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據(jù)低層特征定義。
需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時(shí)活動(dòng)的。給定大量的神經(jīng)元，仍然有一個(gè)非常高效地(指數(shù)級(jí)高效)表示。
3.2 認(rèn)知過(guò)程逐層進(jìn)行，逐步抽象
人類層次化地組織思想和概念;
人類首先學(xué)習(xí)簡(jiǎn)單的概念，然后用他們?nèi)ケ硎靖橄蟮?
工程師將任務(wù)分解成多個(gè)抽象層次去處理;
學(xué)習(xí)/發(fā)現(xiàn)這些概念(知識(shí)工程由于沒(méi)有反省而失敗?)是很美好的。對(duì)語(yǔ)言可表達(dá)的概念的反省也建議我們一個(gè)稀疏的表示：僅所有可能單詞/概念中的一個(gè)小的部分是可被應(yīng)用到一個(gè)特別的輸入(一個(gè)視覺(jué)場(chǎng)景)。
4、深度學(xué)習(xí)適用場(chǎng)景
深度學(xué)習(xí)已經(jīng)在語(yǔ)音識(shí)別、圖像處理等方面取得了巨大成功。從2013、2014年開(kāi)始，也在自然語(yǔ)言處理領(lǐng)域出現(xiàn)深度學(xué)習(xí)的應(yīng)用浪潮。隨著研究的深入，其他領(lǐng)域還在探索中，如自動(dòng)駕駛等等。
5、深度學(xué)習(xí)等同人工智能嗎?
5.1 強(qiáng)人工智能和弱人工智能
人工智能的一個(gè)比較流行的定義，也是該領(lǐng)域較早的定義，是由約翰·麥卡錫(John McCarthy|)在1956年的達(dá)特矛斯會(huì)議(Dartmouth Conference)上提出的：人工智能就是要讓機(jī)器的行為看起來(lái)就象是人所表現(xiàn)出的智能行為一樣。但是這個(gè)定義似乎忽略了強(qiáng)人工智能的可能性(見(jiàn)下)。另一個(gè)定義指人工智能是人造機(jī)器所表現(xiàn)出來(lái)的智能性。總體來(lái)講，目前對(duì)人工智能的定義大多可劃分為四類，即機(jī)器“像人一樣思考”、“像人一樣行動(dòng)”、“理性地思考”和“理性地行動(dòng)”。這里“行動(dòng)”應(yīng)廣義地理解為采取行動(dòng)，或制定行動(dòng)的決策，而不是肢體動(dòng)作。
強(qiáng)人工智能: 強(qiáng)人工智能觀點(diǎn)認(rèn)為有可能制造出真正能推理(Reasoning)和解決問(wèn)題(Problem_solving)的智能機(jī)器，并且，這樣的機(jī)器能將被認(rèn)為是有知覺(jué)的，有自我意識(shí)的。強(qiáng)人工智能可以有兩類： 類人的人工智能，即機(jī)器的思考和推理就像人的思維一樣。 非類人的人工智能，即機(jī)器產(chǎn)生了和人完全不一樣的知覺(jué)和意識(shí)，使用和人完全不一樣的推理方式。
弱人工智能:弱人工智能觀點(diǎn)認(rèn)為不可能制造出能真正地推理(Reasoning)和解決問(wèn)題(Problem_solving)的智能機(jī)器，這些機(jī)器只不過(guò)看起來(lái)像是智能的，但是并不真正擁有智能，也不會(huì)有自主意識(shí)。 主流科研集中在弱人工智能上，并且一般認(rèn)為這一研究領(lǐng)域已經(jīng)取得可觀的成就。強(qiáng)人工智能的研究則處于停滯不前的狀態(tài)下。
當(dāng)前深度學(xué)習(xí)還是其他算法，更多的是弱人工智能，根本就沒(méi)有思考和推斷的能力，深度學(xué)習(xí)說(shuō)low一點(diǎn)，本質(zhì)上做的還是分類。
6、深度學(xué)習(xí)研究方向
Hinton，Bengio及Lecun三位大神在Nature上發(fā)表的Deep Learning綜述***總結(jié)了深度學(xué)習(xí)的三大發(fā)展方向：
1)無(wú)監(jiān)督學(xué)習(xí)。無(wú)監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)剛火的那幾年有很重要的作用，比如用無(wú)監(jiān)督方式訓(xùn)練深度信念網(wǎng)絡(luò)還有稀疏自編碼器等，使用無(wú)監(jiān)督學(xué)習(xí)主要是為了預(yù)訓(xùn)練，以得到一個(gè)較好的初始值，隨后再使用有監(jiān)督訓(xùn)練進(jìn)行微調(diào)。但是隨著計(jì)算能力的發(fā)展，人們發(fā)現(xiàn)只要在數(shù)據(jù)集足夠大的情況下使用純有監(jiān)督學(xué)習(xí)也能得到較好性能，所以近幾年無(wú)監(jiān)督學(xué)習(xí)發(fā)展不是很大，Hinton他們希望在未來(lái)無(wú)監(jiān)督學(xué)習(xí)能有更大發(fā)展，因?yàn)槿祟惡蛣?dòng)物的學(xué)習(xí)在很大程度上都是無(wú)監(jiān)督的：我們通過(guò)觀察這個(gè)世界來(lái)學(xué)習(xí)，而不是有個(gè)老師在教我們這個(gè)世界的原理。
2)深度強(qiáng)化學(xué)習(xí)。深度強(qiáng)化學(xué)習(xí)的主要思想簡(jiǎn)而言之就是將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合，是一種從感知到動(dòng)作的端到端學(xué)習(xí)。簡(jiǎn)單的說(shuō)，就是和人類一樣，輸入感知信息比如視覺(jué)，然后通過(guò)深度神經(jīng)網(wǎng)絡(luò)，直接輸出動(dòng)作，中間沒(méi)有人工特征的工作。深度增強(qiáng)學(xué)習(xí)具備使機(jī)器人實(shí)現(xiàn)真正完全自主的學(xué)習(xí)一種甚至多種技能的潛力。深度強(qiáng)化學(xué)習(xí)最突出的代表就是DeepMind公司了，該公司在NIPS 2013上發(fā)表的Playing Atari with Deep Reinforcement Learning一文，在該文中***次提出深度強(qiáng)化學(xué)習(xí)這個(gè)名稱，之后在Nature上發(fā)表了改進(jìn)版的文章Human-level control through deep reinforcement learning，引起了廣泛的關(guān)注，深度強(qiáng)化學(xué)習(xí)從此成為深度學(xué)習(xí)領(lǐng)域的前沿研究方向。最近的李世石大戰(zhàn)阿法狗中，阿法狗背后的技術(shù)也是深度強(qiáng)化學(xué)習(xí)，DeepMind將阿法狗背后用到的技術(shù)發(fā)表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。
3)自然語(yǔ)言理解。自然語(yǔ)言理解也是深度學(xué)習(xí)在未來(lái)幾年能大有作為的領(lǐng)域。使用深度學(xué)習(xí)技術(shù)的各種應(yīng)用比如神經(jīng)機(jī)器翻譯，問(wèn)答系統(tǒng)，文摘生成等都取得了不錯(cuò)的效果，效果的提升主要?dú)w功于注意力機(jī)制和循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的強(qiáng)大能力。相信未來(lái)幾年內(nèi)還會(huì)有大量相關(guān)工作出現(xiàn)。
【本文為51CTO專欄作者“大數(shù)據(jù)和云計(jì)算”的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)通過(guò)微信公眾號(hào)獲取聯(lián)系和授權(quán)】
