【51CTO.com快譯】在本篇文章中，我們將著力探討如何利用深度學(xué)習(xí)算法創(chuàng)建一套數(shù)據(jù)模型。在這里，我們不會(huì)涉及人腦或者人類智能方面的議題，而是嘗試解讀深度學(xué)習(xí)技術(shù)如何幫助我們解決計(jì)算機(jī)科學(xué)與早期人工智能領(lǐng)域的那些重大難題。我們還將談到深度學(xué)習(xí)的優(yōu)勢(shì)與應(yīng)用范疇，并解答創(chuàng)建深度學(xué)習(xí)模型中遇到的部分問題。我們將提供參考、建議與技巧，并以此為起點(diǎn)開展其它后續(xù)議題。

首先，我個(gè)人并不是深度學(xué)習(xí)領(lǐng)域的大牛。相反，我同樣在學(xué)習(xí)這項(xiàng)技術(shù)，并希望通過本文分享自己的思路與知識(shí)，以鼓勵(lì)更多朋友加入學(xué)習(xí)的行列。如果大家發(fā)現(xiàn)其中存在任何遺漏、錯(cuò)誤或者需要補(bǔ)充的內(nèi)容，請(qǐng)?jiān)谠u(píng)論中不吝指出，感謝。

作為一名數(shù)據(jù)科學(xué)專家，深度學(xué)習(xí)技術(shù)最吸引我的地方在于其能夠延伸至多個(gè)領(lǐng)域并解決大量實(shí)際問題。深度學(xué)習(xí)如今已經(jīng)成為一種趨勢(shì)，且擁有巨大的潛在應(yīng)用空間。真正有趣的是，深度學(xué)習(xí)能夠從數(shù)據(jù)當(dāng)中提取出隱藏的特性，從而幫助設(shè)備在無需明確編程（基于規(guī)則的系統(tǒng)）或者人工調(diào)整（其它一些機(jī)器學(xué)習(xí)算法會(huì)借此改進(jìn)自身學(xué)習(xí)能力）的前提下學(xué)習(xí)如何完成任務(wù)。

利用深度學(xué)習(xí)方案，圖像、語音與視頻識(shí)別領(lǐng)域的研究人員及從業(yè)者已經(jīng)獲得了良好的收效。深度學(xué)習(xí)能夠幫助AI更好地充當(dāng)機(jī)器人的大腦，亦可在快速崛起的物聯(lián)網(wǎng)領(lǐng)域發(fā)揮巨大作用。對(duì)于企業(yè)，深度學(xué)習(xí)已經(jīng)開始在客戶服務(wù)精簡與人工密集型任務(wù)內(nèi)的自動(dòng)化輔助領(lǐng)域有所建樹。另外，大家可能也已經(jīng)開始利用深度學(xué)習(xí)支持型機(jī)器人回答產(chǎn)品咨詢問題或者匯總最為常見的提問內(nèi)容。蘋果Siri與微軟Cortana皆以深度學(xué)習(xí)作為其核心組件，而醫(yī)藥與醫(yī)療領(lǐng)域的X片及核磁掃描診斷亦可逐步由深度學(xué)習(xí)算法負(fù)責(zé)解讀。

深度學(xué)習(xí)方法通過大規(guī)模數(shù)據(jù)量訓(xùn)練自身建立非線性關(guān)聯(lián)能力，而正是這種能力使其在家族眾多前輩當(dāng)中脫穎而出。

要了解標(biāo)準(zhǔn)深度學(xué)習(xí)算法的基本原理，我們首先需要了解其前代方案，即神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)包含三個(gè)層級(jí)，分別為輸入層、隱藏層與輸出層。

•     輸入層由神經(jīng)構(gòu)成，其負(fù)責(zé)接收輸入值。這些神經(jīng)的輸出結(jié)果與輸入預(yù)測(cè)相同。

•    輸出層為神經(jīng)網(wǎng)絡(luò)的最終層，負(fù)責(zé)向用戶環(huán)境返回結(jié)果。根據(jù)神經(jīng)網(wǎng)絡(luò)的具體設(shè)計(jì)，其還能夠告知之前各層其如何了解信息內(nèi)容并據(jù)此改進(jìn)之前各層的實(shí)際功能。

•    隱藏層位于輸入與輸出層之間。從傳統(tǒng)角度講，隱藏層的數(shù)量區(qū)間由一到多，其屬于將輸入與節(jié)點(diǎn)輸出結(jié)果相映射的中央計(jì)算層。

為何由神經(jīng)網(wǎng)絡(luò)過渡至深度學(xué)習(xí)？

1. “深度”架構(gòu)的引入能夠支持多個(gè)隱藏層。這意味著其可實(shí)現(xiàn)早期神經(jīng)網(wǎng)絡(luò)所無法實(shí)現(xiàn)的多表示層或者學(xué)習(xí)更為復(fù)雜的特性結(jié)構(gòu)。
2. 改進(jìn)并變更以支持多種架構(gòu)（DBN、RBM、CNN乃至RNN），從而適應(yīng)各類不同問題。
3. 能夠優(yōu)化算法以處理大規(guī)模數(shù)據(jù)計(jì)算任務(wù)。
4. 引入優(yōu)化與正則化參數(shù)，例如通過取舍降低訓(xùn)練數(shù)據(jù)規(guī)模。
5. 具備開源深度學(xué)習(xí)軟件包并面向多種主流編程語言，從而為特定領(lǐng)域帶來創(chuàng)新成果。

單純?cè)黾与[藏層數(shù)量并不足以提升生產(chǎn)力。那么，我們?cè)撊绾螌⑸疃葘W(xué)習(xí)真正轉(zhuǎn)化為實(shí)踐工具？

• 越來越多的數(shù)據(jù):用于訓(xùn)練深層學(xué)習(xí)算法的數(shù)據(jù)量越大，其實(shí)際效果就越好。另外，數(shù)據(jù)本身還應(yīng)當(dāng)同時(shí)囊括正面與負(fù)面狀況，從而幫助算法區(qū)分不同情況并獲取對(duì)應(yīng)知識(shí)。深層學(xué)習(xí)的興起與準(zhǔn)確性提升與大數(shù)據(jù)的全面來襲密不可分。數(shù)字化與大數(shù)據(jù)處理框架能夠幫助深層學(xué)習(xí)更好地獲取訓(xùn)練所必需的數(shù)據(jù)資源。
• 調(diào)整模型是種藝術(shù): 在深層學(xué)習(xí)模型當(dāng)中，超參數(shù)與知識(shí)是實(shí)現(xiàn)模型調(diào)整的必要途徑。其可立足于數(shù)據(jù)集優(yōu)化深層學(xué)習(xí)算法性能并提升其準(zhǔn)確性。在本系列的下一篇文章中，我們將探討如何利用H2O在創(chuàng)建深層學(xué)習(xí)模型的過程中確定相關(guān)參數(shù)。

說到這里，我們又面臨著新的問題，復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)需要大量計(jì)算性能用于訓(xùn)練。這項(xiàng)難題已經(jīng)被價(jià)格合理的高性能GPU所解決，這要?dú)w功于英偉達(dá)及英特爾等廠商的不斷推進(jìn)?？梢钥吹?，利用GPU的深層學(xué)習(xí)模型能夠?qū)崿F(xiàn)遠(yuǎn)高于CPU的訓(xùn)練速度。英偉達(dá)公司在其博客中指出，根據(jù)基準(zhǔn)測(cè)試結(jié)果顯示，GPU加速型神經(jīng)網(wǎng)絡(luò)訓(xùn)練在速度上能夠達(dá)到CPU的10到20倍。這意味著原本需要數(shù)周甚至數(shù)天的訓(xùn)練如今只需要數(shù)小時(shí)即可完成。

R用戶能夠利用以下軟件包創(chuàng)建深層學(xué)習(xí)模型。在下一篇文章中，我們的深層學(xué)習(xí)模型也將由H2O與R配合創(chuàng)建完成。

• h2o:面向H2O的R接口。其能夠?yàn)镠2O提供R腳本功能，而H2O則是一套用于計(jì)算各類并行分布式機(jī)器學(xué)習(xí)算法的開源數(shù)學(xué)引擎，其適用范圍包括在各類集群環(huán)境下實(shí)現(xiàn)廣義近線模型、梯度引導(dǎo)設(shè)備、隨機(jī)森林以及神經(jīng)網(wǎng)絡(luò)（深層學(xué)習(xí)）。
• mxnet:為R語言提供靈活且高效的GPU計(jì)算與領(lǐng)先的深層學(xué)習(xí)能力。
• deepnet: R語言中的深層學(xué)習(xí)工具集。
• neuralnet:用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。其利用配合或未配合權(quán)重回溯的彈性反向傳播，或者經(jīng)過修改的全局聚合版本。這套軟件包允許我們通過定制化錯(cuò)誤與激活函數(shù)選擇實(shí)現(xiàn)設(shè)置調(diào)整。另外，其亦可實(shí)現(xiàn)廣義加權(quán)計(jì)算能力。
• rnn:遞歸神經(jīng)網(wǎng)絡(luò)。在R語言環(huán)境下實(shí)現(xiàn)遞歸神經(jīng)網(wǎng)絡(luò)。
• darch:面向深層架構(gòu)與受限玻爾茲曼機(jī)的軟件包。darch軟件包由G. E. Hinton與R. R. Salakhutdinov提供的代碼構(gòu)建而成。這種方法中包含一項(xiàng)由G.E Hinton發(fā)布的預(yù)訓(xùn)練對(duì)比發(fā)散方法并在發(fā)布前利用反向傳播及共軛梯度等算法進(jìn)行預(yù)訓(xùn)練。另外，其中亦引入更多其它新型技術(shù)以提升深層學(xué)習(xí)的細(xì)粒度調(diào)整效果。
• autoencoder:用于對(duì)未標(biāo)記數(shù)據(jù)內(nèi)表現(xiàn)特性進(jìn)行自動(dòng)化學(xué)習(xí)的稀疏自動(dòng)編碼器。

大家可以下載您所喜愛的深層學(xué)習(xí)軟件包并開始編程。為了幫助大家更好地找到起點(diǎn)，我們可以立足以下問題以建立一套適合自身實(shí)際情況的深層學(xué)習(xí)模型。

• 共有多少神經(jīng)元需要使用輸入層？決定輸入或者功能數(shù)量。
• 應(yīng)該使用多少個(gè)隱藏層？要了解所需使用的具體隱藏層數(shù)量，我們應(yīng)當(dāng)利用標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)方案進(jìn)行交叉驗(yàn)證。
• 每個(gè)隱藏層中應(yīng)包含多少個(gè)神經(jīng)元？我們無法純粹依靠現(xiàn)成技術(shù)確定隱藏層中的具體神經(jīng)元數(shù)量。最常見的隱藏層***神經(jīng)元數(shù)量應(yīng)介于輸入層與輸出層神經(jīng)元數(shù)量之間。另外，我們亦可使用幾何金字塔規(guī)則計(jì)算出一項(xiàng)粗略的近似值，這是一套擁有N個(gè)輸入與輸出神經(jīng)元的三層網(wǎng)絡(luò)，其中隱藏層的神經(jīng)元數(shù)量為sqrt(n * m)sqrt(n * m)個(gè)。
• 深層學(xué)習(xí)網(wǎng)絡(luò)能否在無需隱藏層的情況下實(shí)現(xiàn)？是的，但請(qǐng)不要將其稱為“深層”學(xué)習(xí)網(wǎng)絡(luò)。其能夠接納數(shù)量，并對(duì)數(shù)據(jù)進(jìn)行線性分離。
• 我們應(yīng)當(dāng)設(shè)置多少輸出層神經(jīng)元？ 等同于我們持有的目標(biāo)類數(shù)量。

原文標(biāo)題：Dive Deep Into Deep Learning    原文作者：Sibanjan Das

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】