2021年需要關(guān)注的十個(gè)關(guān)鍵深度學(xué)習(xí)算法
譯文【51CTO.com快譯】雖然人們很難預(yù)測未來,但采用人工智能等新興技術(shù)可以了解發(fā)展趨勢。
根據(jù)研究人員和分析師的調(diào)查,到2024年,預(yù)計(jì)全球使用的數(shù)字助理將達(dá)到84億臺(tái)。人工智能的一些主要的用例包括超個(gè)性化、聊天機(jī)器人、預(yù)測行為分析等等。人工智能正在徹底改變?nèi)藗兊墓ぷ骱蜕?,并引領(lǐng)走向難以預(yù)測的未來。人工智能技術(shù)的應(yīng)用似乎勢不可擋,然而最重要的兩個(gè)技術(shù)分支是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。
采用機(jī)器學(xué)習(xí)技術(shù),可以檢測每天發(fā)送的3000億封電子郵件中的垃圾郵件。然而近年,深度學(xué)習(xí)由于其高準(zhǔn)確率、有效性、效率和處理大量數(shù)據(jù)的能力得到了廣泛應(yīng)用。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支,通過學(xué)習(xí)劃分出多種概念層次,每個(gè)概念擁有極大的靈活性和力量。
利用人工神經(jīng)網(wǎng)絡(luò),深度學(xué)習(xí)算法的訓(xùn)練機(jī)器對大量數(shù)據(jù)執(zhí)行復(fù)雜的計(jì)算。深度學(xué)習(xí)算法使機(jī)器能夠像人腦一樣執(zhí)行工作和處理數(shù)據(jù)。深度學(xué)習(xí)算法高度依賴人工神經(jīng)網(wǎng)絡(luò),并基于人腦的結(jié)構(gòu)功能工作。以下列出了在大數(shù)據(jù)時(shí)代每個(gè)人都需要了解的10個(gè)主要的深度學(xué)習(xí)算法:
1.自編碼器
自編碼器是一種前饋神經(jīng)網(wǎng)絡(luò),是一種輸入和輸出都相同的深度學(xué)習(xí)算法。它由Geoffrey Hinton于1980年開發(fā),旨在解決無監(jiān)督學(xué)習(xí)問題。它擁有經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò),將數(shù)據(jù)從輸入層傳輸?shù)捷敵鰧?。自?dòng)編碼器的一些重要用例包括:圖像處理、藥物回收和人口預(yù)測。
以下是自編碼器的三個(gè)主要組件:
- 編碼器(Encoder)
- 編碼器(Coder)
- 解碼器(Decoder)
2.受限玻爾茲曼機(jī)(RBM)
受限玻爾茲曼機(jī)(RBM)是一種隨機(jī)神經(jīng)網(wǎng)絡(luò),能夠從概率分布而不是一組輸入中學(xué)習(xí)。這種深度學(xué)習(xí)算法由Geoffrey Hinton開發(fā),用于主題建模、特征學(xué)習(xí)、協(xié)同過濾、回歸、分類和降維。
受限玻爾茲曼機(jī)(RBM)分成兩個(gè)階段工作:
- 正向傳遞
- 反向傳遞
此外,它由兩層組成:
- 隱藏單元
- 可見單元
每個(gè)可見單元都連接到所有現(xiàn)有的隱藏單元。受限玻爾茲曼機(jī)(RBM)也有一個(gè)偏置單元,該單元連接到所有隱藏單元以及可見單元,但沒有輸出節(jié)點(diǎn)。
3.自組織映射(SOM)
自組織映射(SOM)通過自組織人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)可視化,以減少數(shù)據(jù)的維度。這種深度學(xué)習(xí)算法是由Teuvo Kohonen教授開發(fā)的。數(shù)據(jù)可視化能夠解決人類在處理高維數(shù)據(jù)時(shí)難以實(shí)現(xiàn)可視化的問題。開發(fā)自組織映射(SOM)的目的是為了更好地理解高維信息。
4.多層感知(MLP)
開始學(xué)習(xí)深度學(xué)習(xí)算法的最佳場所是多層感知(MLP)。它屬于前饋神經(jīng)網(wǎng)絡(luò)的類別,并包含激活函數(shù)的眾多感知層。它由完全連接的兩層組成:
- 輸入層
- 輸出層
多層感知(MLP)包含相同數(shù)量的輸入層和輸出層,并且可能具有不同的隱藏層。多層感知(MLP)的一些重要用例包括圖像識(shí)別、人臉識(shí)別和機(jī)器翻譯軟件。
5.深度信念網(wǎng)絡(luò)(DBN)
深度信念網(wǎng)絡(luò)(DBN)擁有多層潛在變量和隨機(jī)變量。潛在變量通常稱為隱藏單元,包含二進(jìn)制值。這些是具有層間連接的玻爾茲曼機(jī)堆棧。每個(gè)受限玻爾茲曼機(jī)(RBM) 層都與后續(xù)層和前一層相連。深度信念網(wǎng)絡(luò)(DBN)的用例包括視頻識(shí)別、圖像識(shí)別以及運(yùn)動(dòng)捕捉數(shù)據(jù)。
6.徑向基函數(shù)網(wǎng)絡(luò)(RBFN)
徑向基函數(shù)網(wǎng)絡(luò)(RBFN)是一類特殊的前饋神經(jīng)網(wǎng)絡(luò),它利用徑向基函數(shù)作為激活函數(shù)。它包含以下層:
- 輸入層
- 隱藏層
- 輸出層
徑向基函數(shù)網(wǎng)絡(luò)(RBFN)層用于回歸、分類和時(shí)間序列預(yù)測。
7.生成式對抗網(wǎng)絡(luò)(GAN)
生成式對抗網(wǎng)絡(luò)(GAN)是一種深度學(xué)習(xí)算法,可創(chuàng)建類似于訓(xùn)練數(shù)據(jù)的新數(shù)據(jù)實(shí)例。生成式對抗網(wǎng)絡(luò)(GAN)有助于生成逼真的圖片、卡通人物、人臉圖像創(chuàng)建和3D對象渲染。生成式對抗網(wǎng)絡(luò)(GAN)被視頻游戲開發(fā)者用來通過圖像訓(xùn)練來提升分辨率。
生成式對抗網(wǎng)絡(luò)(GAN)有兩個(gè)重要組成部分:
- 生成器:能夠生成虛假數(shù)據(jù)。
- 鑒別器:它能夠從虛假信息中學(xué)習(xí)。
8.循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)
循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)由有助于形成有向循環(huán)的連接組成,這些連接允許將長短期記憶網(wǎng)絡(luò)(LSTM)的輸出作為當(dāng)前階段的輸入提供。由于其內(nèi)部存儲(chǔ)器,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)能夠記住以前的輸入。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一些常見用例是:手寫識(shí)別、機(jī)器翻譯、自然語言處理、時(shí)間序列分析、圖像字幕。
9.卷積神經(jīng)網(wǎng)絡(luò)(CNN)
卷積神經(jīng)網(wǎng)絡(luò)(CNN)也稱為卷積網(wǎng)絡(luò),其中包含許多層,主要用于對象檢測和圖像處理。第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN)由Yann LeCun于1988年開發(fā)和部署。當(dāng)時(shí)它被稱為LeNet,主要用于數(shù)字、郵政編碼等字符識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)(CNN)的一些重要使用案例包括醫(yī)學(xué)圖像處理、衛(wèi)星圖像識(shí)別、時(shí)間序列預(yù)測以及異常檢測。
以下是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的一些關(guān)鍵層,它們在數(shù)據(jù)處理以及從數(shù)據(jù)中提取特征中發(fā)揮著關(guān)鍵作用:
- 卷積層
- 校正線性單元(ReLU)
- 池化層
- 全連接層
10. 長短期記憶網(wǎng)絡(luò)(LSTM)
長短期記憶網(wǎng)絡(luò)(LSTM)是一類能夠?qū)W習(xí)和記憶長期依賴關(guān)系的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。長短期記憶網(wǎng)絡(luò)(LSTM)還能夠長期記憶過去的信息。它保留了隨著時(shí)間推移而變化的信息,這在時(shí)間序列預(yù)測中被證明是有益的。它具有鏈狀結(jié)構(gòu),其中4個(gè)交互層以獨(dú)特的方式連接和通信。除了用于時(shí)間序列預(yù)測之外,長短期記憶網(wǎng)絡(luò)(LSTM)還用于藥物開發(fā)、音樂創(chuàng)作和語音識(shí)別。
結(jié)論
人們可以擁有沒有信息的數(shù)據(jù),但不能擁有沒有數(shù)據(jù)的信息。如今,深度學(xué)習(xí)的算法和技術(shù)之所以流行,主要是因?yàn)樗鼈兡軌蛱幚泶罅繑?shù)據(jù),然后將其轉(zhuǎn)換為信息。通過其隱藏層架構(gòu),深度學(xué)習(xí)首先定義低級(jí)類別(如字母),然后是中級(jí)類別(如單詞),然后是高級(jí)類別(如句子)。根據(jù)某些預(yù)測,深度學(xué)習(xí)必將徹底改變供應(yīng)鏈自動(dòng)化。
百度公司首席科學(xué)家以及谷歌大腦項(xiàng)目的杰出領(lǐng)導(dǎo)者之一吳恩達(dá)指出,“在深度學(xué)習(xí)的應(yīng)用中,深度學(xué)習(xí)模型是火箭發(fā)動(dòng)機(jī),而海量數(shù)據(jù)就是這些火箭發(fā)動(dòng)機(jī)的燃料。”
技術(shù)的進(jìn)化和發(fā)展永遠(yuǎn)不會(huì)停止,深度學(xué)習(xí)技術(shù)和算法也是如此。每個(gè)人都必須跟上最新的技術(shù)進(jìn)步,才能在這個(gè)不斷發(fā)展的世界中保持競爭力。
原文標(biāo)題:10 Crucial Deep Learning Algorithms to Keep an Eye on in 2021,作者:Aliha Tanveer
【51CTO譯稿,合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】