解鎖人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)
譯文【51CTO.com快譯】
了解AI，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展
首先，有一點(diǎn)背景...
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子集，而機(jī)器學(xué)習(xí)又是人工智能的子集，但是這些名稱的起源來自一個有趣的歷史。此外，還有一些引人入勝的技術(shù)特征，可將深度學(xué)習(xí)與其他類型的機(jī)器學(xué)習(xí)區(qū)分開來……對于技能水平較高的ML、DL或AI的任何人來說，這都是必不可少的工作知識。
如果你希望在2021年提高你的技能或指導(dǎo)商業(yè)/研究策略，你可能會遇到譴責(zé)深度學(xué)習(xí)中技能短缺的文章。幾年前，你也會讀到同樣的關(guān)于缺乏具備機(jī)器學(xué)習(xí)技能的專業(yè)人士的文章，而就在幾年前，人們會把重點(diǎn)放在缺乏精通“大數(shù)據(jù)”的數(shù)據(jù)科學(xué)家上。
同樣，多年來，我們已經(jīng)聽到吳安德（Andrew Ng）告訴我們，“人工智能是新的電力”，并且不斷建議人工智能在商業(yè)和社會中的出現(xiàn)與 工業(yè)革命產(chǎn)生相似的影響。盡管可以說對技能短缺的警告被 夸大了，但為什么我們似乎改變了關(guān)于最需要什么技能的想法的速度，而這些想法卻比最初可以填補(bǔ)的角色更快？
更廣泛地說，受益于20/20后見之明，多年來人工智能研究為何會有如此多的不同名稱和名稱？
截至撰寫本文時(shí)，在工作網(wǎng)站Indeed.com上搜索“深度學(xué)習(xí)”時(shí)，命中率約為49,000。這有點(diǎn)好笑，因?yàn)樯疃葘W(xué)習(xí)是機(jī)器學(xué)習(xí)的一個子集，而機(jī)器學(xué)習(xí)又是人工智能的一個領(lǐng)域，搜索機(jī)器學(xué)習(xí)和人工智能分別創(chuàng)造了約40,000個和約39,000個工作。
如果深度學(xué)習(xí)是人工智能的一部分，為什么對后者開放的工作崗位要少20%左右？答案是，我們在這些領(lǐng)域使用的術(shù)語往往與趨勢和市場化程度有關(guān)，也與任何實(shí)質(zhì)性差異有關(guān)。這并不是說我們不能根據(jù)技術(shù)特性來區(qū)分不同的類別，我們也會這樣做！
事實(shí)上，深度學(xué)習(xí)與“經(jīng)典”機(jī)器學(xué)習(xí)（包括淺層神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)學(xué)習(xí)）之間存在一些非常有趣的新興特征。在我們談?wù)撨@些之前，讓我們先來回顧一下人工智能的歷史，在這里我們會看到，各種人工智能術(shù)語的流行在很大程度上與在后來落空之前產(chǎn)生高期望值有關(guān)，并最終在新想法導(dǎo)致舊問題的新解決方案時(shí)重新樹立信譽(yù)。
達(dá)特茅斯研討會：人工智能得名
達(dá)特茅斯研討會是1956年由少數(shù)著名數(shù)學(xué)家和科學(xué)家舉辦的夏季會議。
這個研討會被廣泛認(rèn)為是人工智能領(lǐng)域的奠基之作，它把許多不同的學(xué)科以不同的名稱（每個學(xué)科都有自己的概念基礎(chǔ)）聚集在人工智能的保護(hù)傘下。在1955年約翰麥卡錫提出這個會議之前，思考機(jī)器的想法是在自動機(jī)理論和控制論等不同的方法下進(jìn)行的。出席的有克勞德·香農(nóng)、約翰·納什和馬文·明斯基等知名人士。達(dá)特茅斯研討會不僅將智能機(jī)器相關(guān)的幾個獨(dú)立研究領(lǐng)域聯(lián)系在一起，還對未來十年的研究提出了雄心勃勃的期望。
事實(shí)證明，這些雄心壯志最終將以失望和第一個人工智能冬天而告終——這個詞用來描述人工智能炒作周期中時(shí)起時(shí)落的平靜。
1973年，英國的詹姆斯·萊特希爾爵士（Sir James Lighthill）教授撰寫了《人工智能：總體調(diào)查》，也稱為《萊特希爾報(bào)告》。在他的報(bào)告中，Lighthill描述了人工智能研究的三個類別：A、B和C。雖然他描述了A和C類（高級自動化和計(jì)算神經(jīng)科學(xué)）中的一些未達(dá)到的期望，但Lighthill描述了該領(lǐng)域在非常明顯的B類（又名機(jī)器人）中最明顯的不足。Lighthill的報(bào)告，連同一篇論文，展示了早期形式的淺層神經(jīng)網(wǎng)絡(luò)的一些缺點(diǎn)，由Marvin Minsky和Seymour Paypert設(shè)計(jì)的感知器，直到今天都被認(rèn)為是70年代開始流行的人工智能冬天的主要先兆。
“所有這些工作的學(xué)生都普遍認(rèn)為，期望在20世紀(jì)開發(fā)出能夠以學(xué)習(xí)或自組織模式有效處理大型知識庫的高度通用系統(tǒng)是不現(xiàn)實(shí)的。”—詹姆斯·萊特希爾，《人工智能：綜述》
聯(lián)結(jié)主義與80年代人工智能的回歸
不久，人們對人工智能的興趣又恢復(fù)了，在上世紀(jì)80年代，資金也開始悄悄地回到這個領(lǐng)域。盡管神經(jīng)網(wǎng)絡(luò)和感知器領(lǐng)域在第一次明顯失寵（許多人指責(zé)明斯基和佩珀特），但這一次它們將發(fā)揮主要作用。也許是為了遠(yuǎn)離先前的失望，神經(jīng)網(wǎng)絡(luò)將以一個新的綽號：連接主義的名義重新進(jìn)入合法的研究。
事實(shí)上，在現(xiàn)代深度學(xué)習(xí)時(shí)代，許多最知名的名字，如Jürgen Schmidhuber、Yann LeCun、Yoshua Bengio和Geoffrey Hinton，在20世紀(jì)80年代和90年代初都在做反向傳播和消失梯度問題等基礎(chǔ)性工作，但80年代人工智能研究的真正頭條是人工智能領(lǐng)域?qū)＜蚁到y(tǒng)。與萊特希爾在報(bào)告中批評的“宏大主張”不同，專家系統(tǒng)實(shí)際上提供了可量化的商業(yè)利益，如卡內(nèi)基梅隆大學(xué)開發(fā)的XCON。
XCON是一個專家系統(tǒng)，據(jù)報(bào)道每年為數(shù)字設(shè)備公司節(jié)省了4000萬美元。隨著XCON等系統(tǒng)和一些知名游戲系統(tǒng)的應(yīng)用，商業(yè)研發(fā)實(shí)驗(yàn)室和政府項(xiàng)目的資金都回到了人工智能上。然而，這不會持續(xù)很久。
組合爆炸仍然是一個未解決的挑戰(zhàn)，現(xiàn)實(shí)世界場景的復(fù)雜性變得難以列舉。尤其是專家系統(tǒng)太脆弱，無法處理不斷變化的信息，而且更新它們的成本很高。同樣，令人信服和有能力的機(jī)器人也不見蹤影。
羅德尼·布魯克斯（Rodney Brooks）和漢斯·莫拉維克（Hans Moravec）等機(jī)器人學(xué)家開始強(qiáng)調(diào)，，費(fèi)盡心思將人類專家知識提煉成計(jì)算機(jī)程序的手工工作不足以解決人類最基本的技能，例如在繁忙的人行道上導(dǎo)航或在嘈雜的人群中尋找朋友。很快，在我們現(xiàn)在所知的莫拉維克悖論下，很明顯，對于人工智能來說，簡單的事情是困難的，而像計(jì)算一大筆錢或玩專家跳棋這樣困難的事情則相對容易。
專家系統(tǒng)被證明是脆弱且昂貴的，這為令人失望的舞臺打下了基礎(chǔ)，但與此同時(shí)，基于學(xué)習(xí)的人工智能卻日漸盛行，許多研究人員開始涌向這一領(lǐng)域。他們對機(jī)器學(xué)習(xí)的關(guān)注包括神經(jīng)網(wǎng)絡(luò)，以及各種各樣的其他算法和模型，如支持向量機(jī)、聚類算法和回歸模型。
從1980年代到1990年代的轉(zhuǎn)變被某些人視為第二個AI冬季，實(shí)際上在此期間關(guān)閉了數(shù)百家AI公司和部門。這些公司中有許多都參與了當(dāng)時(shí)高性能計(jì)算（HPC）的建設(shè)，而它們的關(guān)閉表明 摩爾定律將 在AI進(jìn)步中發(fā)揮重要作用。
由IBM在1990年代后期開發(fā)的國際象棋冠軍系統(tǒng)Deep Blue并非由更好的專家系統(tǒng)提供支持，而是由支持計(jì)算的 alpha-beta搜索提供支持。當(dāng)您可以從家用臺式機(jī)獲得相同的性能時(shí)，為什么還要為專用的 Lisp機(jī)器支付高價(jià)呢？
盡管隨著晶體管達(dá)到物理極限，摩爾定律已基本放緩，但工程改進(jìn)仍繼續(xù)在NVIDIA和AMD引領(lǐng)下實(shí)現(xiàn)現(xiàn)代AI的新突破?，F(xiàn)在，專為最能支持現(xiàn)代深度學(xué)習(xí)模型的組件而設(shè)計(jì)的一站式AI工作站，與幾年前最先進(jìn)的硬件相比，其迭代速度有很大的不同。
神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)世界中的應(yīng)用
然而，在研究和實(shí)際應(yīng)用方面，上世紀(jì)90年代初確實(shí)更像是一個緩慢醞釀的時(shí)期。那時(shí)，未來的圖靈獎得主正在進(jìn)行開創(chuàng)性的工作，而神經(jīng)網(wǎng)絡(luò)很快將被應(yīng)用于光學(xué)字符識別的實(shí)際應(yīng)用中，用于郵件分揀等任務(wù)。LSTMs在1997年針對消失梯度問題取得了進(jìn)展，并且在神經(jīng)網(wǎng)絡(luò)和其他機(jī)器學(xué)習(xí)方法方面繼續(xù)進(jìn)行有意義的研究。
機(jī)器學(xué)習(xí)這個術(shù)語繼續(xù)流行，也許是嚴(yán)肅的研究人員為了遠(yuǎn)離與人工智能相關(guān)的過于雄心勃勃的主張（以及科幻小說的污名）而做出的努力。穩(wěn)步的進(jìn)步和硬件的改進(jìn)繼續(xù)推動人工智能在新千年的發(fā)展，但直到采用高度并行的圖形處理單元（GPU）作為神經(jīng)網(wǎng)絡(luò)的自然并行數(shù)學(xué)原語，我們才進(jìn)入了現(xiàn)代深度學(xué)習(xí)時(shí)代。
現(xiàn)代人工智能：深度學(xué)習(xí)即將到來
當(dāng)思考人工智能深度學(xué)習(xí)時(shí)代的開始時(shí)，我們中的許多人都會提到Alex Krizhevsky等人在2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽上的成功以及他們的GPU訓(xùn)練模型。雖然按照今天的標(biāo)準(zhǔn)，所謂的AlexNet在規(guī)模上是適度的，但它在各種方法的競爭領(lǐng)域中果斷地勝出。
從那時(shí)起，這項(xiàng)挑戰(zhàn)的成功者都是建立在卷積神經(jīng)網(wǎng)絡(luò)相似原理的基礎(chǔ)上的，因此在動物視覺系統(tǒng)中，卷積網(wǎng)絡(luò)的許多特性和訓(xùn)練過程中學(xué)習(xí)到的核權(quán)值具有相似性也就不足為奇了。
AlexNet并不是一個特別深的卷積神經(jīng)網(wǎng)絡(luò)，它從尖端到尾部橫跨8層，僅比LeNet-5（pdf）的深度深3層，LeNet-5是20多年前描述的一種卷積網(wǎng)絡(luò)。相反，AlexNet的主要貢獻(xiàn)是證明了在GPU上進(jìn)行培訓(xùn)既可行又非常值得。
在AlexNet開發(fā)的直接沿襲中，我們現(xiàn)在專門設(shè)計(jì)了GPU，以支持更快、更有效的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練。
AlexNet已成為人工智能突破的原型
2012年ILSVRC和AlexNet在競賽中的表現(xiàn)是非常具有標(biāo)志性的，以至于它已成為過去十年人工智能突破的原型。
不論好壞，人們都在談?wù)撟匀徽Z言處理時(shí)， 機(jī)器人技術(shù)和步態(tài)分析的“ ImageNet時(shí)刻” ，僅舉幾例。從那時(shí)起，我們已經(jīng)取得了長足的進(jìn)步，深度學(xué)習(xí)模型在玩游戲、生成令人信服的文本以及其他屬于前面提到的Moravec悖論中提到的“簡單就是困難”任務(wù)類型的類別中，展示了接近人類的表現(xiàn)或更好的表現(xiàn)。
深度學(xué)習(xí)也為基礎(chǔ)科學(xué)研究做出了貢獻(xiàn)，并在2020年為蛋白質(zhì)結(jié)構(gòu)預(yù)測生物學(xué)的根本挑戰(zhàn)做出了明確貢獻(xiàn)。
硬件加速使得訓(xùn)練深度和廣度的神經(jīng)網(wǎng)絡(luò)成為可能，但這并不能解釋為什么或者甚至解釋為什么較大的模型比較小的模型產(chǎn)生更好的結(jié)果。杰弗里·欣頓（Geoffrey Hinton）被廣泛認(rèn)為是現(xiàn)代深度學(xué)習(xí)時(shí)代的先驅(qū)之一，他在他的《機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)MOOC》中提出，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)在7個層次上變成了深度學(xué)習(xí)。
我們不認(rèn)為這是一個錯誤的經(jīng)驗(yàn)法則，接近深度學(xué)習(xí)范式的開始，但我們認(rèn)為，我們可以通過考慮深度學(xué)習(xí)模型的訓(xùn)練方式與其他形式的機(jī)器學(xué)習(xí)方式的不同，更有意義地劃清界限。
另外值得注意的是，雖然深度學(xué)習(xí)通常指由多層完全連接或卷積的神經(jīng)層組成的模型，但該術(shù)語也包括神經(jīng)常微分方程或神經(jīng)細(xì)胞自動機(jī)等模型。
正是計(jì)算的復(fù)雜性和操作的深度使得深度學(xué)習(xí)成為可能，而層不一定需要由人工神經(jīng)元組成。
脫離偏差-方差權(quán)衡與深度學(xué)習(xí)
統(tǒng)計(jì)學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個子集，本文中尚未提及，但它仍然是數(shù)百萬數(shù)據(jù)和基礎(chǔ)研究科學(xué)家的一個重要專業(yè)領(lǐng)域。
在統(tǒng)計(jì)學(xué)習(xí)和機(jī)器學(xué)習(xí)中，對于較小的模型和數(shù)據(jù)集最重要的概念之一是偏差-方差權(quán)衡。偏差對應(yīng)于對訓(xùn)練數(shù)據(jù)的擬合不足，通常是模型沒有擬合能力來表示數(shù)據(jù)集中的模式的癥狀。
另一方面，方差對應(yīng)的模型與訓(xùn)練數(shù)據(jù)擬合得太好，以至于對驗(yàn)證數(shù)據(jù)的泛化能力很差。更容易記住的同義詞是“欠適合/過適合”。
在簡單的分類問題中過度擬合的卡通示例。深紫色斑點(diǎn)表示訓(xùn)練數(shù)據(jù)，黑色決策邊界已被過度擬合。較淺的紫色圓點(diǎn)已被正確排除在決策邊界之外，但是訓(xùn)練集中未出現(xiàn)的兩個橙色斑點(diǎn)（見箭頭）被錯誤地歸類為外部群組。背景中的虛線表示真實(shí)的分類邊界。
對于統(tǒng)計(jì)模型和淺層神經(jīng)網(wǎng)絡(luò)，我們通?？梢詫M合不足解釋為模型過小的癥狀，而過度擬合則認(rèn)為模型過大。當(dāng)然，有很多不同的策略可以對模型進(jìn)行正則化，以使其表現(xiàn)出更好的概括性，但是我們將把討論主要放在另一時(shí)間。
較大模型利用較大數(shù)據(jù)集的能力的卡通表示。圖片由作者提供。
訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)集模型性能的差異往往表現(xiàn)出過度擬合現(xiàn)象，并且隨著訓(xùn)練次數(shù)的增加/模型的增加，這種偏差會變得更糟。然而，當(dāng)模型和數(shù)據(jù)集都變得更大時(shí)，會出現(xiàn)一個有趣的現(xiàn)象。這種令人著迷的雙下降緊急特性指的是性能改善的最初階段，隨后由于過度擬合而降低性能，但最終被性能更好的替代。這是隨著模型深度、寬度或訓(xùn)練數(shù)據(jù)的增加而發(fā)生的，這可能是最合理的地方，來區(qū)分深度學(xué)習(xí)和較淺的神經(jīng)網(wǎng)絡(luò)。
深雙下降的卡通表現(xiàn)，圖片由作者提供。
推廣，而像輟學(xué)這樣的正則化技術(shù)往往會產(chǎn)生更好的結(jié)果。諸如 彩票假設(shè)之類的深度學(xué)習(xí)的其他特征可能是相關(guān)的。
人工智能子領(lǐng)域的總結(jié)歷史和理論基礎(chǔ)
到此，我們結(jié)束了對AI幾個子領(lǐng)域的歷史和原理的討論，以及它們在歷史的不同階段所被稱為的內(nèi)容。
我們還討論了深度學(xué)習(xí)模型的一個有趣的識別特征，當(dāng)我們直覺地期望它們大規(guī)模過擬合時(shí)，它可以隨著規(guī)?；驍?shù)據(jù)的增加而不斷改進(jìn)。當(dāng)然，如果您要向投資者/經(jīng)理/資金提供者介紹項(xiàng)目，或者向潛在的雇主介紹自己，那么您可能需要從營銷角度考慮術(shù)語。
在這種情況下，您可能希望將自己的工作描述為AI，向公眾描述，作為深度學(xué)習(xí)，向投資者描述，以及在會議上將您的同事和同事描述為機(jī)器學(xué)習(xí)。
來源：DZone 原文鏈接：https://dzone.com/articles/disentangling-ai-machine-learning-and-deep-learnin
【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】
