Facebook 聯(lián)同 MIT 等發(fā)布研究手稿：解釋深度學(xué)習(xí)實(shí)際工作原理的理論
Facebook、普林斯頓大學(xué)和麻省理工學(xué)院的 AI 研究人員近日宣布聯(lián)合出版了一本名為《The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks(深度學(xué)習(xí)理論原理：理解神經(jīng)網(wǎng)絡(luò)的一種有效理論方法)》的書(shū)籍。目前，該書(shū)的手稿已經(jīng)公開(kāi)提供。
根據(jù)介紹，在基本層面上，該書(shū)提供了一個(gè)從第一性原理(first principles)理解深度神經(jīng)網(wǎng)絡(luò)(DNN)的理論框架。對(duì)于 AI 從業(yè)者來(lái)說(shuō)，這種理解可以大大減少訓(xùn)練這些 DNN 所需的試驗(yàn)和錯(cuò)誤的數(shù)量。例如，它可以揭示任何給定模型的最佳超參數(shù)，而不需要通過(guò)今天所需的時(shí)間和計(jì)算密集型實(shí)驗(yàn)。
Facebook AI 研究科學(xué)家 Sho Yaida 稱，DNN 是現(xiàn)代 AI 研究的關(guān)鍵要素之一。但對(duì)于包括大多數(shù) AI 研究人員在內(nèi)的人都認(rèn)為，DNN 太過(guò)復(fù)雜，無(wú)法從第一性原理的角度來(lái)理解。這一問(wèn)題的存在意味著，盡管業(yè)界已通過(guò)實(shí)驗(yàn)和反復(fù)試驗(yàn)在 AI 方面取得了很大進(jìn)展，但研究人員對(duì) DNN 的許多關(guān)鍵特性仍一無(wú)所知，而這些特性恰恰使得 DNN 極其有用。他認(rèn)為，如果研究人員對(duì)這些關(guān)鍵特性有更深入的了解，可能會(huì)帶來(lái)一些顯著的進(jìn)步，并開(kāi)發(fā)出強(qiáng)大得多的 AI 模型。
Yaida 將 AI 與工業(yè)革命初期的蒸汽機(jī)進(jìn)行了比較。并表示，雖然蒸汽機(jī)永遠(yuǎn)改變了制造業(yè)，但直到接下來(lái)的一個(gè)世紀(jì)熱力學(xué)定律和統(tǒng)計(jì)力學(xué)原理得到發(fā)展，科學(xué)家們才能夠在理論層面上充分解釋它是如何工作的以及為什么工作。雖然缺乏了解的這個(gè)問(wèn)題并沒(méi)有阻止人們改進(jìn)蒸汽機(jī)，但熱機(jī)原理的發(fā)現(xiàn)卻大大加快了改進(jìn)的步伐。
Yaida 指出，AI 領(lǐng)域目前就正處于類(lèi)似的關(guān)頭。DNN 被視為黑匣子，因太過(guò)復(fù)雜導(dǎo)致無(wú)法從第一性原理的角度來(lái)理解。因此，AI 模型通過(guò)反復(fù)試驗(yàn)加以微調(diào)，類(lèi)似于人們改進(jìn)蒸汽機(jī)的方式。不過(guò) Yaida 也表示，試錯(cuò)并不一定是壞事，它可以結(jié)合多年形成的經(jīng)驗(yàn)來(lái)巧妙進(jìn)行。但試錯(cuò)也只是描述 DNN 及其實(shí)際運(yùn)作方式的統(tǒng)一理論語(yǔ)言的替代品。
公告指出，此書(shū)只是重新構(gòu)想 AI 科學(xué)這一更大項(xiàng)目的第一步，該項(xiàng)目既源自第一性原理，同時(shí)又專注于描述現(xiàn)實(shí)模型的實(shí)際工作方式。如果成功，這種深度學(xué)習(xí)的一般理論可能會(huì)支持更強(qiáng)大的人工智能模型，甚至可能引導(dǎo)我們建立一個(gè)研究智能通用方面的框架。
值得注意的是，雖然書(shū)中描述的框架可以擴(kuò)展到現(xiàn)代 AI 社區(qū)使用的真實(shí)世界 DNN。但此書(shū)本身最主要的還是關(guān)注最簡(jiǎn)單的深度學(xué)習(xí)模型(深度多層感知器)。
有了這個(gè)新的有效理論，我們希望 AI 理論家能夠推動(dòng)對(duì)神經(jīng)網(wǎng)絡(luò)有更深入、更全面的理解。還有很多的東西需要計(jì)算，但這項(xiàng)工作有望使這個(gè)領(lǐng)域更接近了解這些模型的哪些特定屬性使它們能夠智能地執(zhí)行。我們還希望這本書(shū)能夠幫助 AI 社區(qū)減少有時(shí)會(huì)限制當(dāng)前進(jìn)展的試錯(cuò)循環(huán)。我們希望幫助從業(yè)者快速設(shè)計(jì)更好的模型——效率更高、性能更好、訓(xùn)練更快。特別是，那些設(shè)計(jì) DNN 的人將能夠在沒(méi)有任何訓(xùn)練的情況下選擇最佳超參數(shù)，并選擇最佳算法和模型架構(gòu)以獲得最佳結(jié)果。
更多詳情可查看官方博客。
本文轉(zhuǎn)自O(shè)SCHINA
本文標(biāo)題：Facebook 聯(lián)同 MIT 等發(fā)布研究手稿：解釋深度學(xué)習(xí)實(shí)際工作原理的理論
本文地址：https://www.oschina.net/news/147068/facebook-mit-ai-researchers
