自從計算機誕生之初，人類就夢想著能夠創(chuàng)造出會思考的機器。1956 年在達特茅斯學(xué)院組織的一個研討會上，約翰 · 麥卡錫提出人工智能這個概念，一群數(shù)學(xué)家和科學(xué)家聚集在一起尋找如何讓機器使用語言、形成抽象理解和概念、以解決現(xiàn)存的各種問題，當(dāng)時研討會參與者樂觀地認(rèn)為，在幾個月的時間里這些問題能取得真正的進展。

人工智能是由約翰麥卡錫于 1956 年在達特茅斯學(xué)院組織的一個研討會上創(chuàng)立的，一群數(shù)學(xué)家和科學(xué)家聚集在一起尋找如何讓機器使用語言、形成抽象和概念、解決現(xiàn)在保留的各種問題，當(dāng)時研討會參與者樂觀地認(rèn)為，幾個月的集中努力將在這些問題上取得真正的進展。

1956 年達特茅斯人工智能會議的參與者：馬文 · 明斯基、克勞德 · 香農(nóng) 、雷 · 所羅門諾夫和其他科學(xué)家。攝自：Margaret Minsky

事實證明，預(yù)留幾個月的時間安排過于樂觀。在接下來的 50 年里，創(chuàng)建人工智能系統(tǒng)的各種方法開始流行，但后來又遭遇過時，包括基于邏輯的系統(tǒng)、基于規(guī)則的專家系統(tǒng)和神經(jīng)網(wǎng)絡(luò)。

直到 2011 年左右，人工智能才開始進入發(fā)展關(guān)鍵階段，取得了巨大的進步，這得益于深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的復(fù)興，這些技術(shù)的進步有助于提高計算機看、聽和理解周圍世界的能力，使得人工智能在科學(xué)以及人類探索的其他領(lǐng)域取得巨大進步。這其中有哪些原因呢？

近日，谷歌大牛 Jeff Dean 發(fā)表了一篇文章《 A Golden Decade of Deep Learning: Computing Systems & Applications 》，文章探索了深度學(xué)習(xí)在這黃金十年里，計算系統(tǒng)以及應(yīng)用進步的原因都有哪些？本文重點關(guān)注三個方面：促成這一進步的計算硬件和軟件系統(tǒng)；過去十年在機器學(xué)習(xí)領(lǐng)域一些令人興奮的應(yīng)用示例；如何創(chuàng)建更強大的機器學(xué)習(xí)系統(tǒng)，以真正實現(xiàn)創(chuàng)建智能機器的目標(biāo)。

Jeff Dean 的這篇文章發(fā)表在了美國文理學(xué)會會刊 D?dalus 的 AI 與社會（AI & Society）特刊上。

文章地址：https://www.amacad.org/sites/default/files/publication/downloads/Daedalus_Sp22_04_Dean.pdf

深度學(xué)習(xí)的黃金十年

人工智能硬件和軟件的進步

人工智能的硬件和軟件：深度學(xué)習(xí)通過組合不同的線性代數(shù)（例如矩陣乘法、向量點積以及類似操作）進行運算，但這種運算方式會受到限制，因此我們可以構(gòu)建專用計算機或加速器芯片來進行處理，相比于通用 CPU，這種專業(yè)化的加速器芯片能帶來新的計算效率和設(shè)計選擇。

專為支持此類計算而定制的計算機或加速器芯片。相對于必須運行更廣泛種類的算法的通用 CPU，這種專業(yè)化實現(xiàn)了新的效率和設(shè)計選擇。

早在 2000 年代初期，就有少數(shù)研究者開始探索使用 GPU 來實現(xiàn)深度學(xué)習(xí)算法。之后到了 2004 年，計算機科學(xué)家 Kyoung-Su Oh 和 Keechul Jung 展示了使用 GPU 對神經(jīng)網(wǎng)絡(luò)算法近 20 倍的速度提 sheng。2008 年，計算機科學(xué)家 Rajat Raina 及其同事演示了在某些非監(jiān)督學(xué)習(xí)算法中，使用 GPU 與使用基于 CPU 的最佳實現(xiàn)相比，GPU 速度提升可達 72.6 倍。

隨著計算硬件的改進，深度學(xué)習(xí)開始在圖像識別、語音識別、語言理解等方面取得顯著進步。深度學(xué)習(xí)算法有兩個非常好的特性可以構(gòu)建專門的硬件：首先，它們對精度的降低非常寬容；其次，深度學(xué)習(xí)的計算方式，其由密集矩陣或向量上的不同線性代數(shù)運算序列組成。

為了使深度學(xué)習(xí)和計算變得更容易，研究人員開發(fā)了開源軟件框架，如今，開源框架幫助大量的研究人員、工程師等推進深度學(xué)習(xí)研究，并將深度學(xué)習(xí)應(yīng)用到更廣泛的領(lǐng)域。

早期的一些框架包括 Torch、Theano、DistBelief 、Caffe 等，還有谷歌在 2015 年開發(fā)、開源的 TensorFlow，它是一個允許表達機器學(xué)習(xí)計算的框架，并結(jié)合了 Theano 和 DistBelief 等早期框架的想法。到目前為止，TensorFlow 已被下載超過 5000 萬次，是世界上最受歡迎的開源軟件包之一。

TensorFlow 發(fā)布的一年后，PyTorch 于 2016 年發(fā)布，它使用 Python 可以輕松表達各種研究思想而受到研究人員的歡迎。JAX 于 2018 年發(fā)布，這是一個流行的面向 Python 的開源庫，結(jié)合了復(fù)雜的自動微分和底層 XLA 編譯器，TensorFlow 也使用它來有效地將機器學(xué)習(xí)計算映射到各種不同類型的硬件上。

TensorFlow 和 PyTorch 等開源機器學(xué)習(xí)庫和工具的重要性怎么強調(diào)都不為過，它們允許研究人員可以快速嘗試想法。隨著世界各地的研究人員和工程師更輕松地在彼此的工作基礎(chǔ)上進行構(gòu)建，整個領(lǐng)域的進展速度將加快！

研究成果激增

研究不斷取得進步、面向 ML 硬件（GPU、TPU 等）的計算能力不斷增強、開源機器學(xué)習(xí)工具（Tensor-Flow、PyTorch 等）被廣泛采用，這一系列進展使得機器學(xué)習(xí)及其應(yīng)用領(lǐng)域的研究成果急劇增加。其中一個強有力的指標(biāo)是發(fā)布到 arXiv 上關(guān)于機器學(xué)習(xí)領(lǐng)域的論文數(shù)量，arXiv 是一個廣受歡迎的論文預(yù)印本托管服務(wù)，2018 年發(fā)布的論文預(yù)印本數(shù)量是 2009 年的 32 倍以上（每兩年增長一倍以上）。通過與氣候科學(xué)和醫(yī)療保健等關(guān)鍵領(lǐng)域的專家合作，機器學(xué)習(xí)研究人員正在幫助解決對社會有益、促進人類進步的重要問題?？梢哉f我們生活在一個激動人心的時代。

科學(xué)和工程應(yīng)用激增

計算能力的變革性增長、機器學(xué)習(xí)軟硬件的進步以及機器學(xué)習(xí)研究成果的激增，都使得機器學(xué)習(xí)應(yīng)用在科學(xué)和工程領(lǐng)域的激增。通過與氣候科學(xué)和醫(yī)療健康等關(guān)鍵領(lǐng)域的合作，機器學(xué)習(xí)研究人員正在幫助解決對社會有益并促進人類發(fā)展的重要問題。這些科學(xué)和工程領(lǐng)域包括如下：

• 神經(jīng)科學(xué)
• 分子生物學(xué)
• 醫(yī)療健康
• 天氣、環(huán)境和氣候挑戰(zhàn)
• 機器人
• 可訪問性
• 個性化學(xué)習(xí)
• 計算機輔助的創(chuàng)造性
• 重要的構(gòu)建塊
• Transformers
• 計算機系統(tǒng)的 ML

每個細(xì)分的詳細(xì)內(nèi)容請參考原文。

機器學(xué)習(xí)的未來

ML 研究社區(qū)正在出現(xiàn)一些有趣的研究方向，如果將它們結(jié)合起來可能會更加有趣。

首先，研究稀疏激活模型，比如稀疏門控專家混合模型（Sparsely-Gated MoE），展示了如何構(gòu)建非常大容量的模型，其中對于任何給定的實例（如 2048 個專家中的兩至三個），只有一部分模型被「激活」。

其次，研究自動化機器學(xué)習(xí)（AutoML），其中神經(jīng)架構(gòu)搜索（NAS）或進化架構(gòu)搜索（EAS）等技術(shù)可以自動學(xué)習(xí) ML 模型或組件的高效結(jié)構(gòu)或其他方面以對給定任務(wù)的準(zhǔn)確率進行優(yōu)化。AutoML 通常涉及運行很多自動化實驗，每個實驗都可能包含巨量計算。

最后，以幾個到幾十個相關(guān)任務(wù)的適當(dāng)規(guī)模進行多任務(wù)訓(xùn)練，或者從針對相關(guān)任務(wù)的大量數(shù)據(jù)訓(xùn)練的模型中遷移學(xué)習(xí)然后針對新任務(wù)在少量數(shù)據(jù)上進行微調(diào)，這些方式已被證明在解決各類問題時都非常有效。

一個非常有趣的研究方向是把以上三個趨勢結(jié)合起來，其中在大規(guī)模 ML 加速器硬件上運行一個系統(tǒng)。目標(biāo)是訓(xùn)練一個可以執(zhí)行數(shù)千乃至數(shù)百個任務(wù)的單一模型。這種模型可能由很多不同結(jié)構(gòu)的組件組成，實例（example）之間的數(shù)據(jù)流在逐實例的基礎(chǔ)上是相對動態(tài)的。模型可能會使用稀疏門控專家混合和學(xué)習(xí)路由等技術(shù)以生成一個非常大容量的模型，但其中一個任務(wù)或?qū)嵗齼H稀疏激活系統(tǒng)中總組件的一小部分。

下圖 1 描述了一個多任務(wù)、稀疏激活的機器學(xué)習(xí)模型。

每個組件本身可能正在運行一些類 AutoML 的架構(gòu)搜索，以使組件的結(jié)構(gòu)適應(yīng)路由到它的數(shù)據(jù)類型。新的任務(wù)可以利用在其他任務(wù)上訓(xùn)練的組件，只要它有用就行。Jeff Dean 希望通過非常大規(guī)模的多任務(wù)學(xué)習(xí)、共享組件和學(xué)習(xí)路由，模型可以迅速地以高準(zhǔn)確率來完成新任務(wù)，即使每個新任務(wù)的新實例相對較少。原因在于模型能夠利用它在完成其他相關(guān)任務(wù)時已經(jīng)獲得的專業(yè)知識和內(nèi)部表示。

構(gòu)建一個能夠處理數(shù)百萬任務(wù)并學(xué)習(xí)自動完成新任務(wù)的單一機器學(xué)習(xí)是人工智能和計算機系統(tǒng)工程領(lǐng)域真正面臨的巨大挑戰(zhàn)。這需要機器學(xué)習(xí)算法、負(fù)責(zé)任的 AI（如公平性和可解釋性）、分布式系統(tǒng)和計算機架構(gòu)等很多領(lǐng)域的專業(yè)知識，從而通過構(gòu)建一個能夠泛化以在機器學(xué)習(xí)所有應(yīng)用領(lǐng)域中獨立解決新任務(wù)的系統(tǒng)，來推動人工智能領(lǐng)域的發(fā)展。

負(fù)責(zé)任的 AI 開發(fā)

雖然 AI 有能力在人們?nèi)粘Ｉ畹姆椒矫婷嫣峁椭?，但所有研究人員和從業(yè)人員應(yīng)確保以負(fù)責(zé)任的方式開發(fā)相關(guān)方法，仔細(xì)審查偏見、公平性、隱私問題以及其他關(guān)于 AI 工具如何運作并影響他人的社會因素，并努力以適當(dāng)?shù)姆绞浇鉀Q所有這些問題。

制定一套明確的原則來指導(dǎo)負(fù)責(zé)任的 AI 發(fā)展也很重要。2018 年，谷歌發(fā)布了一套 AI 準(zhǔn)則，用于指導(dǎo)企業(yè)與 AI 相關(guān)的工作和使用。這套 AI 準(zhǔn)則列出了需要考慮的重要領(lǐng)域，包括機器學(xué)習(xí)系統(tǒng)中的偏見、安全、公平、問責(zé)、透明性和隱私。近年來，其他機構(gòu)和政府也紛紛效仿這一模式，發(fā)布了自己的 AI 使用準(zhǔn)則。Jeff Dean 希望這種趨勢能夠延續(xù)下去，直到它不再是一種趨勢，而成為所有機器學(xué)習(xí)研究和開發(fā)中遵循的標(biāo)準(zhǔn)。

Jeff Dean 對未來的展望

2010 年代的確是深度學(xué)習(xí)研究和取得進展的黃金十年。1956 年達特茅斯人工智能研討會上提出的一些最困難的問題在這十年取得了長足進步。機器能夠以早期研究人員希望的方式看到、聽到和理解語言。核心領(lǐng)域的成功促使很多科學(xué)領(lǐng)域迎來重大進展，不僅智能手機更加智能，而且隨著人們繼續(xù)創(chuàng)建更復(fù)雜、更強大且對日常生活有幫助的深度學(xué)習(xí)模型，未來有了更多的可能性。得益于強大機器學(xué)習(xí)系統(tǒng)提供的幫助，人們將在未來變得更有創(chuàng)造力和擁有更強的能力。