雄心勃勃的 DeepMind，要在深度學(xué)習(xí)網(wǎng)絡(luò)和傳統(tǒng)算法之間架橋了！

　　眾所周知，經(jīng)典算法是使軟件能夠風(fēng)行世界的原因，但這些算法所使用的數(shù)據(jù)并不總是能反映真實(shí)世界。

　　而深度學(xué)習(xí)是當(dāng)今 AI 應(yīng)用的源動(dòng)力，但深度學(xué)習(xí)模型需要重新訓(xùn)練，才能應(yīng)用于最初設(shè)計(jì)的領(lǐng)域。

　　現(xiàn)在，DeepMind 想開創(chuàng)一條新路，他們要找到一種深度學(xué)習(xí)模型，模仿任何經(jīng)典算法，并在現(xiàn)實(shí)世界實(shí)現(xiàn)功能。

[[428875]]

只用一個(gè)算法，統(tǒng)治一切！

　　近年來，DeepMind 因 AI 領(lǐng)域的一些標(biāo)志性成就而屢上頭條。AlphaGo 打破人類選手對(duì)圍棋的統(tǒng)治，AlphaFold 解決了生物學(xué)領(lǐng)域 50 年來的大難題。

　　現(xiàn)在，DeepMind 將目光投向另一個(gè)重大挑戰(zhàn)：將深度學(xué)習(xí)與計(jì)算機(jī)科學(xué)經(jīng)典算法聯(lián)系起來。

　　經(jīng)典算法和深度學(xué)習(xí)網(wǎng)絡(luò)的本質(zhì)不同

　　要實(shí)現(xiàn)這個(gè)目標(biāo)，首先要理解二者的主要區(qū)別。即：經(jīng)典算法和深度學(xué)習(xí)網(wǎng)絡(luò)的性質(zhì)有什么不同？

[[428876]]

[[428877]]

　　DeepMind 的兩位研究人員 Charles Blundell 和 Petar Veličković專門談了這個(gè)問題。他們都在 DeepMind 擔(dān)任高級(jí)研究職位。

　　他們認(rèn)為，二者之間的主要區(qū)別在于「泛化性」和「最優(yōu)解」問題。

　　Blundell 表示，第一，算法在大多數(shù)情況下不會(huì)改變。算法由一組固定的規(guī)則組成，這些規(guī)則在某些輸入上執(zhí)行。對(duì)于算法獲得的任何類型的輸入，算法都會(huì)在合理的時(shí)間內(nèi)給出合理的輸出。更改輸入的大小，算法會(huì)繼續(xù)工作。

　　第二，算法可以串連在一起。算法的性質(zhì)決定了：給定某種輸入，只產(chǎn)生某種輸出。我們可以把一個(gè)算法輸出作為其他算法的輸入，構(gòu)建一個(gè)完整的堆棧。

　　即使是簡(jiǎn)單任務(wù)，要用深度學(xué)習(xí)來完成算法的工作也很困難。比如一個(gè)最簡(jiǎn)單的任務(wù)：復(fù)制文本。輸出為輸入的本文復(fù)制。

　　這么簡(jiǎn)單的任務(wù)，要深度學(xué)習(xí)完成就很麻煩。如果只在1-10 個(gè)字符長(zhǎng)度上進(jìn)行訓(xùn)練，那么當(dāng)任務(wù)字符長(zhǎng)度超出時(shí)，輸出就會(huì)出問題，因?yàn)樗鼘W(xué)不會(huì)算法中的核心思想。

　　如果任務(wù)再復(fù)雜一點(diǎn)，比如涉及排序，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的性能會(huì)更差。而這對(duì)于傳統(tǒng)意義上的算法來說根本不是問題。

　　總結(jié)一下就是：

　　深度學(xué)習(xí)網(wǎng)絡(luò)的泛化性能很差，但在充分訓(xùn)練的特定問題上，往往比算法產(chǎn)生更優(yōu)化的結(jié)果。

　　傳統(tǒng)算法是可泛化的。改變輸入數(shù)據(jù)的大小和類型，原來可用的算法程序依然可用。但算法有時(shí)產(chǎn)生的結(jié)果可能不是最優(yōu)的。

　　怎么同時(shí)解決這兩個(gè)問題，同時(shí)獲得算法和深度學(xué)習(xí)的優(yōu)勢(shì)？

　　神經(jīng)算法推理：一個(gè)算法，統(tǒng)治一切！

　　Blundell 和 Veličković提出了一個(gè)方向：神經(jīng)算法推理（NAR）。

　　NAR 關(guān)鍵點(diǎn)是，通過用深度學(xué)習(xí)方法更好地模仿算法，讓深度學(xué)習(xí)實(shí)現(xiàn)算法的高度可泛化性，同時(shí)保留對(duì)問題的最優(yōu)解。

　　DeepMind 已經(jīng)選擇和谷歌地圖 APP 進(jìn)行合作，將圖網(wǎng)絡(luò)作為 NAR 的試驗(yàn)場(chǎng)。他們利用谷歌地圖的圖網(wǎng)絡(luò)數(shù)據(jù)，對(duì)用戶旅行時(shí)的到達(dá)時(shí)間進(jìn)行預(yù)測(cè)。相關(guān)論文已經(jīng)發(fā)表。

　　2020 年，谷歌地圖是美國(guó)下載量最大的地圖和導(dǎo)航應(yīng)用，每天有數(shù)百萬人在使用。谷歌地圖重要的尋路（Pathfinding） 功能，其背后的技術(shù)支持正是 DeepMind 提供的。

　　為何選擇圖網(wǎng)絡(luò)模型來做這件事呢？

　　Veličković表示，因?yàn)閷?shí)際上任何對(duì)象都可以適用圖表示的框架。

　　「比如圖像，可以看作是由附近的像素組成的圖。文本可以看作彼此相連的一系列目標(biāo)。更廣泛地說，自然界中沒有被人為設(shè)計(jì)編排進(jìn)某個(gè)框架或序列的東西，都非常自然地表現(xiàn)為圖結(jié)構(gòu)?！?/p>

　　為什么要使用專門應(yīng)用于深度學(xué)習(xí)算法的泛化框架，而不僅僅是直接使用機(jī)器學(xué)習(xí)算法？

　　因?yàn)樗麄兿ＭO(shè)計(jì)能在真正在復(fù)雜現(xiàn)實(shí)世界中順利運(yùn)行的解決方案。大規(guī)模處理大量自然數(shù)據(jù)的最佳解決方案就是深度神經(jīng)網(wǎng)絡(luò)。

　　Blundell 對(duì) NAR 研究的未來潛力表示樂觀。

　　「在面向?qū)ο蟮木幊讨校趯?duì)象類之間發(fā)送消息，你會(huì)發(fā)現(xiàn)它完全相似，你可以構(gòu)建非常復(fù)雜的交互圖，然后將其映射到圖神經(jīng)網(wǎng)絡(luò)中。從這種復(fù)雜的內(nèi)部結(jié)構(gòu)中獲得的豐富性，可以學(xué)習(xí)使用更傳統(tǒng)的機(jī)器學(xué)習(xí)方法不一定能獲得的算法。」Blundell 說。

　　https://venturebeat.com/2021/10/12/deepmind-is-developing-one-algorithm-to-rule-them-all/

　　https://venturebeat.com/2021/09/10/deepmind-aims-to-marry-deep-learning-and-classic-algorithms/

　　https://arxiv.org/abs/2108.11482