?「如果有人說（深度學(xué)習(xí)）撞墻了，那么他們只需列出一張清單，列出深度學(xué)習(xí)無法做到的事情。5 年后，我們就能證明深度學(xué)習(xí)做到了?！?/p>

6 月 1 日，深居簡出的 Geoffrey Hinton 老爺子做客 UC 伯克利教授 Pieter Abbeel 的播客節(jié)目，倆人進(jìn)行了長達(dá) 90 分鐘的對談，從 Masked auto-encoders、AlexNet 聊到脈沖神經(jīng)網(wǎng)絡(luò)等等。

在節(jié)目里，Hinton 明確對「深度學(xué)習(xí)撞墻了」這個觀點(diǎn)發(fā)起質(zhì)疑。

「深度學(xué)習(xí)撞墻了」這個說法，來自知名 AI 學(xué)者 Gary Marcus 三月份的一篇文章?。準(zhǔn)確地說，他認(rèn)為「純粹的端到端深度學(xué)習(xí)」差不多走到盡頭了，整個 AI 領(lǐng)域必須要尋找新出路。

出路在哪兒？按照 Gary Marcus 的想法，符號處理將大有前途。不過這個觀點(diǎn)一向沒有受到社區(qū)重視，之前 Hinton 甚至說過：「在符號處理方法上的任何投資都是一個巨大的錯誤?！?/p>

Hinton 在播客里的公開「反駁」顯然引起了 Gary Marcus 的注意。

就在十幾個小時前，Gary Marcus 在推特上發(fā)出了一封給 Geoffrey Hinton 的公開信：

信里是這么說的：「我注意到，Geoffrey Hinton 正在尋找一些挑戰(zhàn)性的目標(biāo)。在 Ernie Davis 的幫助下，我確實(shí)已經(jīng)寫下了這樣一個清單，上周我還向馬斯克發(fā)出了一個 100000 美元的賭約。」

這里又有馬斯克什么事？原因還要從 5 月底的一條推特說起。

與馬斯克的十萬美金賭約

一直以來，人們所理解的 AGI 是太空漫游（HAL）和鋼鐵俠（JARVIS）等電影中描述的那種 AI。與當(dāng)前為特定任務(wù)訓(xùn)練的 AI 不同，AGI 更像人腦，可以學(xué)習(xí)如何完成任務(wù)。

大多數(shù)專家認(rèn)為 AGI 需要幾十年才能實(shí)現(xiàn)，而有些人甚至認(rèn)為這個目標(biāo)永遠(yuǎn)不可能實(shí)現(xiàn)。在對該領(lǐng)域?qū)＜业恼{(diào)查中，預(yù)估到 2099 年將有 50% 的機(jī)會實(shí)現(xiàn) AGI。

相比之下，馬斯克顯得更加樂觀，甚至在推特上公開表達(dá)：「2029 年是關(guān)鍵的一年，如果那時我們還沒有實(shí)現(xiàn) AGI，我會感到驚訝。希望火星上的人們也是如此?！?/p>

表示并不認(rèn)同的 Gary Marcus 很快反問：「你愿意賭多少錢？」

雖然馬斯克并沒有回復(fù)這條提問，但 Gary Marcus 繼續(xù)表示，可以在 Long Bets 組局，金額是十萬美元。

在 Gary Marcus 看來，馬斯克的相關(guān)觀點(diǎn)不大靠譜：「比如你在 2015 年說過，實(shí)現(xiàn)完全自動駕駛的汽車還需要兩年時間，從那以后，你幾乎每年都說一遍同樣的話，可現(xiàn)在完全自動駕駛?cè)晕磳?shí)現(xiàn)?！?/p>

他還在博客中寫下了五個檢驗(yàn) AGI 是否實(shí)現(xiàn)的標(biāo)準(zhǔn)，作為打賭的內(nèi)容：

• 2029 年，AI 無法看懂電影然后準(zhǔn)確告訴你正在發(fā)生的事情（人物是誰、他們的沖突和動機(jī)是什么等）；
• 2029 年，AI 無法閱讀小說并可靠地回答有關(guān)情節(jié)、人物、沖突、動機(jī)等的問題；
• 2029 年，AI 無法在任何廚房中擔(dān)任稱職的廚師；
• 2029 年，AI 無法通過自然語言規(guī)范或與非專家用戶的交互可靠地構(gòu)建超過 10000 行的無錯誤代碼（將現(xiàn)有庫中的代碼粘合在一起不算數(shù)）；
• 2029 年，AI 無法從以自然語言編寫的數(shù)學(xué)文獻(xiàn)中任意取證，并將其轉(zhuǎn)換為適合符號驗(yàn)證的符號形式。

「這是我的建議，如果你（或任何其他人）在 2029 年設(shè)法完成至少三個，就算你贏了。Deal？十萬美元如何？」

在更多人的追捧下，這個賭約的金額已經(jīng)上升到了 50 萬美元。不過，截至目前，馬斯克再無回復(fù)。

Gary Marcus：AGI 并不像你想象的「近在眼前」

6 月 6 日，Gary Marcus 在《科學(xué)美國人》發(fā)表文章，重申了自己的觀點(diǎn)：AGI 并非近在眼前。

對于普通人來說，人工智能領(lǐng)域似乎正在取得巨大進(jìn)步。在媒體的報(bào)道中：OpenAI 的 DALL-E 2 似乎可以將任何文本轉(zhuǎn)換成圖像，GPT-3 無所不知，DeepMind 5 月發(fā)布的 Gato 系統(tǒng)在每一項(xiàng)任務(wù)上都性能良好......DeepMind 的一位高級管理人員甚至吹噓已開始尋求通用人工智能 (AGI)、AI 具有與人類一樣的智能水平......

別被騙了。機(jī)器有一天可能會和人一樣聰明，甚至可能更聰明，但遠(yuǎn)不是現(xiàn)在。要創(chuàng)造真正理解和推理現(xiàn)實(shí)世界的機(jī)器，還有大量的工作要做。我們現(xiàn)在真正需要的是更少的吹捧姿態(tài)和更多的基礎(chǔ)研究。

可以肯定的是，人工智能確實(shí)在某些方面取得了進(jìn)步——合成圖像看起來越來越逼真，語音識別可以在嘈雜環(huán)境中工作——但我們距離通用的人類水平 AI 還有很長的路要走，例如人工智能現(xiàn)在還不能理解文章和視頻的真正含義，也不能處理意外障礙和中斷。我們?nèi)匀幻媾R AI 多年來一直存在的挑戰(zhàn)——讓人工智能變得可靠。

以 Gato 為例，給定任務(wù)：為投手投擲棒球的圖像加上標(biāo)題，系統(tǒng)返回三個不同的答案：「一名棒球運(yùn)動員在棒球場上投球」、「一名男子向棒球場上的投手投擲棒球」和「一名棒球運(yùn)動員在擊球，一名接球手在一場棒球比賽」。第一個答案是正確的，而其他兩個答案似乎包含圖像中看不到的其他球員。這說明 Gato 系統(tǒng)并不知道圖像中的實(shí)際內(nèi)容，而是了解大致相似圖像的典型內(nèi)容。任何棒球迷都能看出這是剛剛投球的投手——雖然我們預(yù)計(jì)附近有接球手和擊球手，但他們顯然沒有出現(xiàn)在圖像中。

同樣，DALL-E 2 會混淆這兩種位置關(guān)系：「藍(lán)色立方體頂部的紅色立方體」和「紅色立方體頂部的藍(lán)色立方體」。類似地，5 月谷歌發(fā)布的 Imagen 模型無法區(qū)分「宇航員騎馬」和「馬騎宇航員」。

當(dāng) DALL-E 這樣的系統(tǒng)出錯時，你可能還覺得有些滑稽，但有一些 AI 系統(tǒng)如果出錯，就會產(chǎn)生非常嚴(yán)重的問題。例如，一輛自動駕駛的特斯拉最近直接向路中間拿著停車標(biāo)志的工人開去，人類司機(jī)干預(yù)后才能減速。該自動駕駛系統(tǒng)可以單獨(dú)識別人類和停車標(biāo)志，但遇到兩者的不尋常組合時就未能減速。

所以，很不幸，AI 系統(tǒng)仍然不可靠，并且難以迅速適應(yīng)新環(huán)境。

Gato 在 DeepMind 報(bào)告的所有任務(wù)上都表現(xiàn)出色，但很少能像其他當(dāng)代系統(tǒng)一樣。GPT-3 經(jīng)常寫出流利的散文，但仍然難以掌握基本的算術(shù)，而且它對現(xiàn)實(shí)的了解太少，很容易產(chǎn)生「一些專家認(rèn)為吃襪子有助于大腦改變狀態(tài)」之類令人匪夷所思的句子。

這背后存在的問題是，人工智能領(lǐng)域最大的研究團(tuán)隊(duì)不再是學(xué)術(shù)機(jī)構(gòu)，而是大型科技企業(yè)。與大學(xué)不同，企業(yè)沒有公平競爭的動力。他們的新論文沒有經(jīng)過學(xué)術(shù)審查就通過新聞發(fā)布，引導(dǎo)媒體報(bào)道，并回避同行評審。我們所獲得的信息只是企業(yè)本身想讓我們知道的事情。

在軟件行業(yè)，有一個專門的詞代表這種商業(yè)策略「demoware」，指軟件的設(shè)計(jì)很適合展示，但不一定適合現(xiàn)實(shí)世界。

而這樣營銷的 AI 產(chǎn)品，要么無法順利發(fā)布，要么在現(xiàn)實(shí)中一塌糊涂。

深度學(xué)習(xí)提高了機(jī)器識別數(shù)據(jù)模式的能力，但它存在三大缺陷：學(xué)習(xí)的模式是膚淺的，而不是概念性的；產(chǎn)生的結(jié)果難以解釋；很難泛化。正如哈佛計(jì)算機(jī)科學(xué)家 Les Valiant 所指出的：「未來的核心挑戰(zhàn)是統(tǒng)一 AI 學(xué)習(xí)和推理的形式。」

目前，企業(yè)追求的是超越基準(zhǔn)，而不是創(chuàng)造新的想法，他們用已有的技術(shù)勉強(qiáng)進(jìn)行小幅改進(jìn)，而不是停下來思考更基本的問題。

我們需要有更多的人詢問「如何構(gòu)建可以同時學(xué)習(xí)和推理的系統(tǒng)」等基本問題，而不是追求華麗的產(chǎn)品展示。

這場關(guān)于 AGI 的爭辯遠(yuǎn)未到達(dá)終點(diǎn)，也有其他研究者陸續(xù)加入。研究者 Scott Alexander 就在博客中指出，Gary Marcus 是個傳奇，過去幾年里寫的東西或多或少不完全準(zhǔn)確，但仍然有其價值。

比如 Gary Marcus 此前曾經(jīng)批判過 GPT-2 的一些問題，八個月后，GPT-3 誕生時，這些問題都得以解決。但 Gary Marcus 并沒有對 GPT-3 留情，甚至寫了一篇文章：「OpenAI 的語言生成器不知道它在說什么。」

本質(zhì)上說，一個觀點(diǎn)目前而言是對的：「Gary Marcus 以嘲笑大型語言模型為噱頭，但之后這些模型會變得越來越好，如果這個趨勢持續(xù)下去，AGI 很快就會實(shí)現(xiàn)?！?