最近一段時間，人工智能技術(shù)在大模型方面有了突破性進展，昨天谷歌提出的 Imagen 再次引發(fā)了人們對于 AI 能力的討論。通過大量數(shù)據(jù)的預訓練學習，算法已經(jīng)有了前所未有的逼真圖像構(gòu)建和語言理解能力。

在很多人看來，我們距離通用人工智能已經(jīng)近了，不過知名學者、紐約大學教授 Gary Marcus 不是這樣想的。

近日，他的文章《The New Science of Alt Intelligence》對 DeepMind 研究主任 Nando de Freitas 「規(guī)模致勝」的觀點進行了反駁，讓我們看看他是怎么說的。

以下是Gary Marcus的原文：

幾十年來，AI 領(lǐng)域一直存在一個假設(shè)，即人工智能應該從自然智能中汲取靈感。John McCarthy 撰寫了關(guān)于 AI 為什么需要常識的開創(chuàng)性論文——《Programs with Common Sense》；Marvin Minsky 寫了著名的《Society of Mind》一書，試圖從人類的思維中尋找靈感；因在行為經(jīng)濟學方面的貢獻而獲得諾貝爾經(jīng)濟學獎的 Herb Simon 寫了著名的《Models of Thought》，旨在解釋「新開發(fā)的計算機語言如何表達心理過程理論，以便計算機能夠模擬預測的人類行為。」

據(jù)我所知，目前很大一部分 AI 研究人員（至少是那些比較有影響力的研究人員）根本不在乎這些。相反，他們將更多精力放在了一個被我稱為「Alt Intelligence」（替代智能）的方向上（感謝 Naveen Rao 對這一術(shù)語的貢獻）。

Alt Intelligence 不是指構(gòu)造出能夠以人類智能的方式解決問題的機器，而是利用從人類行為中獲取的大量數(shù)據(jù)來代替智能。目前，Alt Intelligence 的主要工作是規(guī)?；?。這種系統(tǒng)的擁護者認為，系統(tǒng)越大，我們就越接近真正的智能，甚至意識。

研究 Alt Intelligence 本身并沒有什么新鮮的，但與之相關(guān)的傲慢卻非常新鮮。

有一段時間，我看到了一些跡象，當前的人工智能超級明星，乃至整個人工智能領(lǐng)域的大部分人，對人類認知不屑一顧，忽視甚至嘲笑語言學、認知心理學、人類學和哲學等領(lǐng)域的學者。

但今天早上，我發(fā)現(xiàn)了一條關(guān)于 Alt Intelligence 的新推文。推文作者、DeepMind 研究主任 Nando de Freitas 宣稱，AI「現(xiàn)在完全取決于規(guī)?！?。事實上，在他看來（也許是故意用激烈的言辭來挑釁），AI 領(lǐng)域更難的挑戰(zhàn)已經(jīng)解決了?！赣螒蚪Y(jié)束了！」他說。

從本質(zhì)上來說，追尋 Alt Intelligence 并沒有錯。

Alt Intelligence 代表了一種關(guān)于如何構(gòu)建智能系統(tǒng)的直覺（或者說一系列直覺)。由于還沒有人知道如何構(gòu)建可以媲美人類智能的靈活性和智慧的系統(tǒng)，因此對于人們來說，追求關(guān)于如何實現(xiàn)這一點的多種不同假設(shè)是一場公平的游戲。Nando de Freitas 盡可能直白地為這一假設(shè)辯護，我把它稱為 Scaling-Uber-Alles（規(guī)模大于一切）。

當然，這個名字并不完全公平。De Freitas 非常清楚，你不能指望只把模型做大就能取得成功。人們最近做了大量的擴展，并取得了一些巨大的成功，但也遇到了一些障礙。在深入探討 De Freitas 如何面對現(xiàn)狀之前，讓我們先來看看現(xiàn)狀是怎樣的。

現(xiàn)狀

像 DALL-E 2、GPT-3、Flamingo 和 Gato 這樣的系統(tǒng)似乎令人興奮，但仔細研究過這些模型的人不會把它們與人類智能混為一談。

例如，DALL-E 2 可以根據(jù)文字描述創(chuàng)作出逼真的藝術(shù)作品，如「一個騎著馬的宇航員」：

但它也很容易犯令人驚訝的錯誤，比如當文字描述是「一個紅方塊放在一個藍方塊上」時，DALL-E 的生成結(jié)果如左圖所示，右圖是之前的模型所生成的結(jié)果。顯然，DALL-E 的生成結(jié)果還不如之前的模型。

當我和 Ernest Davis、Scott Aaronson 深入研究這個問題時，我們發(fā)現(xiàn)了許多類似的例子：

此外，表面上看起來非常驚艷的 Flamingo 也有自己的 bug，就像 DeepMind 高級研究科學家 Murray Shanahan 在一篇推文中所指出的那樣，F(xiàn)lamingo 的第一作者 Jean-Baptiste Alayrac 后來也補充了一些例子。例如，Shanahan 向 Flamingo 展示了這樣一張圖片：

并圍繞這張圖片展開了以下漏洞百出的對話：

看起來是「無中生有」了。

前段時間，DeepMind 還發(fā)布了多模態(tài)、多任務(wù)、多具身的「通才」智能體 Gato，但當你看那些小字的時候，你仍然能夠發(fā)現(xiàn)不可靠的地方。

當然，深度學習的捍衛(wèi)者會指出，人類也會犯錯。

但任何一個誠實的人都會意識到，這些錯誤表明，有些東西目前是存在缺陷的。毫不夸張地說，如果我的孩子經(jīng)常犯這樣的錯誤，我會放下手頭的一切工作，立即帶他們?nèi)タ瓷窠?jīng)科醫(yī)生。

所以，讓我們誠實一點：規(guī)?；€沒有起效，但它是有可能的，或者說 de Freitas 的理論——時代精神的清晰表達——是這樣的。

Scaling-Uber-Alles

那么，de Freitas 是如何將現(xiàn)實與抱負調(diào)和到一起的呢？事實上，現(xiàn)在已經(jīng)有數(shù)十億美元被投入到了 Transformer 和其他許多相關(guān)領(lǐng)域，訓練數(shù)據(jù)集已經(jīng)從兆字節(jié)擴展到千兆字節(jié)，參數(shù)量從數(shù)百萬擴展到數(shù)萬億。然而，自 1988 年以來，在許多著作中被詳細記錄的令人費解的錯誤仍然存在。

對于一些人（比如我自己）來說，這些問題的存在可能意味著我們需要進行根本性的反思，比如 Davis 和我在《Rebooting AI》一書中所指出的那些。但對于 de Freitas 來說，事情卻不是這樣（其他很多人可能也和他持一樣的想法，我并不是要把他單獨拎出來講，我只是覺得他的言論比較有代表性）。

在推文中，他詳細闡述了他對調(diào)和現(xiàn)實與當前問題的看法，「（我們需要）讓模型變得更大、更安全、計算效率更高、采樣更快、存儲更智能、模式更多，此外還需要研究數(shù)據(jù)創(chuàng)新、在線 / 離線等等。」重點是，沒有一個詞來自認知心理學、語言學或哲學（也許 smarter memory 勉強能算）。

在后續(xù)的帖子中，de Freitas 還說到：

這再次印證了他「規(guī)?；笥谝磺小沟穆暶?，并表明了一個目標：其野心不僅僅是更好的 AI，而是 AGI。

AGI 即通用人工智能，它至少與人類智能一樣好、一樣足智多謀且適用范圍廣泛。當前我們實現(xiàn)的狹義的人工智能實際上是替代智能（alt intelligence），其標志性的成功是國際象棋（深藍與人類智能毫無關(guān)系）和圍棋（AlphaGo 與人類智能關(guān)系也不大）等游戲。De Freitas 有著更為遠大的目標，值得稱贊的是，他對這些目標非常坦率。那么，他要怎么來實現(xiàn)自己的目標呢？這里要重申一下，de Freitas 重點關(guān)注的是用于容納更大數(shù)據(jù)集的技術(shù)工具。其他的想法，例如來自哲學或認知科學的想法，可能很重要，但卻被排除了。

他說，「關(guān)于符號的哲學并無必要」。也許這是對我長期以來將符號操縱整合到認知科學和人工智能中的運動的反駁。這個想法最近又出現(xiàn)在了 Nautilus 雜志上，盡管闡述并不充分。在此我簡要回應：他所說的「[neural] nets have no issue creating [symbols] and manipulating them」既忽略了歷史，也忽略了現(xiàn)實。他忽略的歷史是：許多神經(jīng)網(wǎng)絡(luò)愛好者幾十年來一直反對符號；他忽略的現(xiàn)實是：像前面提到的「藍色立方體上的紅色立方體」這類符號性描述仍然能夠難住 2022 年的 SOTA 模型。

在推文結(jié)尾，De Freitas 表達了他對 Rich Sutton 著名文章《苦澀的教訓》的贊同：

Sutton 的論點是，唯一導致人工智能進步的是更多的數(shù)據(jù)、更有效的計算。在我看來，Sutton 只對了一半，他對過去的描述幾乎是正確的，但他對未來的歸納預測卻無法令人信服。

到目前為止，在大多數(shù)領(lǐng)域（當然不是所有領(lǐng)域），大數(shù)據(jù)已經(jīng)（暫時）戰(zhàn)勝了精心設(shè)計的知識工程。

但世界上幾乎所有的軟件，從網(wǎng)絡(luò)瀏覽器到電子表格再到文字處理器，仍然依賴于知識工程，而 Sutton 忽略了這一點。舉個例子，Sumit Gulwani 出色的 Flash Fill 功能是一種非常有用的一次性學習系統(tǒng)，它根本不是建立在大數(shù)據(jù)的前提下，而是建立在經(jīng)典的編程技術(shù)之上。 

我認為任何純粹的深度學習 / 大數(shù)據(jù)系統(tǒng)都無法與之匹敵。

事實上，像 Steve Pinker、Judea Pearl、Jerry Fodor 和我這樣的認知科學家?guī)资陙硪恢敝赋龅娜斯ぶ悄艿年P(guān)鍵問題實際上還沒有得到解決。是的，機器可以很好地玩游戲，深度學習在語音識別等領(lǐng)域做出了巨大貢獻。但目前沒有任何人工智能可以具備足夠的理解力認識任何文本，并建立一個能正常說話、完成任務(wù)的模型，也不能像《星際迷航》電影里的計算機一樣可以進行推理并產(chǎn)生有凝聚力的響應。

我們?nèi)蕴幵谌斯ぶ悄艿脑缙陔A段。

使用特定策略在一些問題上取得成功并不能保證我們能以類似的方式解決所有問題。如果沒有意識到這樣，那簡直是愚蠢的，特別是當一些失敗模式（不可靠性、奇怪的錯誤、組合性失敗和不理解）自 Fodor 和 Pinker 在 1988 年指出它們之后仍沒有改變時。結(jié)語

很高興能看到 Scaling-über-Alles 尚未完全達成共識，即使在 DeepMind 也是如此：

我完全同意 Murray Shanahan 的看法：「I see very little in Gato to suggest scaling alone will get us to human-level generalisation」。

讓我們鼓勵一個思想足夠開放的領(lǐng)域，人們可以在很多方向上開展自己的工作，而不會過早地拋棄碰巧尚未完全發(fā)展的想法。畢竟，通向（通用）人工智能的最佳途徑可能不是 Alt Intelligence 這條路。

正如前面所述，我很樂意把 Gato 視為「替代智能」——一種建立智能替代方法的有趣探索，但我們需要客觀看待它：它不會像大腦那樣工作，它不會像孩子那樣學習，它不懂語言，不符合人類價值觀，不能被信任用來完成關(guān)鍵任務(wù)。

它可能比我們目前擁有的任何其他東西都好，但仍然不能真正起作用，即使在對它進行了巨大的投資之后，我們也該暫停一下。

它應該把我們帶回人工智能初創(chuàng)的時代。人工智能當然不應該是人類智能的盲從復制品，畢竟它有自己的缺陷，背負著糟糕的記憶和認知偏見。但它應該從人類和動物的認知中尋找線索。萊特兄弟沒有模仿鳥類，但他們從鳥類的飛行控制中學到了一些知識。知道什么可以借鑒，什么不可以借鑒，我們可能就成功了一大半。

我認為底線是，人工智能曾經(jīng)重視但現(xiàn)在不再追求的東西：如果我們要構(gòu)建 AGI，我們將需要向人類學習一些東西——他們是如何推理和理解物理世界的，以及他們是如何表示和獲得語言及復雜概念的。

如果否定這種想法，那就太狂妄了。