「語(yǔ)言只承載了所有人類知識(shí)的一小部分；大部分人類知識(shí)、所有動(dòng)物知識(shí)都是非語(yǔ)言的；因此，大語(yǔ)言模型是無(wú)法接近人類水平智能的，」這是圖靈獎(jiǎng)得主 Yann LeCun 對(duì)于人工智能前景的最新思考。

昨天，他與紐約大學(xué)博士后 Jacob Browning 合著的新文章發(fā)表在《NOEMA》上，引發(fā)了人們的討論。

在文章中，作者討論了當(dāng)前流行的大規(guī)模語(yǔ)言模型，認(rèn)為其存在明顯的極限。未來(lái) AI 領(lǐng)域努力的方向或許應(yīng)該是讓機(jī)器優(yōu)先理解真實(shí)世界其他層面意義上的知識(shí)。

讓我們看看他們是怎么說(shuō)的。?

前段時(shí)間，前谷歌 AI 倫理研究員 Blake Lemoine 聲稱 AI 聊天機(jī)器人 LaMDA 像人一樣具有意識(shí)，這在領(lǐng)域內(nèi)掀起了軒然大波。

LaMDA 實(shí)際上是一種大型語(yǔ)言模型 (LLM)，旨在預(yù)測(cè)任何給定文本下一個(gè)可能的詞。由于許多對(duì)話在某種程度上是可預(yù)測(cè)的，因此這些系統(tǒng)可以推斷出如何使對(duì)話保持高效。LaMDA 在這類任務(wù)上做得非常出色，以至于 Blake Lemoine 開始懷疑 AI 是否存在「意識(shí)」。

領(lǐng)域內(nèi)的研究者對(duì)于這件事持有不同的看法：一些人對(duì)機(jī)器有意識(shí)的想法嗤之以鼻；一些人認(rèn)為 LaMDA 模型或許沒有，但下一個(gè)模型可能有意識(shí)。還有一些人指出機(jī)器「欺騙」人類這件事并不難。

人們反應(yīng)的多樣性凸顯了一個(gè)更深層次的問(wèn)題：隨著 LLM 變得越來(lái)越普遍和強(qiáng)大，我們對(duì)這些模型的觀點(diǎn)似乎越來(lái)越難達(dá)成一致。多年來(lái)，這些系統(tǒng)已經(jīng)超越了許多「常識(shí)」語(yǔ)言推理基準(zhǔn)，但這些系統(tǒng)在測(cè)試時(shí)似乎很少有承諾的常識(shí)，甚至容易出現(xiàn)胡說(shuō)八道、提出不合邏輯、危險(xiǎn)的建議。這就引出了一個(gè)令人不安的問(wèn)題：這些系統(tǒng)怎么會(huì)如此智能，能力卻又如此有限？?

實(shí)際上，最根本的問(wèn)題并不在于人工智能，而是在于語(yǔ)言的有限性。一旦我們放棄了關(guān)于意識(shí)和語(yǔ)言之間聯(lián)系的假設(shè)，這些系統(tǒng)就注定只能有關(guān)于世界的膚淺理解，永遠(yuǎn)無(wú)法接近人類的「全面思維」。簡(jiǎn)而言之，盡管這些模型已經(jīng)是地球上最令人印象深刻的人工智能系統(tǒng)，但這些 AI 系統(tǒng)永遠(yuǎn)不會(huì)像我們?nèi)祟愐粯又悄堋?/span>

在 19 世紀(jì)和 20 世紀(jì)的大部分時(shí)間里，哲學(xué)和科學(xué)領(lǐng)域的一個(gè)主要主題是：知識(shí)僅僅是語(yǔ)言。這意味著理解一件事只需理解一句話的內(nèi)容，并將這句話與其他句子關(guān)聯(lián)起來(lái)。按照這種邏輯，理想的語(yǔ)言形式將是由嚴(yán)格的推理規(guī)則連接的任意符號(hào)組成的邏輯數(shù)學(xué)的形式。

哲學(xué)家 Wittgenstein 說(shuō)過(guò)：「真命題的總和是自然科學(xué)?！惯@一立場(chǎng)是在 20 世紀(jì)確立的，后來(lái)引起了很多爭(zhēng)議。

一些受過(guò)高等教育的知識(shí)分子仍然持有觀點(diǎn)：「我們所能知道的一切都可以包含在百科全書中，因此只要閱讀百科全書的所有內(nèi)容就能讓我們對(duì)所有事物都有全面的了解?！惯@種觀點(diǎn)還激發(fā)了 Symbolic AI 的許多早期工作，其中將符號(hào)處理作為默認(rèn)范式。對(duì)于這些研究人員來(lái)說(shuō)，人工智能知識(shí)由大量真實(shí)句子的數(shù)據(jù)庫(kù)組成，這些真實(shí)的句子通過(guò)手工邏輯相互連接，人工智能系統(tǒng)的目標(biāo)就是在正確的時(shí)間輸出正確的句子，即以適當(dāng)?shù)姆绞教幚矸?hào)。

這個(gè)概念是圖靈測(cè)試的基礎(chǔ)：如果一臺(tái)機(jī)器「說(shuō)」出了它應(yīng)該說(shuō)的一切，這意味著它知道它在說(shuō)什么，因?yàn)橹勒_的句子以及何時(shí)使用它們會(huì)用到上述人工智能知識(shí)。

但這種觀點(diǎn)遭到了嚴(yán)厲的批評(píng)，反駁的觀點(diǎn)認(rèn)為：機(jī)器可以談?wù)撌虑?，并不意味著它理解正在談?wù)摰膬?nèi)容。這是因?yàn)檎Z(yǔ)言只是一種高度具體且非常有限的知識(shí)表征。所有語(yǔ)言，無(wú)論是編程語(yǔ)言、符號(hào)邏輯語(yǔ)言還是日?？谡Z(yǔ)——都開啟了特定類型的表征模式；它擅長(zhǎng)以極高的抽象水平表達(dá)離散的對(duì)象和屬性以及它們之間的關(guān)系。

然而，所有的表征模式都涉及對(duì)事物信息的壓縮，但壓縮中留下和遺漏的內(nèi)容各不相同。語(yǔ)言的表征模式可能會(huì)遺漏一些具體的信息作，例如描述不規(guī)則的形狀、物體的運(yùn)動(dòng)、復(fù)雜機(jī)制的功能或繪畫上細(xì)致入微的筆觸等等。而一些非語(yǔ)言的表征方案可以以一種易于理解的方式表達(dá)這些信息，包括標(biāo)志性知識(shí)、分布式知識(shí)等。

語(yǔ)言的限制

要了解語(yǔ)言表征模式的缺陷，首先要認(rèn)識(shí)到語(yǔ)言傳遞的信息有多少。事實(shí)上，語(yǔ)言是一種傳輸信息的帶寬非常低的方法，特別是在沒有上下文的情況下，孤立的單詞或句子傳達(dá)的信息很少。此外，由于同音詞和代詞的數(shù)量眾多，許多句子的含義都非常模棱兩可。正如喬姆斯基等研究者所指出的：語(yǔ)言并不是清晰明確的交流工具。

但是人類不需要完美的交流工具，因?yàn)槲覀児蚕韺?duì)非語(yǔ)言的理解體系。我們對(duì)句子的理解通常取決于對(duì)句子所在語(yǔ)境的深入理解，從而使我們能夠推斷出語(yǔ)言表達(dá)的含義。我們經(jīng)常直接談?wù)撗矍暗氖虑?，比如足球比賽?；蛘咴谀撤N情況下面向社會(huì)角色進(jìn)行交流，比如從服務(wù)員那里點(diǎn)菜。

閱讀文本段落也是如此——這種任務(wù)破壞了人工智能獲得常識(shí)的渠道，卻是一種向兒童教授無(wú)上下文閱讀理解技能的流行方法。這種方法側(cè)重于使用通用閱讀理解策略來(lái)理解文本——但研究表明，兒童對(duì)主題的背景知識(shí)量實(shí)際上是理解的關(guān)鍵因素。理解一個(gè)句子或段落正確與否取決于對(duì)主題內(nèi)容的基本掌握。?

「很明顯，這些系統(tǒng)深陷于膚淺的理解，永遠(yuǎn)不會(huì)接近人類所有的全面思維?！?/span>

單詞和句子固有的上下文性質(zhì)是 LLM 工作的核心。神經(jīng)網(wǎng)絡(luò)通常將知識(shí)表示為專有技術(shù)，即掌握對(duì)上下文高度敏感的模式，并總結(jié)規(guī)律（具體和抽象）的熟練能力，這些規(guī)律對(duì)于以精細(xì)方式處理輸入是必要的，但只適合有限的任務(wù)。

在 LLM 中，這有關(guān)系統(tǒng)在現(xiàn)有文本的多個(gè)層次上識(shí)別模式，既看到單詞在段落中的聯(lián)系，也要看到句子是如何在構(gòu)成它們的大段落中是如何連接在一起的。結(jié)果是模型對(duì)語(yǔ)言的掌握不可避免地是上下文相關(guān)的。每個(gè)單詞的理解不是根據(jù)其字典含義，而是根據(jù)它在各種句子中的作用來(lái)理解。由于許多單詞——比如「化油器」、「菜單」、「調(diào)試」或「電子」——幾乎只用于特定領(lǐng)域，即使是帶有其中一個(gè)詞的孤立句子也會(huì)在預(yù)測(cè)上帶出上下文。

簡(jiǎn)而言之，LLM 訓(xùn)練后可以了解每個(gè)句子的背景知識(shí)，查看周圍的單詞和句子來(lái)拼湊正在發(fā)生的事情。這使得他們可以無(wú)限可能地使用不同的句子或短語(yǔ)作為輸入，并提出合理（盡管很難沒有缺陷）的方式來(lái)繼續(xù)對(duì)話或填寫文章的其余部分。一個(gè)根據(jù)人類書寫的段落訓(xùn)練，用作日常交流的系統(tǒng)，應(yīng)該擁有能夠高質(zhì)量對(duì)話所必需的一般理解能力。?

淺薄的理解

有些人不愿在這種情況下使用「理解」一詞或稱 LLM 為「智能」，目前還不能說(shuō)語(yǔ)義理解說(shuō)服了任何人。批評(píng)者指責(zé)這些系統(tǒng)在進(jìn)行某種模仿——這是正確的。這是因?yàn)?LLM 對(duì)語(yǔ)言的理解雖然令人印象深刻，但卻很膚淺。這種膚淺的認(rèn)識(shí)似曾相識(shí)：教室里到處都是「說(shuō)行話」的學(xué)生，他們不知道自己在說(shuō)什么——實(shí)際上是在模仿他們的教授或他們正在閱讀的課文。這只是生活的一部分。我們常常不清楚我們知道些什么，尤其是在從語(yǔ)言中獲得的知識(shí)方面。

LLM 對(duì)所有事物都獲得了這種膚淺的理解。像 GPT-3 這樣的系統(tǒng)是通過(guò)屏蔽句子一部分，或預(yù)測(cè)段落中下一個(gè)單詞來(lái)進(jìn)行訓(xùn)練的，這樣迫使機(jī)器猜測(cè)最有可能填補(bǔ)空白的單詞，并糾正錯(cuò)誤的猜測(cè)。該系統(tǒng)最終會(huì)熟練地猜測(cè)最可能的單詞，從而使自己成為有效的預(yù)測(cè)系統(tǒng)。

這帶來(lái)了一些真正的理解：對(duì)于任何問(wèn)題或謎題，通常只有少數(shù)正確答案，但錯(cuò)誤答案無(wú)限多。這迫使系統(tǒng)學(xué)習(xí)特定于語(yǔ)言的技能，例如解釋笑話、解決單詞問(wèn)題或解決邏輯難題，以便定期預(yù)測(cè)這些類型問(wèn)題的正確答案。

這些技能和相關(guān)知識(shí)讓機(jī)器能夠解釋復(fù)雜事物的工作原理、簡(jiǎn)化困難的概念、改寫和復(fù)述故事，并獲得許多其他與語(yǔ)言相關(guān)的能力。正如 Symbolic AI 所假設(shè)的那樣——機(jī)器不是由邏輯規(guī)則鏈接的龐大的句子數(shù)據(jù)庫(kù)，而是將知識(shí)表示為上下文高亮內(nèi)容，用于在給定前一行的情況下提出合理的后一個(gè)句子。

「放棄所有知識(shí)都是語(yǔ)言的觀點(diǎn)，讓我們意識(shí)到我們的知識(shí)中有多少是非語(yǔ)言的?！?

但是用語(yǔ)言解釋一個(gè)概念的能力不同于實(shí)際使用它的能力。系統(tǒng)可以解釋如何執(zhí)行長(zhǎng)除法，同時(shí)也可以實(shí)際上自己不會(huì)做，或者解釋哪些是與之抵觸的，卻又能愉快地持續(xù)進(jìn)行解釋。語(yǔ)境知識(shí)以一種形式嵌入——即口述語(yǔ)言知識(shí)的能力——但不嵌入另一種形式——作為如何做事的技巧，比如善解人意或敏感地處理困難問(wèn)題。

后一種專業(yè)知識(shí)對(duì)語(yǔ)言使用者來(lái)說(shuō)是必不可少的，但這并不能使他們掌握語(yǔ)言技能——語(yǔ)言成分并不是主要的。這適用于許多概念，甚至是從講座和書籍中學(xué)到的概念：雖然科學(xué)課確實(shí)有講授的成分，但學(xué)生的得分主要基于他們?cè)趯?shí)驗(yàn)室的工作。特別是在人文學(xué)科之外，能夠談?wù)撃呈峦ǔ２蝗缱屖虑檎９ぷ魉璧幕炯寄苡杏没蛑匾?/span>

一旦我們深入探究，就能輕易看出這些系統(tǒng)實(shí)際上是多么的淺?。核鼈兊淖⒁饬Ψ秶陀洃洿蠹s相當(dāng)于一個(gè)段落。如果我們進(jìn)行對(duì)話，很容易忽略這一點(diǎn)，因?yàn)槲覀儍A向于只關(guān)注最后一兩條評(píng)論，應(yīng)付下一個(gè)回復(fù)。

但是，更復(fù)雜的對(duì)話的訣竅——積極傾聽、回憶和重新審視之前的評(píng)論、堅(jiān)持一個(gè)主題以提出一個(gè)特定的觀點(diǎn)，同時(shí)避免干擾等等——都需要比機(jī)器擁有的更多的注意力和記憶力。

這進(jìn)一步減少了它們可以理解的類型：很容易通過(guò)每隔幾分鐘就換話題、更改語(yǔ)言或陰陽(yáng)怪氣來(lái)欺騙他們。如果退太多步，系統(tǒng)將重新從頭開始，把你的新觀點(diǎn)與舊評(píng)論混為一談，與你切換聊天語(yǔ)言或相信你所說(shuō)的任何內(nèi)容。發(fā)展一個(gè)連貫的世界觀所必需的理解遠(yuǎn)遠(yuǎn)超出了機(jī)器的能力范圍。?

語(yǔ)言之外

放棄所有知識(shí)是語(yǔ)言的觀點(diǎn)，這讓我們意識(shí)到我們的知識(shí)中有相當(dāng)部分是非語(yǔ)言的。雖然書籍包含許多我們可以解壓和使用的信息，但許多其他物品也是如此：宜家的說(shuō)明書甚至懶得在圖示旁邊寫說(shuō)明文字，AI 研究人員通常會(huì)先看論文中的圖表，掌握網(wǎng)絡(luò)架構(gòu)，然后再瀏覽文本，旅行者可以按照地圖上的紅線或綠線導(dǎo)航到想去的地方。

這其中的知識(shí)超越了簡(jiǎn)單的圖標(biāo)、圖表和地圖。人類直接從探索世界中學(xué)到了很多東西，向我們展示了物質(zhì)和人能與不能表現(xiàn)的東西。物質(zhì)的結(jié)構(gòu)和人類環(huán)境直觀地傳達(dá)了很多信息：門把手在手的高度，錘子的把手更軟等等。動(dòng)物和人類的非語(yǔ)言心理模擬對(duì)于規(guī)劃場(chǎng)景很常見且有用，可用于制作或逆向工程人工制品。

同樣，通過(guò)模仿社會(huì)習(xí)俗和儀式，我們可以將各種技能傳授給下一代，從準(zhǔn)備食物和藥物到在緊張時(shí)期平靜下來(lái)。我們的許多文化知識(shí)是標(biāo)志性的，或者說(shuō)是以從熟練的從業(yè)者傳授給學(xué)徒精確動(dòng)作的形式。這些微妙的信息模式很難用語(yǔ)言表達(dá)和傳達(dá)，但其他人仍然可以理解。這也是神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)拾取和完善的上下文相關(guān)信息的精確類型。

「一個(gè)僅受過(guò)語(yǔ)言訓(xùn)練的系統(tǒng)永遠(yuǎn)不會(huì)接近人類的智能，即使從現(xiàn)在開始一直訓(xùn)練到宇宙的熱寂。」?

語(yǔ)言很重要，因?yàn)樗梢砸孕「袷絺鬟_(dá)大量信息，特別是在印刷術(shù)和互聯(lián)網(wǎng)出現(xiàn)之后，它能做到內(nèi)容的復(fù)制和廣泛分發(fā)。但是用語(yǔ)言壓縮信息并不是沒有成本的：解碼一個(gè)密集的段落需要付出很多努力。人文課可能需要大量課外閱讀，大部分課堂時(shí)間需要花費(fèi)在閱讀困難的段落上。建立深入的理解既費(fèi)時(shí)又費(fèi)力，但提供了信息。

這就解釋了為什么受過(guò)語(yǔ)言訓(xùn)練的機(jī)器可以知道這么多，卻又什么也不懂——它是在通過(guò)一個(gè)微小的瓶頸獲取一小部分人類知識(shí)。但人類知識(shí)的那一小部分可以是關(guān)于任何事物的，無(wú)論是愛情還是天體物理學(xué)。因此它有點(diǎn)像鏡子：它給人一種深度的錯(cuò)覺，幾乎可以反射任何東西，但它只有一厘米厚。如果我們?cè)噲D探索它的深處，我們就會(huì)撞墻。

做正確的事

這并不會(huì)使機(jī)器變得更傻，但也表明它們的智能程度有內(nèi)在的限制。一個(gè)僅接受語(yǔ)言訓(xùn)練的系統(tǒng)永遠(yuǎn)不會(huì)接近人類的智能，即使從現(xiàn)在開始一直訓(xùn)練到宇宙的熱寂。這是一個(gè)錯(cuò)誤的知識(shí)體系構(gòu)建方式。但如果我們只停留在表面上，機(jī)器無(wú)疑似乎會(huì)接近人類。而且在許多情況下，表面就足夠了。我們中很少有人真正將圖靈測(cè)試應(yīng)用到其他人身上，積極地質(zhì)疑他們的理解深度，并強(qiáng)迫他們做多位數(shù)乘法問(wèn)題。大多數(shù)談話都是閑聊。

但是，我們不應(yīng)將 LLM 所擁有的膚淺理解與人類通過(guò)觀察世界的精彩、探索世界、在其中實(shí)踐以及與文化和其他人互動(dòng)所獲得的深刻理解混為一談。語(yǔ)言可能是擴(kuò)展我們對(duì)世界理解的有用組成部分，但語(yǔ)言并不會(huì)窮盡智力，從許多物種行為上我們都能理解這樣的觀點(diǎn)，例如鴉科動(dòng)物、章魚和靈長(zhǎng)類動(dòng)物。?

相反，深刻的非語(yǔ)言理解是語(yǔ)言有意義的必要條件。正是因?yàn)槿祟悓?duì)世界有深刻的理解，所以我們可以很快理解別人在說(shuō)什么。這種更廣泛、對(duì)上下文敏感的學(xué)習(xí)和知識(shí)是一種更基礎(chǔ)、更古老的知識(shí)，它是實(shí)體生物感知能力出現(xiàn)的基礎(chǔ)，讓生存和繁榮成為可能。

這也是人工智能研究者在尋找人工智能中的常識(shí)時(shí)關(guān)注的更重要的任務(wù)。LLM 沒有穩(wěn)定的身體或世界可以感知——所以它們的知識(shí)更多是以單詞開始和結(jié)束，這種常識(shí)總是膚淺的。我們的目標(biāo)是讓 AI 系統(tǒng)專注于所談?wù)摰氖澜?，而不是單詞本身——但 LLM 并沒有掌握其中的區(qū)別。僅通過(guò)語(yǔ)言是無(wú)法近似這種深刻理解的，這是錯(cuò)誤的方向。

人類處理各種大語(yǔ)言模型的豐富經(jīng)驗(yàn)清楚地表明，僅從言語(yǔ)中可以獲得的東西是如此之少。