AI究竟距離人類級(jí)水平的智能還有多遠(yuǎn)？

Nature最新一篇長文，從人類一直在思考的AGI問題入手，探究了o1掀起的新范式。

不過，這條新路終究無法到達(dá)AGI那天。

Bengio預(yù)言：o1無法抵達(dá)AGI

3個(gè)月前，OpenAI重磅推出推理模型o1，代表著AGI路線二級(jí)能力的實(shí)現(xiàn)。

相較于之前的大模型，憑借著強(qiáng)化學(xué)習(xí)+CoT，o1得以以人類的思維方式去解決問題。

也正是o1的誕生，為持續(xù)數(shù)十年來的一場辯論注入了新的燃料：究竟要到什么時(shí)候，機(jī)器才能勝任人類大腦所能處理的所有認(rèn)知任務(wù)？

這其中包括從一項(xiàng)任務(wù)到另一項(xiàng)任務(wù)的泛化、抽象推理、規(guī)劃以及選擇對(duì)世界的哪些方面進(jìn)行研究和學(xué)習(xí)？

AGI真正來臨那天，可以解決很多棘手的問題，包括氣候變化、流行病、癌癥、阿爾茨海默氏癥等等。

但這種巨大力量，也會(huì)為人類的未來帶來諸多風(fēng)險(xiǎn)。

圖靈獎(jiǎng)得主Yoshua Bengio曾表示，濫用AI，或我們對(duì)其只去控制，都將發(fā)生令人糟糕的事情。

過去幾年，大模型革命讓許多人認(rèn)為AGI又近了！但另有一些研究人員表示——最典型代表LeCun，「考慮到LLM如何構(gòu)建和訓(xùn)練的，它們本身不足以達(dá)到AGI」。

甚至，Bengio也認(rèn)為，「我們還缺少些東西」。

顯然，現(xiàn)在關(guān)于辯論AGI的問題，比以往任何時(shí)候都要重要。

為什么AGI辯論會(huì)改變

AGI一詞，大約在2007年開始進(jìn)入人們的視野。

最先由AI研究者Ben Goertzel和Cassio Pennachin同時(shí)提出這一概念。

雖然它的確切定義仍模糊不清，但廣泛上指的是具有類人推理、泛化能力的AI系統(tǒng)。

撇開模糊的定義不談，在AI大部分歷史中，顯然我們還沒有抵達(dá)AGI。

以AlphaGo為例，雖然它在圍棋比賽中擊敗了人類選手李世石，但這種「超人」能力也僅僅局限在下圍棋上。

而現(xiàn)在，LLM隨之涌現(xiàn)的能力，從根本上改變了這個(gè)景觀。

像人類的大腦一樣，這些模型能泛化到各種任務(wù)中，以至于一些研究者開始認(rèn)真思考，某種形式的AGI可能即將到來，甚至已經(jīng)存在。

而且，這種能力的廣度尤其令人震驚。

因?yàn)榇蠖鄶?shù)研究人員，只是部分理解了LLM如何實(shí)現(xiàn)這些能力，但其運(yùn)作機(jī)制終究是一個(gè)「黑盒」。

我們都知道，大模型是一種神經(jīng)網(wǎng)絡(luò)，其靈感就來源于大腦，由多層人工神經(jīng)元組成，而這些神經(jīng)元之間的連接強(qiáng)度可以調(diào)整。

在訓(xùn)練的過程中，最強(qiáng)大的模型如o1、Claude、Gemini，都依賴于「下一個(gè)token預(yù)測」的方法，模型的輸入是文本token。

這些token可以是整個(gè)單詞，也可以是一組字符。通過隱藏序列中的最后一個(gè)token，再讓模型對(duì)其進(jìn)行預(yù)測。

訓(xùn)練算法然后比較預(yù)測結(jié)果，并調(diào)整模型參數(shù)。這個(gè)過程會(huì)反復(fù)進(jìn)行，直到模型可靠地預(yù)測被隱藏的token。

再之后，模型參數(shù)已經(jīng)學(xué)到了訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)結(jié)構(gòu)，以及其中的知識(shí)，并凍結(jié)參數(shù)。

當(dāng)給定提示時(shí)，模型使用其來預(yù)測新的token，這一過程就被稱為「推理」。

這些基于Transformer架構(gòu)搭建的LLM，使之能力大幅超越以前的模型。

在此過程中，模型還涌現(xiàn)出其他的能力，尤其是隨著參數(shù)規(guī)模的增加，如果LLM變得足夠大，AGI也可能會(huì)出現(xiàn)。

LLM仍有局限

一個(gè)典型的案例CoT，讓大模型將問題分解成更多步來解決，引導(dǎo)其正確回答問題。

CoT成為了o1表現(xiàn)如此卓越的基礎(chǔ)。

在訓(xùn)練過程中，o1不僅學(xué)習(xí)預(yù)測下一個(gè)token，還學(xué)習(xí)為給定查詢選擇最佳的CoT提示。

這種思維鏈推理能力解釋了，為什么o1-preview能夠在IOI競賽中解決了83%的問題，要知道公司此前最強(qiáng)大GPT-4o也只能解決13%的問題。

然而，盡管如此強(qiáng)大，但o1仍有局限性，并不能成為真正的AGI。

比如，在需要規(guī)劃的任務(wù)中，Kambhampati的團(tuán)隊(duì)已經(jīng)證明，盡管o1在需要多達(dá)16個(gè)規(guī)劃步驟的任務(wù)中表現(xiàn)出色，但當(dāng)步驟數(shù)增加到20到40之間時(shí)，其性能會(huì)迅速下降。

前谷歌研究員Francois Chollet也看到了，o1-preview在挑戰(zhàn)類似問題的局限性，比如在ARC Prize挑戰(zhàn)中的表現(xiàn)。

Chollet表示，大模型不論參數(shù)規(guī)模大小，在解決需要重新組合其所學(xué)知識(shí)的問題時(shí)，他們的能力是有限的。

因?yàn)榇竽Ｐ蜔o法適應(yīng)新奇的任務(wù)，沒有能力將復(fù)雜知識(shí)重組，以適應(yīng)新的環(huán)境。

LLM會(huì)是AGI終局嗎？

那么，LLM會(huì)是通往AGI終點(diǎn)的唯一解嗎？

許多研究人員認(rèn)為，底層的Transformer架構(gòu)具備了AGI行為的關(guān)鍵特性。

不過，它仍舊存在一些局限性。首先，用于訓(xùn)練模型的數(shù)據(jù)即將耗盡，Epoch AI估計(jì)，全網(wǎng)公開可用的文本數(shù)據(jù)可能會(huì)在2026年-2032年之間耗盡。

也有跡象表明，LLM參數(shù)擴(kuò)大，所獲得的收益并不像以往顯著。

谷歌DeepMind倫敦研究副總Raia Hadsell提出了另一個(gè)問題，LLM預(yù)測下一個(gè)token單一的焦點(diǎn)太局限，無法提供AGI。

她還表示，構(gòu)建一次或大量生成解決方案的模型，可以讓我們更接近AGI。

世界模型，其實(shí)還沒有建起來

神經(jīng)科學(xué)家對(duì)AGI進(jìn)展突破了直覺，他們認(rèn)為，我們智力是大腦能夠建立一個(gè)「世界模型」的結(jié)果。

這是我們對(duì)周圍環(huán)境的一種表現(xiàn)。

它可以預(yù)想出不同的行動(dòng)方案，預(yù)測其后果，從而進(jìn)行規(guī)劃和推理。

它甚至還可以通過模擬不同場景，將一個(gè)領(lǐng)域?qū)W到的技能泛化到新的任務(wù)中。

其實(shí)，此前也有MIT的研究也表明了，大模型內(nèi)部出現(xiàn)了基本的世界模型。

論文地址：https://arxiv.org/pdf/2310.02207

AI大牛Max Tegmark聲稱，在包含美國、紐約市信息數(shù)據(jù)集訓(xùn)練后的開源LLM，竟展現(xiàn)出了世界、美國、紐約市內(nèi)部的表征。

不過，這項(xiàng)研究也遭致一些批評(píng)，有人認(rèn)為沒有證據(jù)可以表明大模型正在使用世界模型模擬或?qū)W習(xí)因果關(guān)系。

另有其他研究表明，如今AI系統(tǒng)學(xué)習(xí)世界模型并不可靠。

哈佛大學(xué)計(jì)算機(jī)科學(xué)家Keyon Vafa和團(tuán)隊(duì)使用紐約市出租車行駛中轉(zhuǎn)彎的巨大數(shù)據(jù)集訓(xùn)練了一個(gè)模型，目的是為了讓其預(yù)測下一個(gè)轉(zhuǎn)彎，幾乎100%正確。

通過檢查模型預(yù)測的轉(zhuǎn)彎，研究人員能夠證明它已經(jīng)構(gòu)建了一個(gè)內(nèi)部地圖，才得以給出答案。

不過這張地圖，卻與曼哈頓幾乎沒有相似之處。其中，包含了根本不存在的街道，以及其他街道上的立交橋。

直到研究人員調(diào)整測試數(shù)據(jù)，包含了以往數(shù)據(jù)中不存在的、不可預(yù)見的彎路時(shí)，模型便無法預(yù)測下一個(gè)轉(zhuǎn)彎。

這也就說明了，模型是無法適應(yīng)新情況的。

反饋非常重要

谷歌DeepMind的AGI研究團(tuán)隊(duì)Dileep George表示，如今LLM缺乏的一個(gè)重要特征是「內(nèi)部反饋」。

人類大腦充滿了無數(shù)反饋連接，這些信息能在神經(jīng)元之間雙向流動(dòng)。

這使得信息從感覺系統(tǒng)流向大腦的更高層，從而創(chuàng)建反應(yīng)我們環(huán)境的世界模型。

這也意味著來自世界模型的信息可以向下漣漪，并指導(dǎo)進(jìn)一步的感官信息的獲取。

這種雙向過程導(dǎo)致了多種認(rèn)知功能，比如：感知（大腦利用世界模型來推斷感官輸入的可能原因；規(guī)劃（使用世界模型模擬不同的行動(dòng)方案。

相較之下，當(dāng)前的大模型只能以副駕的方式使用「反饋」。

以o1模型為例，內(nèi)部CoT提示看似是一種反饋連接方式——生成幫助回答查詢的提示，并在模型給出最終答案之前將其反饋給模型。

然而，正如Chollet對(duì)o1的測試所示，這并不能確保絕對(duì)可靠的抽象推理能力。

包括Kambhampati在內(nèi)的一些研究人員嘗試在LLM上添加外部模塊，被稱之為「驗(yàn)證器」。

這些驗(yàn)證器會(huì)檢查LLM在特定上下文中生成的答案，比如創(chuàng)建可行的旅行計(jì)劃，如果答案不夠理想，就要求大模型重新運(yùn)行查詢。

Kambhampati團(tuán)隊(duì)展示了，有外部驗(yàn)證器輔助大模型能夠創(chuàng)建明顯更好的旅行計(jì)劃。

問題在于，研究人員必須為每個(gè)任務(wù)設(shè)計(jì)定制的驗(yàn)證器，暫時(shí)還沒有通用的驗(yàn)證器。

相比之下，使用這種方法的AGI系統(tǒng)可能需要根據(jù)實(shí)際情況，構(gòu)建自己的驗(yàn)證器，就像人類可以使用抽象規(guī)則確保自己在推理，即使是面對(duì)新任務(wù)。

使用這些想法，幫助開發(fā)新的AI系統(tǒng)，仍處于起步階段。

比如，Bengio正探索如何創(chuàng)建與當(dāng)前基于Transformer大模型不同架構(gòu)的AI系統(tǒng)。

其中一個(gè)使用，他所稱的「生成流網(wǎng)絡(luò)」的系統(tǒng)，將使單個(gè)AI系統(tǒng)能夠同時(shí)學(xué)習(xí)構(gòu)建世界模型和推理、規(guī)劃所需的模塊。

地址：https://yoshuabengio.org/2023/03/21/scaling-in-the-service-of-reasoning-model-based-ml/

大模型面臨的另一個(gè)重大障礙是，幾近用竭的數(shù)據(jù)。

倫敦大學(xué)學(xué)院的神經(jīng)科學(xué)家Karl Friston建議，未來的系統(tǒng)可以通過賦予它們決定從環(huán)境中采樣多少數(shù)據(jù)以構(gòu)建世界模型和做出合理預(yù)測的能力，而不是簡單地吞噬所有輸入的數(shù)據(jù)，從而變得更加有效。

他表示，這將代表一種自主的智能體，這可能是AGI所需要的。

而且，具有構(gòu)建有效世界模型和集成反饋能力的AI系統(tǒng)，可能會(huì)減少對(duì)外數(shù)據(jù)的依賴。

因?yàn)?，它們可以通過運(yùn)行內(nèi)部模擬、提出反事實(shí)，并利用這些模擬理解、規(guī)劃、推理。

那么，實(shí)現(xiàn)AGI是否有可能？計(jì)算機(jī)科學(xué)家們都認(rèn)為沒有理由認(rèn)為，這是不可能的。

不過目前關(guān)于AGI離人類有多近目前還沒有達(dá)成共識(shí)：估計(jì)從現(xiàn)在開始還需要幾年到至少十年不等。

Chollet認(rèn)為，AGI可能會(huì)悄然而至，當(dāng)它到來時(shí)，可能不會(huì)如你想象那樣引人注目。

它還需要時(shí)間來呈現(xiàn)出其全部的潛力。AGI將首先被創(chuàng)造出來，然后，需要擴(kuò)大規(guī)模并加以應(yīng)用，直到真正改變世界那天來臨。