近一年多，依賴大模型技術(shù)，讓人們?nèi)计饋韺I的新憧憬。

關(guān)于大模型是否有意識，依靠大模型是否能夠構(gòu)建“世界模型”，一直有很大的爭論。

從信仰上來看，分為兩大陣營。一種是大模型的反對派，他們認為大模型是鸚鵡學舌，根本不懂的自己在說什么，也沒有人那樣的創(chuàng)造力，想通過大模型通向AGI是誤入歧途。這個陣營代表為Yann LeCun、李飛飛。

雖然LeCun作為MetaAI首席科學家，Meta也發(fā)布了Llama系列大模型，但他卻在不同場合表達了對大語言模型的不屑，他認為LLM本質(zhì)上只是自回歸文本生成模型，它們只能非常粗淺地理解世界，并且捕獲的只是文本的統(tǒng)計規(guī)律，無法真正理解文本在現(xiàn)實世界中所代表的含義，甚至曾公開表示5年內(nèi)GPT就將被拋棄，利用大模型技術(shù)連一只貓的智能都達不到。

LeCun同時提出了自己解決方法，他認為要想讓AI接近人類水平，其需要像嬰兒一樣學習世界如何運作。由此，他提出了“世界模型”的概念，解決方案即為JEPA（聯(lián)合嵌入預測架構(gòu)）。

JEPA通過一系列的編碼器提取世界狀態(tài)的抽象表示，并使用不同層次的世界模型預測器，來預測世界的不同狀態(tài)，并在不同的時間尺度上做出預測。所有復雜的任務(wù)都可以通過“分層”的方式完成，他曾舉了一個例子：我想從紐約前往北京，第一件事是去機場，第二件事是乘去往北京的飛機，最終的代價函數(shù)（cost function）可以表示從紐約到北京的距離。那么我該如何去機場？解決方案是把任務(wù)分解到毫秒級，通過毫秒級的控制來找到預測成本最小的行動序列。顯然層次規(guī)劃是最大的挑戰(zhàn)，所謂“失之毫厘，差之千里”，其計算量和誤差累積都將是JEPA的大麻煩。

而李飛飛也在一些場合表達了大模型并不是通往AGI的正路。她曾態(tài)度堅決的表示AI沒有知覺，LeCun也轉(zhuǎn)發(fā)了盟友的X。

她表示當前沒有發(fā)現(xiàn)大模型具有意識，在未來的ChatGPT版本中也不可能出現(xiàn)。

而與之戰(zhàn)在對立面的支持大模型是有可能通向AGI的支持派，他們表達的觀點相對溫和務(wù)實，某種意義上講，他們是在不斷實踐自己的設(shè)想，并且已經(jīng)取得了一定的成就。他們的代表人物是Hinton以及其愛徒ChatGPT之父Ilya。

Hinton在最近一個與Joel Hellermark的訪談里表示，在過去他們通過生理或者哲學層面理解人類智能并模擬制造AGI是不可行的，AGI表現(xiàn)的智能實現(xiàn)或許是另一種方式。

他相信他的學生ilya的判斷。而ilya在他學生時代就憑著自己超人的直覺相信，大模型不簡單只是學習文字符號概率，而是可以學習到自然規(guī)律，具備一定的推理能力，因為為了預測下一個符號，它必須進行一些推理。就從實際情況看，即使你不加入任何特殊的推理元素，僅僅是制造出大的模型，它們也已經(jīng)可以進行一些推理了。隨著大模型被做得更大時，它們就能進行更多的推理，甚至非常有創(chuàng)造力。Hinton利用一個例子來體現(xiàn)大模型甚至擁有超越人類的類比思維，而不是簡單重復自己之前預訓練學習過的內(nèi)容。

比如訊問 GPT-4，為什么堆肥堆像原子彈？大多數(shù)人回答不出來。大多數(shù)人沒有想過，他們會認為原子彈和堆肥堆是非常不同的東西。但 GPT-4 會告訴你，它們的能量規(guī)模非常不同，時間規(guī)模非常不同。但它們的共同點是，當堆肥堆變得更熱時，它產(chǎn)生熱量的速度更快；當原子彈產(chǎn)生更多的中子時，它產(chǎn)生中子的速度也更快。所以這就得到了連鎖反應(yīng)的概念。

大模型似乎理解這兩種連鎖反應(yīng)，并使用這種理解將所有這些信息壓縮到它的權(quán)重中。如果它確實在這樣做，那么它將會對我們還沒有看到的所有事物進行同樣的操作。這就是創(chuàng)造力的來源 —— 看到這些表面上截然不同的事物之間的類比關(guān)系。

Hinton在采訪時表示，大腦認知實際上采用了和大模型一樣的處理邏輯。即大腦將這些符號轉(zhuǎn)換為嵌入，并使用多層嵌入，因而大腦將得到非常豐富的嵌入。而嵌入仍然與符號相關(guān)聯(lián)，從這個意義上講，符號有其對應(yīng)的大向量。這些向量相互作用產(chǎn)生下一個詞的符號的向量。因此理解是指知道如何將符號轉(zhuǎn)換為向量，以及向量的元素如何相互作用以預測下一個符號的向量。人們曾認為符號處理只是簡單地匹配符號，一個符號只有一個屬性：要么與另一個符號相同，要么不相同。實際并不是這樣，而是利用上下文為符號提供嵌入向量，然后利用這些嵌入向量的組件之間的相互作用來進行思考。 

Hinton甚至表示，大模型也可以擁有情感。但不一定是人類理解的樣子，而意識應(yīng)該是我們在沒有外界限制的情況下可能會采取的行動，例如，1973 年在愛丁堡，他見過一個機器人表現(xiàn)出情感。這個機器人有兩個抓手，可以在綠色毛氈上組裝玩具汽車，只要將零件分開放置。但如果你把零件堆在一起，由于它的視覺系統(tǒng)不夠好，無法分辨情況，它會顯得困惑并將零件擊散，然后再進行組裝。如果這種行為發(fā)生在人類身上，可能會認為他因為不理解情況而感到惱怒，并因此摧毀了它。 

Ilya自己也多次表示，大語言模型學習的不僅僅是文字概率，而是世界模型，并且曾經(jīng)暗示大模型已經(jīng)擁有意識。

未來誰可能是正確的？現(xiàn)下還難有明確結(jié)論。但筆者想說，想要打造最快的交通工具，不一定非要有四個輪子，想要打造AGI，也不見得要和人類完全一樣，關(guān)鍵是我們能做的，它們是否能做，無需關(guān)注黑盒本身。

參考：???https://mp.weixin.qq.com/s/OydltjpVwsQ7hNBH6hq_Og??

本文轉(zhuǎn)載自??AI工程化??，作者： ully ????