這就是GPT模型聽起來像人類的原因
譯文譯者 | 劉濤
審校 | 重樓
沒人知道為什么AI可以工作，對(duì)吧?
是和否。
從根本上說，我們對(duì)于人類大腦的秘密仍然知之甚少。
然而，Transformers（一種用于自然語言處理（NLP）和其他序列到序列（seq2seq）任務(wù)的人工神經(jīng)網(wǎng)絡(luò)模型）和人類在自然語言處理方面的響應(yīng)非常相似，讓人不寒而栗。
讓我們來解釋一下原因。
將信息表達(dá)（Information Representations）存儲(chǔ)在Transformer中
我們使用從多個(gè)字或標(biāo)記輸入生成的向量來為Transformer創(chuàng)建嵌入。
因此，信息以向量的形式存儲(chǔ)。
考慮到“表達(dá)”這一問題，實(shí)際上，比起"注意力機(jī)制"，“表達(dá)嵌入”更具基礎(chǔ)性。首先，我們必須先得到一種“表達(dá)”，這種表達(dá)要么是“可解碼”，要么是“可操作”！
您也許想知道，這與像GPT-4這樣的Transformer在經(jīng)過整個(gè)互聯(lián)網(wǎng)的訓(xùn)練后所能做的一切有什么關(guān)系？
信息通過注意力點(diǎn)積和數(shù)學(xué)運(yùn)算與原數(shù)據(jù)的上下文意義和表達(dá)相結(jié)合進(jìn)行編碼。
因此，我們將這些數(shù)據(jù)的表達(dá)形式存儲(chǔ)在 Transformer 中。
關(guān)鍵因素
所有神經(jīng)網(wǎng)絡(luò)都是根據(jù)通用近似定理（Universal approximation theorem）解決問題的。
對(duì)于那些不知道什么是通用近似定理的人，我們可以將通用近似定理定義為將指定輸入精確地轉(zhuǎn)換為指定輸出的任何過程 --它可以近似看作是從輸入到輸出的一個(gè)函數(shù)。這個(gè)函數(shù)存在一定的形式，但我們不需要知道。因?yàn)橹灰o定足夠的數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)可以為我們近似得到任意函數(shù)。
什么是函數(shù)？這是我們?cè)噲D解決的問題。
神經(jīng)網(wǎng)絡(luò)可以通過其處理算法近似得到任何函數(shù)---所以是通用的。
架構(gòu)不同-算法不同-模型不同-但基本原理相同。
這就是為什么神經(jīng)網(wǎng)絡(luò)在有足夠的數(shù)據(jù)、被賦予合適的任務(wù)，并以正確的方式進(jìn)行調(diào)整時(shí)就會(huì)起作用，這是一個(gè)隨著時(shí)間推移而不斷變得更好的藝術(shù)。
在LLM（大型語言模型）中，“狗”這個(gè)概念的潛在表達(dá)是什么?
肯定有一種表示方法，實(shí)際上可能有很多種。
也許是單個(gè)狗的x向量，y上下文值和z位置參數(shù)，以及原始數(shù)據(jù)流架構(gòu)的正確路徑。
我們只是還沒有深入研究它，因?yàn)檫@對(duì)我們的目的來說還不必要。
系統(tǒng)運(yùn)行正常。
這對(duì)我們來說已經(jīng)足夠了。
因此，該系統(tǒng)是一個(gè)黑盒。
但是，大腦如何存儲(chǔ)數(shù)據(jù)？
就像以前一樣-我們不知道確切的細(xì)節(jié)。
當(dāng)我們的大腦被創(chuàng)造出來時(shí)，它們會(huì)創(chuàng)造外部物體、概念和實(shí)體的內(nèi)部表示。有點(diǎn)像一個(gè)成長中的孩子。
例如，狗的概念可能涉及x神經(jīng)元、y突觸和z架構(gòu)，以及神經(jīng)元之間動(dòng)態(tài)不斷發(fā)展的原始數(shù)據(jù)搬遷路徑集。
我的意思是，人腦也是一個(gè)黑匣子。適用于GPT模型的相同原理也可以說適用于大腦——它們也是通用近似器。
近似定理顯然適用于我們的大腦。
這是相同的原理。
我們大腦中的想法也可以通過嵌入式存儲(chǔ)/表達(dá)出來！
只是這些嵌入是自然創(chuàng)建的。
具有超低電能的神經(jīng)元、軸突和樹突的家族。
不同的形式。不同的功能。但最終結(jié)果相同。
系統(tǒng)起作用了。
這對(duì)我們來說已經(jīng)足夠了。
我們還能說我們知道什么？
只有我們能憑經(jīng)驗(yàn)觀察到的。
又是一個(gè)黑盒。
那么，為什么它們?cè)谧匀徽Z言中如此相似呢？
我們?cè)噲D通過一種非常復(fù)雜的處理過程，將所有從互聯(lián)網(wǎng)上采集到的數(shù)據(jù)，盡可能地對(duì) AGI進(jìn)行建模—那可是全球的數(shù)據(jù)。
在序列-序列模型以及自然語言測試方面，我認(rèn)為我們已經(jīng)取得了成功。
我們已經(jīng)對(duì)人腦如何理解和處理信息進(jìn)行了建模，這需要付出巨大代價(jià)，而且系統(tǒng)性地努力。
我不開心且真的害怕。如果這是ChatGPT能做的~
那么，GPT-4將實(shí)現(xiàn)什么？
微軟的軟件工程師已經(jīng)確定了GPT-4模型中的一些未來應(yīng)用。
他們甚至發(fā)表了一篇關(guān)于該發(fā)現(xiàn)的論文-
研究報(bào)告：
- 我們?cè)诿昂艽蟮娘L(fēng)險(xiǎn)。
- 當(dāng) Geoffrey Hinton 從他的研究崗位上退下來的時(shí)候，我意識(shí)到事情真的亂套了。
- 有錢能使鬼推磨。
- 再多的控制也無法阻止中國和美國以利潤為中心的公司。
- 我們希望未來一切順利。
- 人工智能決策者必須把道德放在利潤之上。
但是企業(yè)家什么時(shí)候這樣做過呢？
結(jié)論
Hinton說了些難以置信的話。
“我突然改變了AI是否會(huì)比我們更聰明的看法。我想它們現(xiàn)在已經(jīng)非常接近了，將來它們肯定會(huì)比我們更聰明。那么我們?nèi)祟悜?yīng)該如何生存？”
但就目前而言，沒有什么事物可以阻止它。最后，讓我們留給您一個(gè)有趣的問題，這個(gè)問題將由 ChatGPT給出答案。
問：您將如何實(shí)現(xiàn)AGI？
ChatGPT回答：
實(shí)現(xiàn)通用人工智能（AGI）是一個(gè)巨大的挑戰(zhàn)，需要跨多個(gè)科學(xué)和工程學(xué)科取得重大進(jìn)展。雖然AGI的確切路徑仍然是一個(gè)充滿爭論和探索的話題，但我可以為您提供研究人員在一些關(guān)鍵領(lǐng)域的更詳細(xì)解釋：
1、認(rèn)知架構(gòu)：開發(fā)能夠模仿人類智能的認(rèn)知架構(gòu)是AGI的一個(gè)基本方面。這包括理解人腦的結(jié)構(gòu)和功能，并設(shè)計(jì)捕捉這些過程的計(jì)算模型。研究人員從神經(jīng)科學(xué)、認(rèn)知心理學(xué)和認(rèn)知科學(xué)中汲取靈感，構(gòu)建能夠支持高級(jí)推理、感知、記憶、學(xué)習(xí)和決策的架構(gòu)。
2、機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)：機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)，在近年來的人工智能進(jìn)步中發(fā)揮了重要作用。深度神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別和自然語言處理等感知任務(wù)中取得了顯著成功。為了向AGI邁進(jìn)，研究人員正在探索通過提高深度學(xué)習(xí)的泛化、可解釋性以及處理有限數(shù)據(jù)和復(fù)雜推理的能力來增強(qiáng)深度學(xué)習(xí)能力的方法。
3、強(qiáng)化學(xué)習(xí)和主動(dòng)學(xué)習(xí)：強(qiáng)化學(xué)習(xí)是AGI關(guān)注的另一個(gè)關(guān)鍵領(lǐng)域。它包括訓(xùn)練AI與環(huán)境交互并從試錯(cuò)中學(xué)習(xí)。強(qiáng)化學(xué)習(xí)技術(shù)與主動(dòng)學(xué)習(xí)相結(jié)合，包括主動(dòng)選擇信息豐富的訓(xùn)練樣本，可以幫助AI更有效地從環(huán)境中探索和學(xué)習(xí)。開發(fā)能夠從不同數(shù)據(jù)源中學(xué)習(xí)并將知識(shí)推廣到新情況的算法對(duì)于實(shí)現(xiàn)AGI至關(guān)重要。
4、認(rèn)知機(jī)器人（Cognitive Robotics）和具身智能（Embodied Intelligence）：真正的AGI需要的不僅僅是處理信息；它需要與現(xiàn)實(shí)世界進(jìn)行交互。認(rèn)知機(jī)器人旨在整合機(jī)器人的感知、認(rèn)知和行動(dòng)，使它們能夠以類似于人類的方式學(xué)習(xí)和推理世界。具身智能研究探索AI如何利用感官運(yùn)動(dòng)技巧和自身體驗(yàn)，與周圍環(huán)境進(jìn)行互動(dòng)，從而發(fā)展出智能。
5、符號(hào)推理和知識(shí)表達(dá)：AGI系統(tǒng)應(yīng)該能夠符號(hào)推理和操作復(fù)雜的知識(shí)表達(dá)。符號(hào)推理包括使用邏輯規(guī)則、推理機(jī)制和結(jié)構(gòu)化知識(shí)表達(dá)等方法，來執(zhí)行抽象推理和問題解決的任務(wù)。將符號(hào)推理與統(tǒng)計(jì)方法（如神經(jīng)網(wǎng)絡(luò)）相結(jié)合是一個(gè)活躍的研究領(lǐng)域，可以實(shí)現(xiàn)更強(qiáng)大和靈活的推理能力。
6、遷移學(xué)習(xí)（Transfer Learning）和元學(xué)習(xí)(Meta-Learning）：AGI系統(tǒng)應(yīng)該具備將在一個(gè)領(lǐng)域?qū)W到的知識(shí)和技能轉(zhuǎn)移到新的或陌生領(lǐng)域的能力。遷移學(xué)習(xí)技術(shù)旨在利用現(xiàn)有知識(shí)加速相關(guān)任務(wù)或領(lǐng)域的學(xué)習(xí)。元學(xué)習(xí)，側(cè)重于開發(fā)能夠?qū)W習(xí)如何有效學(xué)習(xí)的模型，快速適應(yīng)有限數(shù)據(jù)的新情況和任務(wù)。
7、數(shù)據(jù)和計(jì)算資源： AGI開發(fā)需要海量高質(zhì)量的數(shù)據(jù)用于訓(xùn)練模型。跨多個(gè)領(lǐng)域訪問不同數(shù)據(jù)集對(duì)于捕捉人類知識(shí)的廣度和深度至關(guān)重要。此外，AGI開發(fā)需要大量的計(jì)算資源來訓(xùn)練和運(yùn)行復(fù)雜的模型。硬件領(lǐng)域的進(jìn)步，如專用人工智能芯片和分布式計(jì)算系統(tǒng)，能夠顯著加速AGI研究。
8、倫理、安全和可解釋性：隨著AGI的發(fā)展，解決倫理問題、制定穩(wěn)健的安全措施以及確保AGI系統(tǒng)的透明度和可解釋性至關(guān)重要。研究人員正在探索使人工智能系統(tǒng)變得更加透明、可解釋和可問責(zé)的方法，從而降低風(fēng)險(xiǎn)，并使人類用戶能夠理解和信任它們的行為。
9、合作和交叉學(xué)科研究：實(shí)現(xiàn)AGI需要來自不同領(lǐng)域的專家間的合作，包括AI、神經(jīng)科學(xué)、心理學(xué)、哲學(xué)等。鼓勵(lì)交叉學(xué)科研究和知識(shí)共享可以為開發(fā)AGI帶來新的思路和方法。
需要注意的是，盡管在這些領(lǐng)域都取得了進(jìn)展，但實(shí)現(xiàn)AGI仍然是一個(gè)沒有明確時(shí)間表的開放式問題。這是一個(gè)復(fù)雜而長期的目標(biāo)，需要持續(xù)地研究、探索和迭代。
譯者介紹
劉濤，51CTO社區(qū)編輯，某大型央企系統(tǒng)上線檢測管控負(fù)責(zé)人。
原文標(biāo)題：This Is Why GPT Models Sound Like Humans，作者：Thomas Cherickal
