?哥倫比亞大學(xué)和范斯坦醫(yī)學(xué)研究所學(xué)者最近研究了 LLM 與腦神經(jīng)反應(yīng)的相似性。

目的與發(fā)現(xiàn)

研究的目的是確定最新的 LLM 是否與人腦表現(xiàn)出相似之處，有可能提高對LLM和大腦的理解，尤其在理解和生成語言方面。

研究結(jié)果發(fā)表在《自然機(jī)器智能》上【文獻(xiàn)1】，表明隨著 LLM 越來越先進(jìn)，不僅性能更高，也變得更像大腦。

研究方法

研究人員通過植入神經(jīng)外科患者大腦的電極記錄了他們在聽語音時(shí)的腦神經(jīng)反應(yīng)。

并將同一語音的文本提供給 LLM 并提取其嵌入Embedding，嵌入本質(zhì)上是 LLM 不同層編碼和處理文本的內(nèi)部表征。

隨后，通過從單詞嵌入來預(yù)測腦神經(jīng)對單詞的反應(yīng)，這個(gè)詞嵌入中預(yù)測大腦反應(yīng)的能力，可用來估計(jì)LLM與大腦的相似性。

學(xué)者比較了具有幾乎相同的架構(gòu)和相似參數(shù)量的 12 種不同開源模型，探索每個(gè) LLM 的哪些層與語言處理中涉及的大腦區(qū)域表現(xiàn)出最大的對應(yīng)關(guān)系。

結(jié)論與含義

隨著 LLM 變得越來越強(qiáng)大，其嵌入變得更加類似于大腦對語言的神經(jīng)反應(yīng)，與大腦層次結(jié)構(gòu)的一致性也在增加。

意味著在語言處理過程中，在連續(xù)的大腦區(qū)域中提取的信息量和類型，與性能最高的 LLM 的連續(xù)層提取的信息比低性能的 LLM 更一致。

該發(fā)現(xiàn)具有多種含義，其一是 LLM 架構(gòu)和訓(xùn)練的方法正引領(lǐng)LLM朝著與人腦相同的原則發(fā)展。

作者闡明“無論是因?yàn)橐恍┗驹瓌t是理解語言的最有效方法，還是僅僅出于偶然，似乎自然系統(tǒng)和人工系統(tǒng)在朝著相似的語言處理方法靠攏。”

大腦知覺原理

??GPT4技術(shù)原理五：大模型的幻覺，解鈴還須系鈴人 ??筆者整理過 Friston的大腦知覺原理：

Friston假設(shè)大腦構(gòu)建了一個(gè)世界模型，其中先驗(yàn)的“信念”用以指導(dǎo)概率推理：從大腦接收的感官輸入中，推斷出其外部原因。

將“先驗(yàn)”與新的感官輸入相結(jié)合，產(chǎn)生感知，是大腦對內(nèi)外部兩個(gè)信息源的整合，并按其相對精度進(jìn)行加權(quán)。其數(shù)學(xué)形式如下： 

F(s,u) = - log(p(s|m)) + Dkl [ q(Φ|u) || p(Φ|s,m) ] ，式中，m 代表外部客觀世界，u 是大腦內(nèi)部建構(gòu)的世界模型，s 是感官輸入，Φ是m的參數(shù)，也是大腦需要推測的導(dǎo)致s 的原因，F(xiàn) 是這一感知過程的自由能。

這就是著名的貝葉斯大腦：

LLM認(rèn)知框架

Friston的大腦知覺原理與筆者梳理出來LLM數(shù)理認(rèn)知框架相輔相成：LLM通過重整化感知，范疇構(gòu)成內(nèi)部世界模型，變分推斷做推理。

LLM認(rèn)知框架十分接近Friston 的貝葉斯大腦，與學(xué)者們的研究結(jié)論“自然系統(tǒng)和人工系統(tǒng)在朝著相似的語言處理方法靠攏”亦吻合。

文獻(xiàn)1：Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain https://www.nature.com/articles/s42256-024-00925-4  

預(yù)印本：https://arxiv.org/abs/2401.17671

代碼：https://doi.org/10.24433/CO.0003780.v1

本文轉(zhuǎn)載自 ??清熙??，作者： 王慶法