我不能創(chuàng)造的，我也不理解                                                               ——費(fèi)曼

想要?jiǎng)?chuàng)造人工智能，首先要理解人類的大腦因何有智能。

隨著神經(jīng)網(wǎng)絡(luò)的誕生及后續(xù)的輝煌發(fā)展，研究者們一直在為神經(jīng)網(wǎng)絡(luò)尋找生物學(xué)上的解釋，生物學(xué)上的進(jìn)展也在啟發(fā)AI研究人員開發(fā)新模型。

但人工智能領(lǐng)域的研究人員其實(shí)還有一個(gè)更遠(yuǎn)大的追求：利用AI模型來幫助理解大腦。

最近有研究發(fā)現(xiàn)，雖然時(shí)下最流行的Transformer模型是在完全沒有生物學(xué)知識(shí)輔助的情況下開發(fā)出來的，但其架構(gòu)卻和人腦海馬結(jié)構(gòu)極其相似。

論文鏈接：https://arxiv.org/pdf/2112.04035.pdf

研究人員給Transformer配備了遞歸位置編碼后，發(fā)現(xiàn)模型可以精確復(fù)制海馬結(jié)構(gòu)（hippocampal formation）的空間表征。

不過作者也表示，對(duì)于這一結(jié)果并不驚訝，因?yàn)門ransformer與目前神經(jīng)科學(xué)中的海馬體模型密切相關(guān)，最明顯的就是位置細(xì)胞（place cell）和網(wǎng)格細(xì)胞（grid cell）。

而且通過實(shí)驗(yàn)發(fā)現(xiàn)，Transformer模型相比神經(jīng)科學(xué)版本提供的模型來說有巨大的性能提升。

這項(xiàng)工作將人工神經(jīng)網(wǎng)絡(luò)和大腦網(wǎng)絡(luò)的計(jì)算結(jié)合起來，對(duì)海馬體和大腦皮層之間的相互作用提供了新的理解，并暗示了皮層區(qū)域如何執(zhí)行超出目前神經(jīng)科學(xué)模型的更廣泛的復(fù)雜任務(wù)，如語(yǔ)言理解。

Transformer仿真海馬體？

人類想要了解自己的大腦仍然困難重重，比如研究大腦如何組織和訪問空間信息來解決「我們?cè)谀睦?，拐角處有什么以及如何到達(dá)那里」仍然是一項(xiàng)艱巨的挑戰(zhàn)。

整個(gè)過程可能涉及到從數(shù)百億個(gè)神經(jīng)元中調(diào)用整個(gè)記憶網(wǎng)絡(luò)和存儲(chǔ)的空間數(shù)據(jù)，每個(gè)神經(jīng)元都連接到數(shù)千個(gè)其他神經(jīng)元。

雖然神經(jīng)科學(xué)家已經(jīng)確定了幾個(gè)關(guān)鍵元素，例如網(wǎng)格細(xì)胞、映射位置的神經(jīng)元，但如何進(jìn)行更深入的研究仍然是未知的：研究人員無法移除和研究人類灰質(zhì)切片來觀察基于位置的圖像、聲音和氣味記憶如何流動(dòng)并相互連接。

人工智能模型則提供了另一種途徑來理解人腦，多年來，神經(jīng)科學(xué)家已經(jīng)利用多種類型的神經(jīng)網(wǎng)絡(luò)來模擬大腦中神經(jīng)元的發(fā)射。

最近有研究表明，海馬體（一個(gè)對(duì)記憶至關(guān)重要的大腦結(jié)構(gòu)）基本上和Transformer模型差不多。

研究人員用新模型以一種與大腦內(nèi)部運(yùn)作相似的方式追蹤空間信息，取得了一些顯著的研究成果。

來自牛津大學(xué)和斯坦福大學(xué)的認(rèn)知神經(jīng)科學(xué)家James Whittington表示，當(dāng)我們知道這些大腦模型等同于Transformer時(shí)，也就意味著新模型會(huì)表現(xiàn)得更好，也更容易訓(xùn)練。

從Whittington和其他人的研究成果中可以看出，Transformer可以極大地提高神經(jīng)網(wǎng)絡(luò)模型模仿網(wǎng)格細(xì)胞和大腦其他部分進(jìn)行的各種計(jì)算的能力。

Whittington表示，這樣的模型可以推動(dòng)我們對(duì)人工神經(jīng)網(wǎng)絡(luò)如何工作的理解，甚至更有可能是對(duì)大腦中如何進(jìn)行計(jì)算的理解。

主要從事Transformer模型研究的谷歌大腦計(jì)算機(jī)科學(xué)家David Ha表示，我們并不是要重新創(chuàng)造一個(gè)新的大腦，但我們能不能創(chuàng)造一種機(jī)制來做大腦可以做的事情？

Transformer在五年前才首次提出，當(dāng)時(shí)是作為人工智能處理自然語(yǔ)言的一種新模型，也是BERT和GPT-3等那些「明星模型」的秘密武器。這些模型可以生成令人信服的歌詞，創(chuàng)作莎士比亞十四行詩(shī)，或者做一些人工客服的工作。

Transformer的核心機(jī)制就是自注意力，其中每個(gè)輸入（例如一個(gè)單詞、一個(gè)像素、一個(gè)序列中的數(shù)字）總是與其他的所有輸入相連，而其他常見的神經(jīng)網(wǎng)絡(luò)只是將輸入與某些輸入相連接。

雖然Transformer是專門為自然語(yǔ)言任務(wù)而設(shè)計(jì)的，但后來的研究也證明了Transformer在其他任務(wù)中也同樣表現(xiàn)出色，比如對(duì)圖像進(jìn)行分類，以及現(xiàn)在對(duì)大腦進(jìn)行建模。

2020年，由奧地利約翰開普勒林茨大學(xué)的計(jì)算機(jī)科學(xué)家Sepp Hochreiter（LSTM論文一作）領(lǐng)導(dǎo)的一個(gè)小組，使用一個(gè)Transformer來重新調(diào)整一個(gè)強(qiáng)大的、長(zhǎng)期存在的記憶檢索模型Hopfield網(wǎng)絡(luò)。

這些網(wǎng)絡(luò)在40年前由普林斯頓物理學(xué)家John Hopfield首次提出，遵循一個(gè)一般規(guī)則：在同一時(shí)間活躍的神經(jīng)元相互之間建立了強(qiáng)有力的聯(lián)系。

Hochreiter和他的合作者注意到，研究人員一直在尋找更好的記憶檢索模型，他們看到了一類新的Hopfield網(wǎng)絡(luò)如何檢索記憶和Transformer如何執(zhí)行注意力之間的聯(lián)系。

這些新的Hopfield網(wǎng)絡(luò)由Hopfield和麻省理工學(xué)院-IBM沃森人工智能實(shí)驗(yàn)室的Dmitry Krotov開發(fā)，與標(biāo)準(zhǔn)的Hopfield網(wǎng)絡(luò)相比，具有更有效的連接，可以存儲(chǔ)和檢索更多記憶。

論文鏈接：https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

Hochreiter的團(tuán)隊(duì)通過添加一個(gè)類似Transformer中的注意力機(jī)制的規(guī)則來升級(jí)這些網(wǎng)絡(luò)。

2022年，這篇新論文的進(jìn)一步調(diào)整了Hochreiter的方法，修改了Transformer，使其不再將記憶視為線性序列，而是像句子中的一串單詞，將其編碼為高維空間中的坐標(biāo)。

研究人員稱這種「扭曲」進(jìn)一步提高了該模型在神經(jīng)科學(xué)任務(wù)中的表現(xiàn)。實(shí)驗(yàn)結(jié)果還表明，該模型在數(shù)學(xué)上等同于神經(jīng)科學(xué)家在fMRI掃描中看到的網(wǎng)格細(xì)胞發(fā)射模式的模型。

倫敦大學(xué)學(xué)院的神經(jīng)科學(xué)家Caswell Barry表示，網(wǎng)格細(xì)胞具有這種令人興奮的、美麗的、有規(guī)律的結(jié)構(gòu)，并且具有引人注目的模式，不太可能隨機(jī)出現(xiàn)。

這項(xiàng)新工作顯示了Transformer如何準(zhǔn)確地復(fù)制了在海馬體中觀察到的那些模式。

他們也認(rèn)識(shí)到，Transformer模型可以根據(jù)以前的狀態(tài)和它的移動(dòng)方式弄清楚它在哪里，而且是以一種關(guān)鍵的方式進(jìn)入傳統(tǒng)的網(wǎng)格細(xì)胞模型。

近期的一些其他工作也表明，Transformer可以促進(jìn)我們對(duì)其他大腦功能的理解。

去年，麻省理工學(xué)院的計(jì)算神經(jīng)科學(xué)家Martin Schrimpf分析了43種不同的神經(jīng)網(wǎng)絡(luò)模型，以了解它們對(duì)由fMRI和皮質(zhì)電圖報(bào)告的人類神經(jīng)活動(dòng)測(cè)量結(jié)果的預(yù)測(cè)程度。

他發(fā)現(xiàn)Transformer是目前領(lǐng)先的、最先進(jìn)的神經(jīng)網(wǎng)絡(luò)，幾乎可以預(yù)測(cè)成像中發(fā)現(xiàn)的所有變化。

而David Ha與同為計(jì)算機(jī)科學(xué)家的Yujin Tang最近也設(shè)計(jì)了一個(gè)模型，可以故意給Transformer以隨機(jī)、無序的方式輸入大量數(shù)據(jù)，模仿人體如何向大腦傳輸感官觀察。結(jié)果發(fā)現(xiàn)Transformer可以像我們的大腦一樣，可以成功地處理無序的信息流。

論文鏈接：https://arxiv.org/abs/2111.14377

Yujin Tang表示，神經(jīng)網(wǎng)絡(luò)是硬接線，只能接收特定的輸入。但在現(xiàn)實(shí)生活中，數(shù)據(jù)集經(jīng)?？焖僮兓蠖鄶?shù)人工智能沒有任何辦法調(diào)整。未來我們想嘗試一種能夠快速適應(yīng)的架構(gòu)。