新年伊始，Meta腦機(jī)接口研究傳來(lái)新進(jìn)展——

語(yǔ)言模型加持下，無(wú)需動(dòng)腦部手術(shù)，腦機(jī)接口實(shí)現(xiàn)了當(dāng)前非侵入式方式（MEG）最準(zhǔn)確的結(jié)果。

簡(jiǎn)單來(lái)說(shuō)，僅利用AI模型Brain2Qwerty，他們實(shí)現(xiàn)了對(duì)腦電圖（EEG）或腦磁圖（MEG）電信號(hào)的高度解析。

具體效果如何呢？？

據(jù)論文介紹，使用MEG，Brain2Qwerty的平均字符錯(cuò)誤率（CER）為32%。按照Meta的說(shuō)法，這是當(dāng)前使用全字母鍵盤和頭骨外收集的信號(hào)進(jìn)行大腦打字最準(zhǔn)確的結(jié)果。

最好的例子中，該模型還實(shí)現(xiàn)了19%的CER，并能完美解碼訓(xùn)練集之外的多種句子。

想要直觀理解這項(xiàng)技術(shù)，請(qǐng)看下圖：

谷歌前員工還順帶調(diào)侃，這不妥妥的新雷朋眼鏡!（doge）

更有人腦洞大開，這下即使睡覺也能自動(dòng)發(fā)帖了~

不需要?jiǎng)幽X部手術(shù)的“非侵入性”腦機(jī)接口

按照當(dāng)前理解，腦機(jī)接口是一種在人類大腦和計(jì)算機(jī)或其他設(shè)備之間建立直接通信的技術(shù)。

這種通信可以是雙向的，既允許人類通過(guò)思維活動(dòng)控制外部設(shè)備，也允許外部設(shè)備解讀大腦信號(hào)并與之交互。

從類型上看，它有侵入式和非侵入式兩種。

前者典型代表就是馬斯克旗下的Neuralink，這類接口通過(guò)在大腦內(nèi)植入傳感器或電極來(lái)實(shí)現(xiàn)，一般主要用于醫(yī)療領(lǐng)域，如治療帕金森病、癲癇或進(jìn)行深度腦刺激。

而后者通常使用外部設(shè)備來(lái)監(jiān)測(cè)大腦活動(dòng)，比如將腦電圖傳感器貼在頭皮上，由于風(fēng)險(xiǎn)較小且易于使用，這種方式往往在應(yīng)用中更加常見。

接下來(lái)，我們重點(diǎn)說(shuō)說(shuō)Meta如何將AI與非侵入式腦機(jī)接口做結(jié)合，相關(guān)答案可以從Meta此次公布的兩篇論文中尋找。

在第一篇論文中，Meta詳細(xì)介紹了Brain2Qwerty系統(tǒng)架構(gòu)和實(shí)驗(yàn)過(guò)程。

他們找來(lái)了35名志愿者，均為右撇子且熟練打字的西班牙語(yǔ)母語(yǔ)者，無(wú)神經(jīng)或精神疾病史。其中23%為男性，77%為女性，平均年齡31.6±5.2歲。

這群人接到的任務(wù)是，在鍵盤上打出簡(jiǎn)短記住的句子，同時(shí)其大腦活動(dòng)將被EEG或MEG記錄。

每個(gè)試驗(yàn)包含讀、等待、打字三個(gè)步驟。句子（例如el procesador ejecuta la instrucción）逐詞顯示，每個(gè)單詞顯示465-665ms，讀完后停頓1.5秒，之后開始“盲打”。

與此同時(shí)，志愿者的大腦電信號(hào)被輸入到Brain2Qwerty系統(tǒng)中。

這一系統(tǒng)主要包含三個(gè)模塊：

• 卷積模塊：以500毫秒窗口的M/EEG信號(hào)作為輸入，對(duì)大腦信號(hào)進(jìn)行初步處理和特征提??；
• Transformer模塊：在句子層面進(jìn)行訓(xùn)練，能夠捕捉句子整體的語(yǔ)義和結(jié)構(gòu)信息，進(jìn)一步處理卷積模塊輸出的特征；
• 語(yǔ)言模塊：采用預(yù)訓(xùn)練的語(yǔ)言模型，對(duì)Transformer模塊的輸出進(jìn)行糾正，利用語(yǔ)言的先驗(yàn)知識(shí)和語(yǔ)法規(guī)則，提升文本輸出的準(zhǔn)確性。

最終， 他們使用句子層面的字符錯(cuò)誤率（Character Error Rate，CER）來(lái)評(píng)估模型性能。即計(jì)算預(yù)測(cè)文本與目標(biāo)文本之間的字符差異，并以百分比形式呈現(xiàn)錯(cuò)誤率。

結(jié)果顯示，使用腦磁圖時(shí)，Brain2Qwerty的字符錯(cuò)誤率達(dá)到32±0.6%，使用腦電圖時(shí)為67±1.5%。這種性能反映出不同記錄設(shè)備之間存在顯著差異。

最好的例子中，該模型還實(shí)現(xiàn)了19%的CER。（可以解碼最高80%的新句子）

在第二篇論文中，Meta探究了大腦中語(yǔ)言產(chǎn)生的神經(jīng)機(jī)制，由此進(jìn)一步證實(shí)了語(yǔ)言產(chǎn)生遵循層級(jí)化處理過(guò)程的理論預(yù)測(cè)。

目前有這樣一種被廣泛接受的理論，即語(yǔ)言產(chǎn)生是一個(gè)層級(jí)化的過(guò)程。也就是說(shuō)，人們?cè)谏烧Z(yǔ)言時(shí)，大腦會(huì)按照一定的層次順序?qū)φZ(yǔ)言信息進(jìn)行處理。

通過(guò)觀察上述35名志愿者的神經(jīng)活動(dòng)，研究得出如下發(fā)現(xiàn)：

在每個(gè)單詞產(chǎn)生之前，神經(jīng)活動(dòng)呈現(xiàn)出特定的規(guī)律，具體表現(xiàn)為按上下文、單詞、音節(jié)和字母的順序生成語(yǔ)言表征，且呈現(xiàn)出上升和下降的變化。

這無(wú)疑印證了前述理論。

另外，研究還發(fā)現(xiàn)每個(gè)層次的神經(jīng)表征在大腦中維持的時(shí)間不同。一般來(lái)說(shuō)，高層次的上下文表征持續(xù)時(shí)間較長(zhǎng)，而低層次的字母表征持續(xù)時(shí)間相對(duì)較短。

同時(shí)，這些不同層次的表征在時(shí)間上存在重疊，即多個(gè)連續(xù)的語(yǔ)言表征會(huì)同時(shí)存在于大腦活動(dòng)中，但它們通過(guò)動(dòng)態(tài)神經(jīng)編碼機(jī)制在不同的神經(jīng)子空間中進(jìn)行表示，從而避免了相互干擾。

這不僅進(jìn)一步支持了語(yǔ)言理論中的層級(jí)預(yù)測(cè)，而且說(shuō)明語(yǔ)言產(chǎn)生過(guò)程中的各個(gè)層次表征之間存在著復(fù)雜而有序的時(shí)間關(guān)系和神經(jīng)機(jī)制。

相關(guān)研究始于2016年

事實(shí)上，早在2016年，還是Facebook的Meta就開始了腦機(jī)接口研究。

不過(guò)這一消息是官方到2017年才透露的。

當(dāng)時(shí)聲稱，一年前Facebook啟動(dòng)了一個(gè)名為Building 8的特別團(tuán)隊(duì)，專注于開發(fā)非侵入性腦機(jī)接口，并稍稍分享了正在進(jìn)行中的六個(gè)項(xiàng)目當(dāng)中的兩個(gè)。

比如大腦讀取帽子這項(xiàng)計(jì)劃，使用者只需思考就可以用它來(lái)發(fā)短信；又或者開發(fā)一種可穿戴設(shè)備（比如一條臂帶），讓人們能夠通過(guò)皮膚“聽到”詞語(yǔ)。

然而，根據(jù)國(guó)外相關(guān)報(bào)道，由于遇到技術(shù)障礙，上述項(xiàng)目在進(jìn)行四年后以失敗告終。

而現(xiàn)在，通過(guò)與西班牙的一個(gè)研究中心展開合作，Meta終于在這上面取得新進(jìn)展。

此外，根據(jù)Meta公告，他們還將向一家法國(guó)知名醫(yī)療機(jī)構(gòu)Rothschild Foundation Hospital（在神經(jīng)介入領(lǐng)域有豐富經(jīng)驗(yàn)）捐贈(zèng)220萬(wàn)美元，繼續(xù)相關(guān)研究。

而且不難看出，他們和歐洲多個(gè)研究機(jī)構(gòu)均展開了廣泛合作。

回到研究本身，整體而言，按Meta自己的話來(lái)說(shuō)：

最新結(jié)果縮小了侵入性和非侵入性方法之間的差距，從而為開發(fā)安全的腦機(jī)接口開辟了道路，以幫助無(wú)法溝通的患者。

不過(guò)，提高準(zhǔn)確性仍是未來(lái)關(guān)鍵。

論文：
https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/https://ai.meta.com/research/publications/from-thought-to-action-how-a-hierarchy-of-neural-dynamics-supports-language-production/