?大數(shù)據(jù)文摘作品

作者：Miggy

對(duì)于癱瘓患者來(lái)說(shuō)，最大的苦楚來(lái)自無(wú)法與外界進(jìn)行溝通。雖然大腦依然活躍并且希望表達(dá)，但是無(wú)法驅(qū)動(dòng)發(fā)聲肌肉，會(huì)讓這類(lèi)患者的語(yǔ)言機(jī)制逐漸蛻化。

來(lái)自加州大學(xué)舊金山分校神經(jīng)外科主任Edward Chang正在為失去說(shuō)話能力的人開(kāi)發(fā)腦機(jī)接口技術(shù)。他的實(shí)驗(yàn)室致力于解碼與聲道命令相關(guān)的大腦信號(hào)，并通過(guò)神經(jīng)植入物，將大腦的語(yǔ)言機(jī)能，通過(guò)計(jì)算機(jī)輸出出來(lái)。該項(xiàng)目不僅需要當(dāng)今最好的神經(jīng)技術(shù)硬件，還需要強(qiáng)大的機(jī)器學(xué)習(xí)模型。

最近，這一技術(shù)也取得了長(zhǎng)足的進(jìn)步，讓一位因癱瘓“失聲”15年的患者利用電腦開(kāi)始了與外界的交流。Chang也將這一技術(shù)過(guò)程記錄了下來(lái)，發(fā)布在IEEE上。

一起來(lái)看看。

讓一顆15年沒(méi)有說(shuō)話的大腦“開(kāi)口

電腦屏幕上顯示“你要喝點(diǎn)水嗎？”這個(gè)問(wèn)題。下面，三個(gè)小點(diǎn)正在閃爍，隨后一行字出現(xiàn)：“不，我不渴?！?/p>

大腦的活動(dòng)讓溝通發(fā)生——值得一提的是，發(fā)出這段對(duì)話的，是一個(gè)超過(guò) 15 年沒(méi)有說(shuō)話的失聲者的大腦。15年前，由于一次中風(fēng)，他的大腦和身體其他部位就“斷聯(lián)”了，這位患者與外界的溝通從此停擺。他嘗試使用許多新技術(shù)嘗試與外界交流；最近，他使用附在棒球帽上的指針在觸摸屏上敲擊單詞，這種方法有效但速度慢。

最近，這位患者自愿參加了 我的研究小組在舊金山加利福尼亞大學(xué)的臨床試驗(yàn)，希望能探索一種更快的溝通方法。到目前為止，他只在研究期間可以利用大腦產(chǎn)生文字的這套技術(shù)系統(tǒng)，但他希望幫助將這項(xiàng)技術(shù)開(kāi)發(fā)成像他這樣的人可以在日常生活中使用的東西。

在我們的試點(diǎn)研究中，這位志愿者的大腦表面覆蓋了一個(gè)薄而靈活的電極陣列。電極記錄神經(jīng)信號(hào)并將它們發(fā)送到語(yǔ)音解碼器，語(yǔ)音解碼器將信號(hào)翻譯成他想說(shuō)的話。這是無(wú)法說(shuō)話的癱瘓者第一次使用神經(jīng)技術(shù)從大腦中“廣播”出整個(gè)單詞，而不僅僅是字母。

該試驗(yàn)是十多年來(lái)對(duì)支配言語(yǔ)的潛在大腦機(jī)制研究的成果，我們?yōu)槠駷橹顾〉玫某删透械綗o(wú)比自豪。但我們才剛剛開(kāi)始。我在 UCSF的實(shí)驗(yàn)室正在與世界各地的同事合作，使這項(xiàng)技術(shù)足夠安全、穩(wěn)定和可靠，足以滿足家庭日常使用。我們還在努力提高系統(tǒng)的性能，因此值得付出努力。

第一個(gè)版本的腦機(jī)接口給了志愿者一個(gè)包含 50 個(gè)實(shí)用單詞的詞匯。

神經(jīng)植入物如何工作？

在過(guò)去的二十年里，神經(jīng)植入物技術(shù)取得了長(zhǎng)足的進(jìn)步。用于聽(tīng)力的假體植入物發(fā)展得最遠(yuǎn)，其設(shè)計(jì)與內(nèi)耳的耳蝸神經(jīng)接口或直接進(jìn)入聽(tīng)覺(jué)腦干。還有大量關(guān)于視網(wǎng)膜和大腦植入物的研究，以及為假手提供觸覺(jué)的努力。所有這些感官假肢都從外部世界獲取信息，并將其轉(zhuǎn)換為電信號(hào)，輸入大腦的處理中心。

上周，文摘菌還報(bào)道了一篇通過(guò)植入物幫助嗅覺(jué)失靈的患者重新感到味覺(jué)的案例。

另一類(lèi)神經(jīng)假肢記錄大腦的電活動(dòng)并將其轉(zhuǎn)換為控制外部世界的信號(hào)，例如 機(jī)械臂、視頻游戲控制器或計(jì)算機(jī)屏幕上的光標(biāo)。BrainGate 聯(lián)盟等組織已使用最后一種控制方式來(lái)讓癱瘓的人輸入單詞——有時(shí)一次輸入一個(gè)字母，有時(shí)使用自動(dòng)完成功能來(lái)加快輸入速度。

這類(lèi)通過(guò)大腦進(jìn)行打字的技術(shù)并非首創(chuàng)，不過(guò)，研究者通常將植入物放置在運(yùn)動(dòng)皮層，也即是控制運(yùn)動(dòng)的大腦部分。然后通過(guò)用戶想象某些物理動(dòng)作來(lái)控制在虛擬鍵盤(pán)上移動(dòng)的光標(biāo)。另一種方法是我的一些合作者在 2021 年的一篇論文中首創(chuàng)的，它讓一個(gè)用戶想象他正拿著筆在紙上寫(xiě)信，在運(yùn)動(dòng)皮層中產(chǎn)生信號(hào)，這些信號(hào)被翻譯成文本。這種方法的打字速度誕生了新的記錄，使志愿者每分鐘可以寫(xiě)大約 18 個(gè)單詞。

在我們最新的實(shí)驗(yàn)室研究中，我們采取了更高效率的方法。我們不是解碼用戶移動(dòng)光標(biāo)或筆的意圖，而是解碼控制聲道的意圖，包括控制喉部（通常稱(chēng)為語(yǔ)音盒）、舌頭和嘴唇的數(shù)十塊肌肉。

對(duì)于癱瘓的人來(lái)說(shuō)，看似簡(jiǎn)單的對(duì)話設(shè)置是由復(fù)雜的神經(jīng)技術(shù)硬件和解碼他的大腦信號(hào)的機(jī)器學(xué)習(xí)系統(tǒng)實(shí)現(xiàn)的。

十多年前，我開(kāi)始在這個(gè)領(lǐng)域工作。作為一名神經(jīng)外科醫(yī)生，我經(jīng)常會(huì)看到嚴(yán)重受傷導(dǎo)致無(wú)法說(shuō)話的患者。令我驚訝的是，在許多情況下，腦損傷的位置與我在醫(yī)學(xué)院學(xué)到的綜合征不匹配，我意識(shí)到我們?nèi)匀恍枰獙W(xué)習(xí)很多關(guān)于大腦如何處理語(yǔ)言的知識(shí)。我決定研究語(yǔ)言的潛在神經(jīng)生物學(xué)，如果可能的話，開(kāi)發(fā)一種腦機(jī)接口 (BMI) 來(lái)恢復(fù)失去語(yǔ)言的人的交流。除了我的神經(jīng)外科背景外，我的團(tuán)隊(duì)還擁有語(yǔ)言學(xué)、電氣工程、計(jì)算機(jī)科學(xué)、生物工程和醫(yī)學(xué)方面的專(zhuān)業(yè)知識(shí)。

肌肉如何幫你說(shuō)話?

語(yǔ)言是使 人類(lèi)與眾不同的能力之一。很多其他物種都會(huì)發(fā)聲，但只有人類(lèi)以無(wú)數(shù)不同的方式組合了一組聲音來(lái)表達(dá)。這也是一種非常復(fù)雜的運(yùn)動(dòng)行為——一些專(zhuān)家認(rèn)為這是人們執(zhí)行的最復(fù)雜的運(yùn)動(dòng)行為。說(shuō)話是通過(guò)聲道的調(diào)制氣流的產(chǎn)物；我們通過(guò)在喉部聲帶中產(chǎn)生可聽(tīng)見(jiàn)的振動(dòng)并改變嘴唇、下巴和舌頭的形狀來(lái)塑造呼吸。

聲道的許多肌肉與基于關(guān)節(jié)的肌肉（例如手臂和腿部的肌肉）完全不同，后者只能以幾種規(guī)定的方式移動(dòng)。例如，控制嘴唇的肌肉是括約肌，而構(gòu)成舌頭的肌肉更多地受液壓控制——舌頭主要由固定體積的肌肉組織組成，因此移動(dòng)舌頭的一部分會(huì)改變其形狀別處。控制這些肌肉運(yùn)動(dòng)的物理原理與二頭肌或腘繩肌完全不同。

因?yàn)樯婕暗募∪馊绱酥?，并且它們每一個(gè)都有如此多的自由度，所以基本上有無(wú)數(shù)種可能的配置。但是當(dāng)人們說(shuō)話時(shí)，事實(shí)證明他們使用的核心動(dòng)作相對(duì)較少（在不同的語(yǔ)言中會(huì)有所不同）。例如，當(dāng)說(shuō)英語(yǔ)的人發(fā)“d”音時(shí)，他們會(huì)把舌頭放在牙齒后面；當(dāng)他們發(fā)出“k”音時(shí)，他們的舌根會(huì)向上接觸到口腔后部的天花板。很少有人意識(shí)到說(shuō)出最簡(jiǎn)單的詞所需的精確、復(fù)雜和協(xié)調(diào)的肌肉動(dòng)作。

團(tuán)隊(duì)成員 David Moses 查看患者腦電波讀數(shù) [左屏幕] 和解碼系統(tǒng)活動(dòng)顯示 [右屏幕]。

我的研究小組專(zhuān)注于向面部、喉嚨、嘴巴和舌頭的肌肉發(fā)送運(yùn)動(dòng)命令的大腦運(yùn)動(dòng)皮層部分。這些大腦區(qū)域是多任務(wù)的：它們管理產(chǎn)生語(yǔ)言的肌肉運(yùn)動(dòng)，以及吞咽、微笑和接吻的相同肌肉的運(yùn)動(dòng)。

研究這些區(qū)域的神經(jīng)活動(dòng)需要毫米級(jí)的空間分辨率和毫秒級(jí)的時(shí)間分辨率。從歷史上看，無(wú)創(chuàng)成像系統(tǒng)已經(jīng)能夠提供其中之一，但不能同時(shí)提供兩者。當(dāng)我們開(kāi)始這項(xiàng)研究時(shí)，我們發(fā)現(xiàn)關(guān)于大腦活動(dòng)模式如何與最簡(jiǎn)單的語(yǔ)音組成部分相關(guān)聯(lián)的數(shù)據(jù)非常少：音素和音節(jié)。

在這里，我們要感謝我們的志愿者。在 UCSF 癲癇中心，準(zhǔn)備手術(shù)的患者通常會(huì)通過(guò)手術(shù)將電極放置在他們的大腦表面上幾天，這樣我們就可以繪制出癲癇發(fā)作時(shí)所涉及的區(qū)域。在這幾天的有線停機(jī)期間，許多患者自愿參加神經(jīng)學(xué)研究實(shí)驗(yàn)，這些實(shí)驗(yàn)利用了他們大腦中的電極記錄，讓我們能夠研究患者說(shuō)話時(shí)的神經(jīng)活動(dòng)模式。

所涉及的硬件稱(chēng)為 皮層電圖(ECoG)。ECoG 系統(tǒng)中的電極不會(huì)穿透大腦，而是位于大腦表面。我們的陣列可以包含數(shù)百個(gè)電極傳感器，每個(gè)傳感器記錄數(shù)千個(gè)神經(jīng)元。到目前為止，我們已經(jīng)使用了一個(gè)具有 256 個(gè)通道的陣列。我們?cè)谶@些早期研究中的目標(biāo)是發(fā)現(xiàn)人們說(shuō)簡(jiǎn)單音節(jié)時(shí)皮層活動(dòng)的模式。我們要求志愿者說(shuō)出特定的聲音和單詞，同時(shí)記錄他們的神經(jīng)模式并跟蹤他們的舌頭和嘴巴的運(yùn)動(dòng)。有時(shí)我們通過(guò)讓他們涂上彩色面部彩繪并使用計(jì)算機(jī)視覺(jué)系統(tǒng)提取運(yùn)動(dòng)手勢(shì)來(lái)做到這一點(diǎn)；其他時(shí)候，我們使用位于患者頜下的超聲波機(jī)器對(duì)他們移動(dòng)的舌頭進(jìn)行成像。

該系統(tǒng)從覆蓋在患者大腦上的柔性電極陣列開(kāi)始，以接收來(lái)自運(yùn)動(dòng)皮層的信號(hào)。該陣列專(zhuān)門(mén)捕獲用于患者聲道的運(yùn)動(dòng)命令。一個(gè)固定在頭骨上的端口引導(dǎo)連接到計(jì)算機(jī)系統(tǒng)的電線，該系統(tǒng)將大腦信號(hào)解碼并將其翻譯成患者想說(shuō)的話，再將他們的答案展示在顯示屏上。

我們使用這些系統(tǒng)將神經(jīng)模式與聲道的運(yùn)動(dòng)相匹配。起初，我們有很多關(guān)于神經(jīng)代碼的問(wèn)題。一種可能性是神經(jīng)活動(dòng)編碼了特定肌肉的方向，大腦本質(zhì)上就像按下鍵盤(pán)上的鍵一樣打開(kāi)和關(guān)閉這些肌肉，并且通過(guò)另一種模式?jīng)Q定肌肉收縮的速度。另一個(gè)是神經(jīng)活動(dòng)與用于產(chǎn)生某種聲音的肌肉收縮的協(xié)調(diào)模式相對(duì)應(yīng)。（例如，要發(fā)出“aaah”的聲音，舌頭和下巴都需要下垂。）我們發(fā)現(xiàn)，有一個(gè)表示圖可以控制聲道的不同部分，以及不同的大腦區(qū)域。我們可以將二者結(jié)合起來(lái)，以產(chǎn)生流利的言語(yǔ)。

人工智能在當(dāng)今神經(jīng)技術(shù)中的效用

我們的工作取決于過(guò)去十年人工智能的進(jìn)步。我們可以將收集到的關(guān)于神經(jīng)活動(dòng)和語(yǔ)音運(yùn)動(dòng)學(xué)的數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，然后讓機(jī)器學(xué)習(xí)算法在兩個(gè)數(shù)據(jù)集之間的關(guān)聯(lián)中找到模式，進(jìn)而在神經(jīng)活動(dòng)和產(chǎn)生的語(yǔ)音之間建立聯(lián)系，并使用這個(gè)模型來(lái)產(chǎn)生計(jì)算機(jī)生成的語(yǔ)音或文本。但是這種技術(shù)無(wú)法為癱瘓的人訓(xùn)練算法，因?yàn)槲覀內(nèi)鄙僖话氲臄?shù)據(jù)：我們有神經(jīng)模式，但沒(méi)有關(guān)于相應(yīng)的肌肉運(yùn)動(dòng)。

我們意識(shí)到，使用機(jī)器學(xué)習(xí)的更聰明的方法是將問(wèn)題分為兩個(gè)步驟。首先，解碼器將來(lái)自大腦的信號(hào)翻譯成聲道肌肉的預(yù)期運(yùn)動(dòng)，然后將這些預(yù)期運(yùn)動(dòng)翻譯成合成語(yǔ)音或文本。

我們稱(chēng)其為仿生方法，因?yàn)樗鼜?fù)制了生物學(xué)的運(yùn)動(dòng)模式；在人體中，神經(jīng)活動(dòng)直接負(fù)責(zé)聲道的運(yùn)動(dòng)，僅間接負(fù)責(zé)發(fā)出的聲音。這種方法的一大優(yōu)勢(shì)在于訓(xùn)練解碼器將肌肉運(yùn)動(dòng)轉(zhuǎn)化為聲音的第二步。因?yàn)槁暤肋\(yùn)動(dòng)和聲音之間的關(guān)系更容易獲取，我們能夠在來(lái)自未癱瘓的人的大型數(shù)據(jù)集上訓(xùn)練解碼器。

下一個(gè)重大挑戰(zhàn)是將技術(shù)帶給真正可以從中受益的人。

美國(guó)國(guó)立衛(wèi)生研究院 (NIH) 正在資助 我們的試點(diǎn)試驗(yàn)，該試驗(yàn)于 2021 年開(kāi)始。我們已經(jīng)有兩名植入了 ECoG 陣列的癱瘓志愿者，我們希望在未來(lái)幾年招募更多人。主要目標(biāo)是改善他們的溝通，我們以每分鐘字?jǐn)?shù)來(lái)衡量績(jī)效。使用全鍵盤(pán)打字的成年人平均每分鐘可以輸入 40 個(gè)單詞，最快的打字員可以達(dá)到每分鐘 80 個(gè)單詞以上的速度。

未來(lái)：用聲音代替文字輸出

我們認(rèn)為，利用語(yǔ)音系統(tǒng)說(shuō)話的效果會(huì)更好。人類(lèi)講話比打字快得多：說(shuō)英語(yǔ)的人一分鐘可以輕松地說(shuō)出 150 個(gè)單詞。我們想讓癱瘓的人以每分鐘 100 字的速度進(jìn)行交流。為了實(shí)現(xiàn)這一目標(biāo)，我們還有很多工作要做。

植入程序和其他的植入物類(lèi)似。首先，外科醫(yī)生切除一小部分顱骨；接下來(lái)，將柔性 ECoG 陣列輕輕放置在皮層表面。然后將一個(gè)小端口固定在顱骨上，并通過(guò)頭皮上的一個(gè)單獨(dú)開(kāi)口離開(kāi)。我們目前需要這個(gè)端口，它連接到外部電線以從電極傳輸數(shù)據(jù)，但我們希望將來(lái)使系統(tǒng)無(wú)線化。

我們考慮使用穿透性微電極，因?yàn)樗鼈兛梢杂涗涊^小的神經(jīng)群體，因此可以提供有關(guān)神經(jīng)活動(dòng)的更多細(xì)節(jié)。但目前的硬件在臨床應(yīng)用中不如 ECoG 強(qiáng)大和安全。

另一個(gè)考慮因素是，穿透電極通常需要每天重新校準(zhǔn)才能將神經(jīng)信號(hào)轉(zhuǎn)化為清晰的命令，而對(duì)神經(jīng)設(shè)備的研究表明，設(shè)置速度和性能可靠性是讓人們使用該技術(shù)的關(guān)鍵。這就是為什么我們?cè)?創(chuàng)建長(zhǎng)期使用的“即插即用”系統(tǒng)時(shí)優(yōu)先考慮穩(wěn)定性的原因。我們進(jìn)行了一項(xiàng)研究，觀察志愿者的神經(jīng)信號(hào)隨時(shí)間的變化，發(fā)現(xiàn)如果解碼器使用多個(gè)會(huì)話和多天的數(shù)據(jù)模式，它的性能會(huì)更好。在機(jī)器學(xué)習(xí)的術(shù)語(yǔ)中，我們說(shuō)解碼器的“權(quán)重”被繼承，產(chǎn)生了整合的神經(jīng)信號(hào)。

因?yàn)槲覀兊陌c瘓志愿者在我們觀察他們的大腦模式時(shí)不能說(shuō)話，所以我們要求我們的第一位志愿者嘗試兩種不同的方法。他首先列出了 50 個(gè)對(duì)日常生活很方便的單詞，例如“餓”、“口渴”、“請(qǐng)”、“幫助”和“計(jì)算機(jī)”。在幾個(gè)月的 48 次會(huì)議中，我們有時(shí)要求他想象說(shuō)出清單上的每個(gè)單詞，有時(shí)要求他開(kāi)口嘗試“說(shuō)出”這些單詞。我們發(fā)現(xiàn)嘗試說(shuō)話會(huì)產(chǎn)生更清晰的大腦信號(hào)，并且足以訓(xùn)練解碼算法。然后志愿者可以使用列表中的這些單詞來(lái)生成他自己選擇的句子，例如“不，我不口渴”。

我們現(xiàn)在正在努力擴(kuò)大詞匯量。為了實(shí)現(xiàn)這一目標(biāo)，我們需要繼續(xù)改進(jìn)當(dāng)前的算法和界面，但我相信這些改進(jìn)將在未來(lái)幾個(gè)月和幾年內(nèi)發(fā)生?，F(xiàn)在已經(jīng)建立了原理證明，目標(biāo)是優(yōu)化。我們可以專(zhuān)注于讓我們的系統(tǒng)更快、更準(zhǔn)確，并且——最重要的是——更安全、更可靠。現(xiàn)在事情應(yīng)該進(jìn)展得很快。

如果我們能夠更好地了解我們?cè)噲D解碼的大腦系統(tǒng)，以及癱瘓如何改變它們的活動(dòng)，那么最大的突破可能會(huì)到來(lái)。我們已經(jīng)意識(shí)到，無(wú)法向聲道肌肉發(fā)送指令的癱瘓患者的神經(jīng)模式與能夠發(fā)送指令的癲癇患者的神經(jīng)模式截然不同。我們正在嘗試一項(xiàng)雄心勃勃的 BMI 工程壯舉，同時(shí)還有很多關(guān)于潛在神經(jīng)科學(xué)的知識(shí)需要了解。我們相信，這一切都會(huì)匯聚在一起，讓我們的患者交流的能力。

素材來(lái)源：https://spectrum.ieee.org/brain-computer-interface-speech?