為了構(gòu)建這一設(shè)備，神經(jīng)生物學(xué)家需要理解大腦如何編碼信息。其中一個(gè)關(guān)鍵方面是，研究人們?cè)谟^看視頻時(shí)感知視覺(jué)信息的大腦活動(dòng)過(guò)程。

現(xiàn)有的解決方案是，要么使用功能磁共振成像來(lái)提取觀察到的圖像，要么通過(guò)植入物直接分析來(lái)自神經(jīng)元的信號(hào)。兩種方法在臨床和日常生活中的應(yīng)用都非常有限。

俄羅斯研究者開(kāi)發(fā)的這種腦機(jī)接口依賴的是人工神經(jīng)網(wǎng)絡(luò)和腦電圖（EEG），后者是一種可以通過(guò)非侵入式電極（無(wú)需手術(shù)植入）記錄腦電波的技術(shù)。通過(guò)分析大腦活動(dòng)，該系統(tǒng)可以實(shí)時(shí)重現(xiàn)人類看到的圖像。

「我們正在進(jìn)行國(guó)家技術(shù)計(jì)劃（National Technology Initiative）神經(jīng)網(wǎng)絡(luò)輔助技術(shù)項(xiàng)目，該項(xiàng)目致力于構(gòu)建一種腦機(jī)接口，讓中風(fēng)患者控制手臂外骨骼、癱瘓患者駕駛電動(dòng)輪椅等，最終目標(biāo)是讓健康的人也能提高神經(jīng)控制的準(zhǔn)確率，」MIPT Neurorobotics 實(shí)驗(yàn)室負(fù)責(zé)人 Vladimir Konyshev 表示。

技術(shù)細(xì)節(jié)

該腦機(jī)接口的構(gòu)建實(shí)驗(yàn)共分為兩個(gè)階段。

在第一階段，神經(jīng)生物學(xué)家讓健康的人觀看一些 10 秒的 YouTube 視頻片段，總共 20 分鐘。研究團(tuán)隊(duì)隨機(jī)選擇了 5 個(gè)視頻類別：抽象形態(tài)、瀑布、人臉、移動(dòng)的裝置和汽車運(yùn)動(dòng)。

通過(guò)分析腦電圖數(shù)據(jù)，研究者發(fā)現(xiàn)，每一類視頻的腦電波是不同的。這使得研究小組能夠?qū)崟r(shí)分析大腦對(duì)于視頻的反應(yīng)。

在實(shí)驗(yàn)的第二階段，研究者從五個(gè)類別中隨機(jī)選擇了三個(gè)類別并開(kāi)發(fā)了一個(gè)本地反饋（native feedback）模型，反饋模型的核心思想是將腦機(jī)接口分類器的預(yù)測(cè)結(jié)果以自然圖像的形式呈現(xiàn)出來(lái)，而且要盡可能與實(shí)際觀察到的圖像接近。

該模型分為兩個(gè)神經(jīng)網(wǎng)絡(luò)：一個(gè)用于從「噪聲」中生成隨機(jī)特定類別圖像，另一個(gè)根據(jù)腦電圖生成類似的「噪聲」。接下來(lái)，該團(tuán)隊(duì)訓(xùn)練這兩個(gè)網(wǎng)絡(luò)協(xié)同工作，將腦電圖信號(hào)轉(zhuǎn)換為與被試觀看內(nèi)容相似的實(shí)際圖像。

論文中提到的本地反饋模型如下圖所示。

圖 2：本地反饋模型的總體方案。

將降維后得到的 20 維腦電圖特征向量映射到預(yù)先訓(xùn)練好的圖像自編碼器的潛在空間中，這個(gè)自編碼器能夠重建幾個(gè)預(yù)學(xué)習(xí)類別的自然圖像。圖像解碼器不依賴于任何神經(jīng)生理學(xué)數(shù)據(jù)，僅考慮一組刺激圖像即可進(jìn)行預(yù)訓(xùn)練。特征映射器是單獨(dú)訓(xùn)練的，因?yàn)樗刃枰X電圖特征庫(kù)，也需要一個(gè)訓(xùn)練好的圖像解碼器。

圖像解碼器

圖像解碼器（ID）是圖像到圖像卷積自編碼器模型的一部分。編碼器部分基于預(yù)訓(xùn)練的 VGG-11 模型。解碼器部分由全連接輸入層組成，用于維度增強(qiáng)，然后是 5 個(gè)解卷積塊，每個(gè)解卷積塊包含一個(gè)解卷積層，然后是 ReLU 激活。最后的解卷積塊包含雙曲正切激活層。解碼器生成 192×192×3 維的彩色圖像（見(jiàn)圖 3a）。

圖 3. 圖像解碼器.a）模型結(jié)構(gòu)；b）常規(guī)訓(xùn)練

除了圖像重建之外，解碼器還有一個(gè)特定的潛在空間分布。他們通過(guò)引入一個(gè)圖 3（b）所示的訓(xùn)練過(guò)程來(lái)解決這個(gè)問(wèn)題。

腦電圖特征映射器

腦電圖特征映射器的目標(biāo)是將腦電圖特征域的數(shù)據(jù)轉(zhuǎn)換成圖像解碼器潛在空間域。在理想狀態(tài)下，觀察到的圖像和此時(shí)的腦電圖記錄最終會(huì)轉(zhuǎn)換為同一個(gè)潛在空間矢量圖，因此解碼器能夠根據(jù)剛才看到或想象的場(chǎng)景去生成一個(gè)正確的視覺(jué)圖像。

另一個(gè)問(wèn)題是如何應(yīng)對(duì)嘈雜的數(shù)據(jù)：由于存在未檢測(cè)到的偽像，或者被攝對(duì)象分散注意力，實(shí)時(shí)記錄場(chǎng)景中的腦電圖信號(hào)屬性可能會(huì)發(fā)生顯著變化。此時(shí)反饋系統(tǒng)應(yīng)避免出現(xiàn)混亂的圖像切換，以免給觀察對(duì)象太多的壓力。

人類腦中的圖像是連續(xù)數(shù)據(jù)，所以使用循環(huán)神經(jīng)網(wǎng)絡(luò)就變得順理成章了——新的算法使用了 LSTM 組件作為循環(huán)單元。此外，研究人員還整合了注意力機(jī)制。

圖 4，腦電圖特征映射。a）模型結(jié)構(gòu)；b）訓(xùn)練方法。

測(cè)試結(jié)果

為了測(cè)試該系統(tǒng)呈現(xiàn)頭腦活動(dòng)的能力，研究者選了一些同一類的以前看過(guò)的視頻。正如他們看到的那樣，腦電圖被記錄下來(lái)，然后反饋給神經(jīng)網(wǎng)絡(luò)。系統(tǒng)通過(guò)了測(cè)試，生成了具有可信度的圖像，90% 都可以很輕松地進(jìn)行分類。

和大多數(shù) AI 算法一樣，研究人員提出的神經(jīng)網(wǎng)絡(luò)模型是用 Python 實(shí)現(xiàn)的，運(yùn)行的計(jì)算機(jī)也只需普通臺(tái)式機(jī)：英特爾 i7 處理器，英偉達(dá) GeForce 1050Ti 顯卡。在讀取的過(guò)程中，算法可以處理每秒 3 幀圖像。通常，在分類上約有 90% 的重建圖像是可識(shí)別的程度。

「此外，我們可以把這個(gè)當(dāng)作實(shí)時(shí)腦機(jī)接口的基礎(chǔ)。在當(dāng)前的技術(shù)條件下，Elon Musk 那樣的侵入式接口存在手術(shù)性質(zhì)復(fù)雜和快速退化的問(wèn)題——基本上幾個(gè)月內(nèi)就失效了。我們希望可以最終設(shè)計(jì)出更實(shí)用也不需要植入的神經(jīng)接口?！寡芯空哐a(bǔ)充道。