挑戰(zhàn)馬斯克Neuralink!斯坦福全新腦機(jī)接口,直連大腦和硅基芯片
最近,斯坦福大學(xué)的研究人員開發(fā)出一種新的腦機(jī)接口設(shè)備,可以將大腦直接與硅基技術(shù)連接起來(lái)。 雖然腦機(jī)接口設(shè)備早已經(jīng)存在,并用于修復(fù)術(shù)、疾病治療和腦研究,但這種最新的設(shè)備可以記錄更多的數(shù)據(jù),同時(shí)比現(xiàn)有的設(shè)備侵入性更小。
斯坦福大學(xué)材料科學(xué)與工程專業(yè)的研究生 Abdulmalik Obaid 說(shuō),“以前沒(méi)有人把這些 2D 硅電子器件與大腦的三維結(jié)構(gòu)相匹配,我們必須拋棄我們已經(jīng)知道的傳統(tǒng)芯片制造方法,設(shè)計(jì)新的工藝,將硅電子技術(shù)帶入三維空間,我們必須以一種容易大規(guī)模應(yīng)用的方式來(lái)實(shí)現(xiàn)這一目標(biāo)。”
Abdulmalik Obaid (左)、Nick Melosh與他們的微線陣列
革新設(shè)計(jì)方法,可大規(guī)模記錄神經(jīng)元活動(dòng)影像
3 月 20 日《科學(xué)進(jìn)展》雜志上發(fā)表了該論文,論文中的腦機(jī)接口裝置包含一束微電線,每根電線的寬度不到人類最細(xì)頭發(fā)的一半。這些細(xì)細(xì)的導(dǎo)線可以輕輕地插入大腦,并在外部直接連接到一個(gè)硅芯片上,記錄每根導(dǎo)線傳遞的大腦電信號(hào),就像拍攝神經(jīng)電活動(dòng)的電影一樣。目前版本的設(shè)備包括數(shù)百微導(dǎo)線,但未來(lái)版本可能包含數(shù)千微導(dǎo)線。
(a)與微線束集成的 CMOS 芯片原理圖。該線束包括一個(gè)用于與 CMOS 像素接觸的近端(芯片)(b)和一個(gè)用于記錄組織活動(dòng)的遠(yuǎn)端(腦)(c),近端具有部分暴露的金屬線以接觸芯片,而遠(yuǎn)端線被分離以限制插入時(shí)的損傷。(d)一束有 800 條微導(dǎo)線的線束,相互間隔 100 微米,設(shè)備寬度小于 0.6 厘米,適用于小動(dòng)物研究。
電信號(hào)是觀察大腦活動(dòng)的最有效的途徑,斯坦福大學(xué)材料科學(xué)與工程教授、論文的合著者 Nick Melosh 說(shuō), “有了這個(gè)微線陣列,我們可以看到在單個(gè)神經(jīng)元水平上發(fā)生了什么。”
微線陣列的特寫鏡頭
這個(gè)裝置的頂部裝有一個(gè)硅芯片,底部的電線輕輕地插入大腦,可以幫助研究人員拍攝神經(jīng)元的活動(dòng)。
研究人員面臨的一個(gè)主要挑戰(zhàn)是如何構(gòu)建這個(gè)陣列。它必須堅(jiān)固耐用,即使它的主要組成部分是數(shù)以百計(jì)的細(xì)線。解決辦法是將每根電線用一種生物安全的聚合物包起來(lái),然后將它們捆在一個(gè)金屬圈內(nèi)。
現(xiàn)有的腦機(jī)接口設(shè)備限于 100 條導(dǎo)線,提供 100 個(gè)通道的信號(hào),每一條都必須手工精心地放置在陣列中。
研究人員通常要花好幾年才能完成陣列的設(shè)計(jì)和制作,而斯坦福這次的設(shè)計(jì)完全不同于任何現(xiàn)有的高密度記錄設(shè)備,陣列的形狀、大小和密度在制造過(guò)程中可以方便地改變。“幾乎可以用任何 3D 陣列同時(shí)記錄不同深度的不同大腦區(qū)域”,神經(jīng)外科和神經(jīng)病學(xué)助理教授、論文合著者 Jun Ding 說(shuō)。“如果廣泛應(yīng)用,這項(xiàng)技術(shù)將大大提高我們對(duì)健康和疾病狀態(tài)下大腦功能的理解。”
在對(duì)小鼠視網(wǎng)膜進(jìn)行了初步測(cè)試后,研究人員也在進(jìn)行長(zhǎng)期跟蹤,以檢查該陣列的耐久性和大規(guī)模版本的性能。如果該技術(shù)驗(yàn)證可行,將有助于提高機(jī)械假肢的性能、幫助恢復(fù)語(yǔ)言和視力等。
腦機(jī)接口到底是什么
腦機(jī)接口=“腦”+“機(jī)”+“接口” ,即在人或動(dòng)物腦(或者腦細(xì)胞的培養(yǎng)物)與外部設(shè)備間創(chuàng)建的用于信息交換的通路。
電影《阿凡達(dá)》中主人公利用一個(gè)機(jī)器直接將自己的心智移植到了另一個(gè)非人類身體上,能隨心所欲操控這具非人類的身體,具備所有的感知能力與操控力,展現(xiàn)了腦機(jī)接口的主要功能。
腦機(jī)接口的幾個(gè)基礎(chǔ)模塊:
采集:
- 侵入式:此類腦機(jī)接口通常直接植入到大腦的灰質(zhì),因而所獲取的神經(jīng)信號(hào)的質(zhì)量比較高。但其缺點(diǎn)是容易引發(fā)免疫反應(yīng)和愈傷組織(疤),進(jìn)而導(dǎo)致信號(hào)質(zhì)量的衰退甚至消失。斯坦福的研究屬于此類。
- 部分侵入式:接口一般植入到顱腔內(nèi),但是位于灰質(zhì)外。其空間分辨率不如侵入式腦機(jī)接口,但是優(yōu)于非侵入式。其另一優(yōu)點(diǎn)是引發(fā)免疫反應(yīng)和愈傷組織的幾率較小。主要是基于皮層腦電圖(ECoG)進(jìn)行信息分析。
- 非侵入式:就是不進(jìn)入大腦,就像帽子一樣方便佩戴于人體,但是由于顱骨對(duì)信號(hào)的衰減作用和對(duì)神經(jīng)元發(fā)出的電磁波的分散和模糊效應(yīng),記錄到信號(hào)的分辨率并不高。這種信號(hào)波仍可被檢測(cè)到,但很難確定發(fā)出信號(hào)的腦區(qū)或者相關(guān)的單個(gè)神經(jīng)元的放電。
解碼:數(shù)學(xué)上一般會(huì)用 PCA 主成分分析和獨(dú)立成分分析 ICA 等處理干擾信號(hào),EGG 腦電圖,皮層腦電圖(ECoG)等模型來(lái)分析。
再編碼:如何編碼取決于你希望做的事情。比如控制機(jī)械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機(jī)械臂的運(yùn)動(dòng)信號(hào)。
相關(guān)鏈接:https://zhuanlan.zhihu.com/p/26057046
500美元玩轉(zhuǎn)馬斯克鐘愛的腦機(jī)接口!
馬斯克(Elon Musk)的 Neuralink 公司最新的腦機(jī)接口技術(shù),分為以下四個(gè)方面:
- 線程(Threads)—— 來(lái)自美國(guó)國(guó)家實(shí)驗(yàn)室的 Vanessa Tolosa 研發(fā)的單根多觸點(diǎn)柔性電極。
- 機(jī)器人(Robots)—— 將 Threads 植入皮層的手術(shù)機(jī)器人。
- 元件(Electronics)—— 將記錄到的信號(hào)進(jìn)行濾波,數(shù)模轉(zhuǎn)換和脈沖檢測(cè)(spike detection)的電子元件,代表技術(shù)為 DJ Seo 的 N1 傳感器,DJ Seo 之前在加州大學(xué)伯克利分校做 Neural dust 項(xiàng)目。
- 算法(Algorithms)—— 腦機(jī)接口算法,由加利福尼亞大學(xué)舊金山分校教授 Philip Sabes 教授開發(fā)。
其中部分是 Philip Sabes 在負(fù)責(zé)。Sabes 名校出身,在劍橋大學(xué)學(xué)過(guò)兩年數(shù)學(xué),博士畢業(yè)于麻省理工,之后在加州理工做博士后,現(xiàn)在在加州大學(xué)舊金山分校做教授,算是地地道道的神經(jīng)科學(xué)專家。
圖片來(lái)源:https://profiles.ucsf.edu/philip.sabes
Neuralink 計(jì)劃將電極植入大腦皮層中負(fù)責(zé)軀體運(yùn)動(dòng)控制的初級(jí)運(yùn)動(dòng)皮層(Primary motor cortex)、背側(cè)前運(yùn)動(dòng)皮層(Dorsal premotor cortex)、輔助運(yùn)動(dòng)區(qū)(Supplementary motor area)和負(fù)責(zé)軀體感覺(jué)的軀體感覺(jué)皮層(Somatosensory cortex)這幾個(gè)位置。
圖片來(lái)源:Neuralink 發(fā)布會(huì)
來(lái)自英特爾的軟件工程師、加州大學(xué)戴維斯分校的CS專業(yè)和生物學(xué)輔導(dǎo)員、技術(shù)和人工智能愛好者Jag Singh利用OpenBCI Ganglion板,僅僅花費(fèi)500美元,就能獲得與麻省理工學(xué)院團(tuán)隊(duì)已經(jīng)擁有的版本沒(méi)有太大區(qū)別的體驗(yàn),可用于導(dǎo)航,網(wǎng)頁(yè)查詢,短信,智能家居管理或任何數(shù)量的例行任務(wù)。
挑戰(zhàn)馬斯克腦機(jī)接口!俄羅斯最強(qiáng)讀心術(shù),通過(guò)腦電波知道你在看什么
俄羅斯公司Neurobotics和莫斯科物理與技術(shù)學(xué)院(MIPT)的研究人員共同完成。他們開發(fā)出一種腦機(jī)接口,依賴于人工神經(jīng)網(wǎng)絡(luò)和和腦電圖(EEG)。EEG是一種通過(guò)放置在頭皮上的電極記錄腦電波的技術(shù)。該系統(tǒng)通過(guò)分析大腦活動(dòng),實(shí)時(shí)重建正在接受腦電圖檢查的人所看到的圖像。效果如下:
研究人員開發(fā)了一個(gè)深度學(xué)習(xí)模型,該模型由兩個(gè)單獨(dú)訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)組成,其中一個(gè)用于解碼不同類別的圖像,第二個(gè)將腦電圖特征轉(zhuǎn)換為圖像解碼器的空間域(spatial domain) 。
在實(shí)驗(yàn)的第一部分,神經(jīng)生物學(xué)家讓健康的受試者觀看10秒的YouTube視頻片段,總時(shí)長(zhǎng)為20分鐘。
該小組選擇了五個(gè)視頻類別。通過(guò)對(duì)腦電圖數(shù)據(jù)的分析,研究人員發(fā)現(xiàn)每一類視頻的腦電波模式都是不同的。這使得研究小組能夠?qū)崟r(shí)分析大腦對(duì)視頻的反應(yīng)。
在實(shí)驗(yàn)的第二階段,從最初的五個(gè)類別中隨機(jī)選出三個(gè)類別。研究人員開發(fā)了兩種神經(jīng)網(wǎng)絡(luò):一種用于從“噪聲”中生成隨機(jī)類別特定圖像,另一種用于從腦電圖中生成類似的“噪聲”。然后,該團(tuán)隊(duì)訓(xùn)練了網(wǎng)絡(luò),使其能夠以將EEG信號(hào)轉(zhuǎn)換為類似于測(cè)試對(duì)象所觀察到的實(shí)際圖像的方式共同運(yùn)行。
腦機(jī)接口(BCI)系統(tǒng)的操作算法
用意念控制電子設(shè)備!NextMind推出399美元腦機(jī)接口開發(fā)套件
NextMind正在開發(fā)一種大腦計(jì)算機(jī)接口,該接口可將視覺(jué)皮層的信號(hào)轉(zhuǎn)換為數(shù)字命令,從而可以讓用戶在視覺(jué)上將命令輸入到計(jì)算機(jī)和AR/VR耳機(jī)中,并以399美元的價(jià)格向擁有內(nèi)測(cè)資格的開發(fā)商和合作伙伴提供開發(fā)工具包。
NextMind的設(shè)備重約60克,具有八個(gè)可測(cè)量大腦活動(dòng)的電極。NextMind并行處理兩個(gè)軌道來(lái)解碼和完成用戶意圖。軌道一是視覺(jué)意圖,軌道二是視覺(jué)想象力。。
NextMind發(fā)明的這種稱為數(shù)字神經(jīng)同步的新方法本身不解碼意圖本身,只解碼意圖的輸出。比如用戶更多的關(guān)注某個(gè)對(duì)象,物體與大腦之間存在神經(jīng)共鳴,用戶越集中注意力,越會(huì)增加共鳴,機(jī)器學(xué)習(xí)也會(huì)解碼越多,設(shè)備會(huì)知道用戶想移動(dòng)該對(duì)象,或激活該特定視覺(jué)內(nèi)容。
這和眼動(dòng)儀有著本質(zhì)的區(qū)別。目前閉上眼睛NextMind的設(shè)備就無(wú)法使用,后續(xù)會(huì)改善。
事實(shí)證明,視覺(jué)皮層既是用戶從外部世界獲得的輸入的區(qū)域,又是用戶的記憶,想象力和夢(mèng)想的輸出。視覺(jué)皮層中為用戶提供視覺(jué)意識(shí)的神經(jīng)元就是用來(lái)處理外界信息的神經(jīng)元。
NextMind聲稱,不需要其他設(shè)備可將兩個(gè)軌道在同一硬件上串聯(lián)使用。不同的軟件和算法將僅處理不同的任務(wù)。
腦機(jī)接口是一個(gè)復(fù)雜的交叉學(xué)科,需要神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)、人機(jī)工程學(xué)等等,研究難度大,但是也很有必要,通過(guò)腦機(jī)接口可以將超聲波等非人類感知力變?yōu)槿祟惛兄Γ巴竟饷鳌?/p>