還記得之前的AI讀心術(shù)嗎？最近，「心想事成」的能力再次進(jìn)化，

——人類(lèi)可以通過(guò)自己的想法直接控制機(jī)器人了！

來(lái)自麻省理工的研究人員發(fā)表了Ddog項(xiàng)目，通過(guò)自己開(kāi)發(fā)的腦機(jī)接口（BCI）設(shè)備，控制波士頓動(dòng)力的機(jī)器狗Spot。

狗狗可以按照人類(lèi)的想法，移動(dòng)到特定區(qū)域、幫人拿東西、或者拍照等。

而且，相比于之前需要使用布滿了傳感器的頭套才能「讀心」，本次的腦機(jī)接口設(shè)備以一幅無(wú)線眼鏡（AttentivU）的形式出現(xiàn)！

視頻中展示的行為也許比較簡(jiǎn)單，但這個(gè)系統(tǒng)的目的是將Spot改造為能夠?yàn)榛加屑∥s側(cè)索硬化癥（ALS）、腦癱或脊髓損傷等疾病的人士提供基本溝通工具。

整個(gè)系統(tǒng)的運(yùn)行只需要兩部iPhone和一副眼鏡，卻能給這些已經(jīng)對(duì)生活失去希望的人帶去實(shí)際的幫助和關(guān)懷。

并且，我們將在相關(guān)的論文中看到，這個(gè)系統(tǒng)實(shí)際上建立在非常復(fù)雜的工程之上。

論文地址：https://doi.org/10.3390/s24010080

Ddog系統(tǒng)使用AttentivU作為腦機(jī)接口系統(tǒng)，傳感器嵌入到鏡框中，用來(lái)測(cè)量一個(gè)人的腦電圖 （EEG） 或大腦活動(dòng)，以及眼電圖或眼球運(yùn)動(dòng)。

這項(xiàng)研究的基礎(chǔ)是MIT的Brain Switch，一種實(shí)時(shí)的閉環(huán)BCI，允許用戶與看護(hù)人進(jìn)行非語(yǔ)言和實(shí)時(shí)的交流。

Ddog系統(tǒng)成功率為83.4%，并且，這是在個(gè)人助理用例中首次將無(wú)線、非視覺(jué)BCI系統(tǒng)與Spot集成。

視頻中我們可以看到腦際接口設(shè)備的進(jìn)化之路，以及開(kāi)發(fā)者的一些思考。

在此之前，研究團(tuán)隊(duì)就已經(jīng)完成了腦機(jī)接口與智能家居的交互，而現(xiàn)在完成了控制能夠移動(dòng)和操作的機(jī)器人。

這些研究給了特殊人群一絲光明，讓他們有活下去的希望，甚至未來(lái)可以生活得更好。

相比于章魚(yú)一樣的傳感器頭套，下面這個(gè)眼鏡確實(shí)酷多了。

根據(jù)美國(guó)國(guó)家罕見(jiàn)疾病組織的數(shù)據(jù)，目前美國(guó)有30000名ALS患者，且估計(jì)每年診斷出5000例新病例。此外，根據(jù)《腦癱指南》，大約有100萬(wàn)美國(guó)人患有腦癱。

這些人中的許多人已經(jīng)或最終將失去走路、穿衣、說(shuō)話、寫(xiě)作甚至呼吸的能力。

雖然確實(shí)存在通信輔助工具，但大多數(shù)是允許用戶使用計(jì)算機(jī)進(jìn)行通信的眼睛凝視設(shè)備。允許用戶與周?chē)澜缁?dòng)的系統(tǒng)并不多。

這種BCI四足機(jī)器人系統(tǒng)作為一個(gè)早期的原型，為現(xiàn)代個(gè)人助理機(jī)器人的未來(lái)發(fā)展鋪平了道路。

希望在未來(lái)的迭代中，我們能看到更加驚人的能力。

腦控四足機(jī)器人

在這項(xiàng)工作中，研究人員探索了無(wú)線和可穿戴BCI設(shè)備如何控制四足機(jī)器人——波士頓動(dòng)力公司的Spot。

研究人員開(kāi)發(fā)的設(shè)備通過(guò)嵌入眼鏡架中的電極測(cè)量用戶的腦電圖（EEG）和眼電圖（EOG）活動(dòng)。

用戶在心中回答一系列問(wèn)題（「是」或「否」），每個(gè)問(wèn)答都對(duì)應(yīng)一組預(yù)置的Spot操作。

比如提示Spot穿過(guò)一個(gè)房間，拿起一個(gè)對(duì)象（如一瓶水），然后為用戶取回它。

機(jī)器人與BCI

時(shí)至今日，腦電圖仍然是最實(shí)用和最適用的非侵入性腦機(jī)接口方法之一。

BCI系統(tǒng)可以使用內(nèi)源性（自發(fā)）或外源性（誘發(fā)）信號(hào)進(jìn)行控制。

在外源性腦機(jī)接口中，當(dāng)一個(gè)人注意外部刺激（如視覺(jué)或聽(tīng)覺(jué)線索）時(shí)，就會(huì)出現(xiàn)誘發(fā)信號(hào)。

這種方法的優(yōu)點(diǎn)包括極簡(jiǎn)的訓(xùn)練以及高達(dá)60位/分鐘的高比特率，但這需要用戶始終關(guān)注刺激，從而限制了其在現(xiàn)實(shí)生活中的適用性。而且，用戶在使用外源性BCI時(shí)會(huì)很快感到疲倦。

在內(nèi)源性腦機(jī)接口中，控制信號(hào)獨(dú)立于任何外部刺激產(chǎn)生，可以由用戶按需完全執(zhí)行。對(duì)于那些有感覺(jué)障礙的用戶來(lái)說(shuō)，這提供了一種更自然和直觀的交互方式，用戶可以自發(fā)地向系統(tǒng)發(fā)出命令。

不過(guò)這種方法通常需要更長(zhǎng)的訓(xùn)練時(shí)間，并且比特率較低。

使用腦機(jī)接口的機(jī)器人應(yīng)用通常適用于需要幫助的人群，它們通常包括輪椅和外骨骼。

下圖展示了截至2023年腦機(jī)接口和機(jī)器人技術(shù)的最新進(jìn)展。

四足機(jī)器人通常用于在復(fù)雜的工作環(huán)境或國(guó)防應(yīng)用中為用戶提供支持。

最著名的四足機(jī)器人之一是波士頓動(dòng)力公司的Spot，它可以攜帶高達(dá)15公斤的有效載荷，并迭代繪制隧道等維護(hù)站點(diǎn)的地圖。房地產(chǎn)和采礦業(yè)也在采用Spot等四足機(jī)器人，幫助監(jiān)控具有復(fù)雜物流的工作現(xiàn)場(chǎng)。

本文使用移動(dòng)BCI解決方案控制的Spot機(jī)器人，并基于心算任務(wù)，總體架構(gòu)命名為Ddog。

Ddog架構(gòu)

下圖展示了Ddog的總體結(jié)構(gòu)：

Ddog是一個(gè)自主應(yīng)用程序，用戶能夠通過(guò)BCI的輸入控制Spot機(jī)器人，而應(yīng)用程序使用語(yǔ)音向用戶及其護(hù)理人員提供反饋。

該系統(tǒng)設(shè)計(jì)為完全離線或完全在線工作。在線版本具有一組更高級(jí)的機(jī)器學(xué)習(xí)模型，以及更好的微調(diào)模型，對(duì)于本地設(shè)備也更省電。

整個(gè)系統(tǒng)為真實(shí)場(chǎng)景而設(shè)計(jì)，并允許對(duì)大多數(shù)零件進(jìn)行快速迭代。

在客戶端，用戶通過(guò)移動(dòng)應(yīng)用程序與腦機(jī)接口設(shè)備（AttentivU）進(jìn)行交互，該應(yīng)用程序使用低功耗藍(lán)牙（BLE）協(xié)議與設(shè)備進(jìn)行通信。

用戶的移動(dòng)設(shè)備與另一部控制Spot機(jī)器人的手機(jī)進(jìn)行通信，以實(shí)現(xiàn)代理、操縱、導(dǎo)航，最終為用戶提供幫助。

手機(jī)之間的通信可以通過(guò)Wi-Fi或移動(dòng)網(wǎng)絡(luò)。負(fù)責(zé)控制的手機(jī)建立一個(gè)Wi-Fi熱點(diǎn)，Ddog和用戶的手機(jī)都連接到這個(gè)熱點(diǎn)。使用在線模式時(shí)，還可以連接到云上運(yùn)行的模型。

服務(wù)端

服務(wù)器端使用Kubernetes（K8S）集群，每個(gè)集群都部署在自己的Virtual Private Cloud（VPC）中。

云在專用VPC內(nèi)工作，通常部署在更靠近最終用戶的同一可用區(qū)中，使每個(gè)服務(wù)的響應(yīng)延遲最小化。

集群中的每個(gè)容器都設(shè)計(jì)為單一用途（微服務(wù)架構(gòu)），每個(gè)服務(wù)都是一個(gè)正在運(yùn)行的AI模型，它們的任務(wù)包括：導(dǎo)航、映射、計(jì)算機(jī)視覺(jué)、操縱、定位和代理。

映射：從不同來(lái)源收集有關(guān)機(jī)器人周?chē)h(huán)境信息的服務(wù)。它映射靜態(tài)的不可移動(dòng)數(shù)據(jù)（一棵樹(shù)、一棟建筑物、一堵墻），但也收集隨時(shí)間變化的動(dòng)態(tài)數(shù)據(jù)（一輛車(chē)、一個(gè)人）。

導(dǎo)航：基于在先前服務(wù)中收集和擴(kuò)充的地圖數(shù)據(jù)，導(dǎo)航服務(wù)負(fù)責(zé)在空間和時(shí)間上構(gòu)建A點(diǎn)和B點(diǎn)之間的路徑。它還負(fù)責(zé)構(gòu)建替代路線，以及估計(jì)所需的時(shí)間。

計(jì)算機(jī)視覺(jué)：從機(jī)器人攝像頭收集視覺(jué)數(shù)據(jù)，并利用手機(jī)的數(shù)據(jù)增強(qiáng)，生成空間和時(shí)間表示。此服務(wù)還嘗試分割每個(gè)視覺(jué)點(diǎn)并識(shí)別對(duì)象。

云負(fù)責(zé)訓(xùn)練與BCI相關(guān)的模型，包括腦電圖（EEG）、眼電圖（EOG）和慣性測(cè)量單元（IMU）。

部署在手機(jī)上的離線模型運(yùn)行數(shù)據(jù)收集和聚合，同時(shí)也使用TensorFlow的移動(dòng)端模型（針對(duì)更小的RAM和基于ARM的CPU進(jìn)行了優(yōu)化）進(jìn)行實(shí)時(shí)推理。

視覺(jué)和操作

用于部署分割模型的原始版本是利用LIDAR數(shù)據(jù)的單個(gè)TensorFlow 3D模型。之后，作者將其擴(kuò)展到少樣本模型，并通過(guò)運(yùn)行神經(jīng)輻射場(chǎng)（NeRF）和RGBD數(shù)據(jù)的補(bǔ)充模型進(jìn)行增強(qiáng)。

Ddog收集的原始數(shù)據(jù)是從五個(gè)攝像頭匯總而來(lái)的。每個(gè)攝像頭都可以提供灰度、魚(yú)眼、深度和紅外數(shù)據(jù)。手臂的夾持器內(nèi)部還有第六個(gè)攝像頭，具有4K分辨率和LED功能，配合預(yù)訓(xùn)練的TensorFlow模型檢測(cè)對(duì)象。

點(diǎn)云由激光雷達(dá)數(shù)據(jù)以及由Ddog和手機(jī)的RGBD數(shù)據(jù)生成。數(shù)據(jù)采集完成后，通過(guò)單一坐標(biāo)系進(jìn)行歸一化處理，并與匯集了所有成像和3D定位數(shù)據(jù)的全局狀態(tài)相匹配。

操作完全取決于安裝在 Ddog 上的機(jī)械臂夾持器的質(zhì)量，下圖的夾具由波士頓動(dòng)力公司制造。

實(shí)驗(yàn)中將用例限制在與預(yù)定義位置中的對(duì)象進(jìn)行基本交互。

作者繪制了一個(gè)大的實(shí)驗(yàn)室空間，將其設(shè)置為一個(gè)「公寓」，其中包含「廚房」區(qū)域（有一個(gè)裝有不同杯子和瓶子的托盤(pán)）、「客廳」區(qū)域（帶枕頭的小沙發(fā)和小咖啡桌）， 和「窗口休息室」區(qū)域。

用例的數(shù)量在不斷增長(zhǎng)，因此覆蓋大多數(shù)用例的唯一方法是部署一個(gè)系統(tǒng)以連續(xù)運(yùn)行一段時(shí)間，并使用數(shù)據(jù)來(lái)優(yōu)化此類(lèi)序列和體驗(yàn)。

AttentivU

腦電圖數(shù)據(jù)是從AttentivU設(shè)備收集的。AttentivU眼鏡的電極由天然銀制成，根據(jù)國(guó)際10-20電極放置系統(tǒng)，位于TP9和TP10位置。該眼鏡還包括位于鼻托的兩個(gè)EOG電極和一個(gè)位于Fpz位置的EEG參比電極。

這些傳感器可以提供所需的信息，并在需要時(shí)支持實(shí)時(shí)、閉環(huán)的干預(yù)。

設(shè)備具有EEG和EOG兩種模式，可用于實(shí)時(shí)捕捉注意力、參與度、疲勞和認(rèn)知負(fù)荷的信號(hào)。EEG已被用作清醒和睡眠之間過(guò)渡的神經(jīng)生理學(xué)指標(biāo)，

而EOG基于測(cè)量眼球運(yùn)動(dòng)過(guò)程中由于角膜-視網(wǎng)膜偶極子特性而誘導(dǎo)的生物電信號(hào)。研究表明，眼球運(yùn)動(dòng)與執(zhí)行某些任務(wù)所需的記憶訪問(wèn)類(lèi)型相關(guān)，并且是視覺(jué)參與、注意力和嗜睡的良好衡量標(biāo)準(zhǔn)。

實(shí)驗(yàn)

首先將腦電圖數(shù)據(jù)分成幾個(gè)窗口。將每個(gè)窗口定義為1秒長(zhǎng)的EEG數(shù)據(jù)持續(xù)時(shí)間，與前一個(gè)窗口有75%的重疊。

然后是數(shù)據(jù)預(yù)處理和清理。使用50 Hz陷波濾波器和通帶為0.5 Hz至40 Hz的帶通濾波器的組合對(duì)數(shù)據(jù)進(jìn)行濾波，以確保消除電力線噪聲和不需要的高頻。

接下來(lái)，作者創(chuàng)建了偽影拒絕算法。如果兩個(gè)連續(xù)epoch之間的絕對(duì)功率差大于預(yù)定義的閾值，則拒絕某個(gè)epoch。

在分類(lèi)的最后一步，作者混合使用不同的光譜波段功率比來(lái)跟蹤每個(gè)受試者基于任務(wù)的心理活動(dòng)。對(duì)于 MA，該比率為（alpha/delta）。對(duì)于WA，該比值為（delta/low beta），對(duì)于ME，該比值為（delta/alpha）。

然后，使用變化點(diǎn)檢測(cè)算法來(lái)跟蹤這些比率的變化。這些比率的突然增加或減少表明用戶精神狀態(tài)發(fā)生了變化。

對(duì)于患有ALS的受試者，本文的模型在MA任務(wù)中達(dá)到了73%的準(zhǔn)確率，在WA任務(wù)中達(dá)到了74%的準(zhǔn)確率，在ME任務(wù)中達(dá)到了60%的準(zhǔn)確率。