近年來，基于深度學習的神經(jīng)解碼器已成為實現(xiàn)神經(jīng)假肢靈巧、直覺控制的主要方法。人類甚至已經(jīng)設想出了這種假肢在醫(yī)學領域的廣泛應用圖景。

然而，由于深度學習對計算的要求很高，很少有研究將其應用于臨床。邊緣計算設備的發(fā)展為解決這一問題提供了可能。

在一篇新論文中，來自明尼蘇達大學等機構(gòu)的研究者提出了一種基于嵌入式深度學習控制的神經(jīng)假肢實現(xiàn)。該研究中的神經(jīng)解碼器基于 RNN 架構(gòu)設計，部署在 NVIDIA Jetson Nano 上。NVIDIA Jetson Nano 擁有不錯的 AI 算力，但體格非常小巧，這使得假肢安裝者可以實時控制每一根手指，同時還能自由移動。

研究者利用外周神經(jīng)信號在橈骨截肢的志愿者身上評估所提出的系統(tǒng)。實驗結(jié)果顯示，無論是在實驗室還是真實環(huán)境下，該系統(tǒng)都能提供魯棒、準確（95-99%）、低延遲（50-120 毫秒）的單個手指控制。

研究者表示，據(jù)他們所知，該系統(tǒng)是第一個在臨床神經(jīng)假肢應用的便攜式平臺上有效實現(xiàn)深度學習神經(jīng)解碼器的系統(tǒng)。這種新型假肢系統(tǒng)擁有嵌入式人工智能，可以作為新型可穿戴生物醫(yī)學設備的基礎，有助于加快深度神經(jīng)網(wǎng)絡在臨床應用中的部署。

論文鏈接：
https://arxiv.org/pdf/2103.13452.pdf

這一成果離不開之前研究取得的進展，包括 Overstreet 等人 2019 年提出的連接神經(jīng)纖維和生物電子系統(tǒng)的神經(jīng)束內(nèi)微電極陣列；Nguyen 等人 2020 年設計的能同時展開神經(jīng)記錄和刺激的 Neuronix 神經(jīng)接口微芯片；Luu 等人 2021 年提出的降低解碼器計算復雜度的深度學習電機解碼范式優(yōu)化；以及 SOTA 邊緣計算平臺的軟硬件實現(xiàn)等。

系統(tǒng)概覽

下圖展示了研究者提出的神經(jīng)假肢神經(jīng)解碼器的大體構(gòu)造：

該系統(tǒng)包含 Scorpius 神經(jīng)接口、帶有定制載板的 Jetson Nano、定制的手臂控制器以及一個可多次充電的鋰電池。

下圖是該系統(tǒng)的原型圖。AI 引擎重 90 克，鋰電池（7.4V，2200mAh）重 120 克。在實際應用中，整個系統(tǒng)都可以集成到假肢內(nèi)部，替代假肢現(xiàn)有的 ENG 傳感器和電子設備，因此對手臂的重量和美感影響極小。

神經(jīng)數(shù)據(jù)是通過研究者之前提出的 Scorpius 神經(jīng)接口獲得的。每個 Scorpius 設備有 8 個記錄通道，配有頻率整形（FS）放大器和高精度模數(shù)轉(zhuǎn)換器（ADC）。根據(jù)需要的通道數(shù)量，可以配置多個設備。FS 神經(jīng)記錄器被證明能夠在抑制 artifact 的同時獲得超低噪聲神經(jīng)信號。原始的神經(jīng)數(shù)據(jù)會直接傳輸?shù)?Jetson Nano 電腦進行進一步處理。

該系統(tǒng)的核心是由Jetson Nano 平臺支撐的 AI 引擎。研究者設計了一個定制的載板為 Nano 模塊提供電源管理和 I/O 連接。該模塊可工作在 10W 模式 (4 核 CPU 1900 MHz，GPU 1000 GHz) 或 5W 模式 (2 核 CPU 918 MHz，GPU 640 MHz) 下，按當前電池尺寸，可分別連續(xù)使用 2 小時和 4 小時左右。

在這個系統(tǒng)中，訓練好的深度學習模型被部署到 AI 引擎上，實時地將神經(jīng)信號轉(zhuǎn)化為個體手指運動的真實意圖。最后的預測被發(fā)送到手部控制器來驅(qū)動假手。

這個假手是基于英國科技公司 Touch Bionics 的 i-Limb 假肢平臺設計的，有五個單獨驅(qū)動的手指。研究者用定制的手部控制器替換了原來的 i-Limb 默認驅(qū)動器，從而根據(jù)深度學習模型的預測，直接操作隱藏在每根手指中的直流電機。該控制器是圍繞 ESP32 模塊設計的，帶有一個低功耗微控制器。

下圖 3 更詳細地展示了各個組件的硬件實現(xiàn)：

關于該研究的更多細節(jié)可以參考原論文。