每一個新的計算平臺都帶來了我們與設(shè)備互動方式的范式轉(zhuǎn)變。鼠標的發(fā)明為今天主導(dǎo)PC世界的圖形用戶界面（GUIs）鋪平了道路，而智能手機直到觸摸屏的出現(xiàn)才開始真正獲得影響力。

同樣的規(guī)則也適用于可穿戴設(shè)備和AR，想象一下，在晨跑時只需輕輕一觸指尖就能拍照，或者用幾乎察覺不到的手部動作來導(dǎo)航菜單。

AR時代革新人機交互

在Connect 2024大會上，Meta展示了EMG腕帶與Orion增強現(xiàn)實眼鏡的產(chǎn)品原型。這兩大神器疊加在一起，科幻電影中才會出現(xiàn)的「隔空打字」場景或許即將實現(xiàn)。

Orion AR眼鏡

meta推出的肌電圖腕帶

戴上這樣一個腕帶，你讓雙手舒適地放在身側(cè)，同時進行鼠標的滑動、點擊和滾動等操作，無縫控制數(shù)字內(nèi)容。

未來還將有許多其他應(yīng)用場景，包括在增強現(xiàn)實中操縱物體，或者像在鍵盤上打字一樣——甚至更快，快速輸入完整信息，幾乎無需費力。

在近日的NeurIPS 2024 的「數(shù)據(jù)集和基」子會場中，Meta發(fā)布了兩個數(shù)據(jù)集——emg2qwerty 和 emg2pose，展示在硬件層面僅僅依靠腕帶的情況下，如何產(chǎn)生比細微手勢更豐富的輸入數(shù)據(jù)集。

原文地址：https://arxiv.org/abs/2410.20081

原文地址：https://arxiv.org/abs/2412.02725v1

用于隔空打字的數(shù)據(jù)集emg2qwerty

表面肌電圖（sEMG）是在皮膚表面測量由肌肉產(chǎn)生的電勢，它能夠檢測到由單個運動神經(jīng)元引起的活動，同時是非侵入性的。

具體來說，對于單個的脊髓運動神經(jīng)元，其細胞體位于脊髓中，向肌纖維中投射一條長軸突，每條肌纖維只被一個運動神經(jīng)元支配。

脊髓運動神經(jīng)元放電時，就會觸發(fā)它支配的所有肌纖維收縮，同時放大了來自神經(jīng)元的電脈沖。正是這些來自肌纖維的電信號，可被皮膚上的sEMG傳感器檢測到。

用于數(shù)據(jù)收集的表面肌電圖研究設(shè)備（sEMG-RD）及其腕圍電極放置的示意圖

基于腕帶的打字系統(tǒng)旨在解決可穿戴設(shè)備的文本輸入問題，實現(xiàn)無需物理鍵盤的觸摸打字。

僅使用手腕上檢測到的肌肉電信號，系統(tǒng)將可自動解碼并對應(yīng)至虛擬現(xiàn)實中投影的計算機鍵盤按鍵。

這意味著，用戶未來可以在沒有物理鍵盤的情況下，無論在桌子上、腿上還是廚房桌子上打字，都能如同在實際鍵盤上一樣輸入。

一個針對提示「the quick brown fox」的表面肌電圖（sEMG）記錄示例，顯示左右腕帶上32通道的表面肌電圖信號和按鍵時間；垂直線表示按鍵開始，每個電極通道的信號經(jīng)過高通濾波

emg2qwerty數(shù)據(jù)集包括從兩只手腕獲取的高分辨率sEMG 信號，與QWERTY 鍵盤的真實按鍵同步。該數(shù)據(jù)集總計包含108名參與者完成的、涵蓋廣泛單字和句子打字提示的346小時記錄，共計超過520萬次按鍵。

emg2qwerty數(shù)據(jù)集分割的可視化。每一列代表一個用戶，每一個方塊代表一個會話，方塊的高度表示其持續(xù)時間

如何僅通過表面肌電圖數(shù)據(jù)中檢測到用戶按了哪個鍵呢？為了解決這個核心問題，Meta開發(fā)了受自動語音識別（ASR）領(lǐng)域啟發(fā)的方法。

該方法同樣模擬了給定連續(xù)多通道時間序列下，預(yù)測離散字符輸出序列的任務(wù)。為了給emg2qwerty構(gòu)建強大的基線，Meta嘗試了新穎的網(wǎng)絡(luò)架構(gòu)、不同的訓(xùn)練損失以及語言模型的使用，始終關(guān)注表面肌電圖數(shù)據(jù)的獨特領(lǐng)域特征要求。

研究發(fā)現(xiàn)，在100個用戶的規(guī)模上，盡管生理、解剖、行為、帶寬大小和傳感器放置存在差異，用戶間的泛化仍然可出現(xiàn)。

當(dāng)使用大約半小時的個體用戶打字數(shù)據(jù)來個性化模型時，性能的進一步提升隨之而來。通過整合語言模型來優(yōu)化結(jié)果，可將字符錯誤率降至 10%以下——這個值被認為是一個使文本模型可用的關(guān)鍵閾值。

隨著數(shù)據(jù)集的增加，類似語言模型中的Scaling Law將會生效，從而使得對用戶輸入的預(yù)測更加準確。

emg2pose姿態(tài)估計：可完全預(yù)測用戶的手部配置

另一個名為emg2pose的數(shù)據(jù)集，旨在解決肌電信號與手部運動之間的映射問題，這對于人機交互、康復(fù)工程和虛擬現(xiàn)實等領(lǐng)域具有重要意義。

該數(shù)據(jù)集包含來自193名參與者的370小時sEMG和手部姿態(tài)數(shù)據(jù)，從29個不同的行為組中采集，包括拳頭、從一數(shù)到五等眾多動作。

數(shù)據(jù)集包含25253個HDF5文件，合計達到431GB。每個文件包含時間對齊的2kHz表面肌電圖數(shù)據(jù)和單手在單一階段的關(guān)節(jié)角度。

手部姿態(tài)標簽是通過高分辨率動作捕捉陣列生成的。完整數(shù)據(jù)集包含超過8000萬個姿態(tài)標簽，其等效規(guī)模已經(jīng)可以與最大的計算機視覺數(shù)據(jù)集比肩。

emg2pose數(shù)據(jù)集組成：a)sEMG-RD腕帶和動作捕捉標記（白色圓點）設(shè)置 b) 數(shù)據(jù)集分解；i）用戶被提示執(zhí)行一系列動作類型（手勢），如上下計數(shù)，同時記錄 sEMG 和姿態(tài) ii) 特定手勢類型的組合構(gòu)成一個階段

emg2pose數(shù)據(jù)集的主要特點在于其高頻率的表面肌電圖記錄（2kHz）與精確的動作捕捉數(shù)據(jù)相結(jié)合，提供了對手部細微運動的深入洞察。

此外，數(shù)據(jù)集包含詳細的元數(shù)據(jù)，如用戶ID、會話、階段、手部側(cè)向、是否移動等，便于進行多樣化的分析和實驗。數(shù)據(jù)集還提供了訓(xùn)練、測試和驗證的劃分，支持多種泛化類型的研究，包括跨用戶、跨階段以及跨用戶和階段的泛化。

在基準測試中，emg2pose還提供了具有競爭力的基線和具有挑戰(zhàn)性的任務(wù)，這些任務(wù)評估了在排除用戶、傳感器放置和手勢姿態(tài)方面的物理世界泛化場景。

該研究還介紹了一種新的最先進模型，用于從表面肌電圖進行姿態(tài)估計的 vemg2pose模型，通過整合對姿態(tài)速度的預(yù)測來重建手勢姿態(tài)。

研究人員將emg2pose以及另外兩種當(dāng)代基線用于sEMG的姿態(tài)估計，并分析了它們在泛化條件下的性能。結(jié)果顯示：emg2pose模型在對不同用戶的數(shù)據(jù)集進行預(yù)測時，僅顯示1厘米誤差，從而在廣泛的運動范圍內(nèi)實現(xiàn)了高保真跟蹤。

在不同采集階段及不同用戶間，基于vemg2pose預(yù)測的泛化能力

emg2pose不僅提升了動作識別的準確性，還為手勢控制、康復(fù)治療等有潛在的應(yīng)用可能。

• 在醫(yī)療康復(fù)領(lǐng)域，通過分析患者的sEMG信號，可以實時監(jiān)測和評估手部功能的恢復(fù)情況，為個性化康復(fù)方案的制定提供科學(xué)依據(jù)；
• 在人機交互領(lǐng)域，該數(shù)據(jù)集支持開發(fā)更加自然和精準的手勢控制系統(tǒng)，提升用戶體驗；
• 此外，emg2pose還可應(yīng)用于虛擬現(xiàn)實和增強現(xiàn)實技術(shù)中，實現(xiàn)更加逼真的手部動作捕捉和交互。