外骨骼具有改善人類運動性能的巨大潛力。然而，它們的開發(fā)和廣泛傳播受到需要進行漫長人體測試和手工控制規(guī)則的限制。在這里，研究人員展示了一種在仿真中學(xué)習(xí)多功能控制策略的無實驗方法。該仿真學(xué)習(xí)框架利用具有動力學(xué)感知的肌肉骨骼和外骨骼模型以及數(shù)據(jù)驅(qū)動的強化學(xué)習(xí)，彌合了仿真和現(xiàn)實之間的差距，避免了人體實驗。學(xué)到的控制器被部署在定制的髖關(guān)節(jié)外骨骼上，通過降低行走、奔跑和爬樓梯的代謝率分別減少了24.3%、13.1%和15.4%。該框架可能為快速開發(fā)和廣泛采用各種適用于健全人和行動不便人士的輔助機器人提供可推廣和可擴展的策略。

人類具有高效和多功能的運動能力，這源于進化、成長和學(xué)習(xí)。對肌肉骨骼系統(tǒng)的精確控制產(chǎn)生了各種運動活動之間的自然過渡。外骨骼已經(jīng)證明了在健全人行走和為殘疾人恢復(fù)行動能力方面改善人類表現(xiàn)的能力。然而，它們的控制策略通常使用預(yù)定義的輔助配置文件或針對每個參與者進行長時間的人體測試，即使只是為了開發(fā)行走策略（圖1a）。因此，當(dāng)將控制器應(yīng)用于另一個參與者或另一個活動時，成本非常高。此外，對于每個活動通常需要手工設(shè)計控制規(guī)則。隨著活動數(shù)量的增加，控制器設(shè)計變得更加復(fù)雜，這使得對可穿戴機器人的廣泛采用變得不切實際。

圖1

阻礙控制器開發(fā)的一個挑戰(zhàn)是需要大量的人力和時間。開發(fā)了基于實驗室的測試平臺，可以應(yīng)用廣泛的輔助配置文件以表征人類對機器人輔助的響應(yīng)。人機協(xié)同優(yōu)化和肌電控制通過優(yōu)化輔助力矩來最小化代謝率，這是人類表現(xiàn)的關(guān)鍵指標(biāo)。然而，這個過程在行走時可能需要每個參與者超過30分鐘。一種數(shù)據(jù)驅(qū)動的方法使得每個參與者在30分鐘內(nèi)可以進行戶外行走的優(yōu)化。盡管這些方法在減少能量消耗方面表現(xiàn)出色，但仍需要大量的人體測試。最近的一種控制方法在不到10分鐘的時間內(nèi)調(diào)整控制參數(shù)以跟蹤預(yù)定義的髖關(guān)節(jié)位置軌跡，但并沒有減少代謝率?；诜抡娴膶W(xué)習(xí)是一個潛在的解決方案，然而，由于它們要么不包含控制器設(shè)計，要么不考慮仿真中的人機交互，因此沒有仿真證明它們的好處。如何開發(fā)一個純粹基于仿真的控制器來提高人類表現(xiàn)仍然是一個懸而未決的問題。

控制器開發(fā)的第二個挑戰(zhàn)涉及適應(yīng)多步態(tài)人類運動的不同生物力學(xué)特征。最先進的算法使用兩個層次的離散控制，首先對不同的運動活動進行分類，然后將步態(tài)周期離散化為幾個階段。為每個分段步態(tài)階段應(yīng)用不同的控制規(guī)律，而每個控制規(guī)律都需要手工調(diào)整控制參數(shù)。提出了幾種控制方法，它們使用估計的關(guān)節(jié)力矩或預(yù)定義的軌跡直接生成完整步態(tài)周期的輔助配置文件。然而，這些方法針對離散的運動活動進行了定制，并且需要每個活動的人體訓(xùn)練數(shù)據(jù)。此外，這些方法產(chǎn)生的輔助力矩可能會令人不適，因為它們無法處理不同運動活動之間的過渡。強化學(xué)習(xí)通過其對環(huán)境和情境的適應(yīng)性實現(xiàn)了平滑控制。然而，它主要用于機器人控制，不涉及人類，這對于控制器設(shè)計提出了獨特的挑戰(zhàn)。之前的一項研究使用強化學(xué)習(xí)控制人體-假肢系統(tǒng)，但僅限于預(yù)定步態(tài)運動學(xué)軌跡的位置跟蹤。先前的工作在仿真中對人體進行定常行走時施加預(yù)定義的運動學(xué)軌跡，其中虛擬人體模型模擬了一個四肢癱瘓的人，并且與機器人沒有自主交互。因此，迫切需要一種能夠?qū)W習(xí)多模態(tài)運動的通用控制器的方法，而不依賴于人體測試或手工規(guī)則。

圖2

無實驗學(xué)習(xí)-仿真框架

在這里，研究人員提出了一種無實驗學(xué)習(xí)-仿真框架，該框架是數(shù)據(jù)驅(qū)動和動力學(xué)感知的，利用強化學(xué)習(xí)來加快外骨骼控制器在多模態(tài)運動輔助中的開發(fā)（圖1b）。首先，為了實現(xiàn)無實驗學(xué)習(xí)，該方法的數(shù)據(jù)驅(qū)動組件包括三個相互連接的多層感知器神經(jīng)網(wǎng)絡(luò)，用于運動模仿、肌肉協(xié)調(diào)和外骨骼控制（圖2）?？刂瓶蚣軓男凶摺⒈寂芎团罉翘莸娜梭w運動學(xué)軌跡數(shù)據(jù)中學(xué)習(xí)，這些數(shù)據(jù)來自運動捕捉數(shù)據(jù)集25（代表性受試者的每個活動的10秒?yún)⒖紨?shù)據(jù)）。隨后，基于神經(jīng)網(wǎng)絡(luò)的外骨骼控制器通過數(shù)百萬個肌肉骨骼仿真時代的演化，通過最大化獎勵（即減少肌肉激活）來改善人體表現(xiàn)?？刂撇呗缘挠?xùn)練在圖形處理單元（GPU）上運行8小時，以使控制器學(xué)會為所有三個活動提供有效的輔助（圖1c）。其次，為了提高仿真的準(zhǔn)確性和訓(xùn)練數(shù)據(jù)的效率，該方法的動力學(xué)感知組件包括一個具有208個下肢和上肢骨骼肌肉的50自由度全身肌肉骨骼模型（圖2a）和本研究中使用的定制髖關(guān)節(jié)外骨骼的機械模型（圖2b）。強化學(xué)習(xí)因其對數(shù)據(jù)的需求量大而以計算密集著稱，因此計算成本高昂。通過將物理模型納入學(xué)習(xí)過程中，研究人員能夠引導(dǎo)學(xué)習(xí)過程并提高效率。第三，研究人員使用線性彈性模型27來模擬逼真的人機接觸，以促進控制器設(shè)計。肌肉骨骼模型和外骨骼控制器同時進行訓(xùn)練，以在仿真中產(chǎn)生高保真度的生物力學(xué)反應(yīng)，并最終獲得跨三個活動及其過渡的統(tǒng)一控制器（圖2c）。

該學(xué)習(xí)-仿真框架實現(xiàn)了端到端控制，將機器人的傳感器輸入映射為輔助扭矩，沒有任何中間步驟。學(xué)到的控制器計算效率高，由一個三層全連接網(wǎng)絡(luò)組成，因此可以在微控制器上實現(xiàn)。與需要昂貴設(shè)備和大量人體測試來調(diào)節(jié)設(shè)備的人機協(xié)同方法相比，該控制器只需要容易獲取的運動測量數(shù)據(jù)，即每個大腿上的一個九軸慣性測量單元（IMU）傳感器（LPMS-B2, LP-Research），并且自動適應(yīng)三個活動及其過渡，無需手工控制（圖1d和圖2d）。生成的輔助扭矩配置文件根據(jù)每個用戶在每個活動中的運動學(xué)模式（大腿角度和大腿角速度）進行自適應(yīng)（圖3b）。這個控制器計算效率高且有效，因為控制策略是在仿真中進行訓(xùn)練和優(yōu)化的，仿真與物理世界的動力學(xué)和生物力學(xué)特性非常相似。這項工作的主要貢獻(xiàn)是該控制方法及其在仿真中實現(xiàn)的無實驗效率和多功能性，適用于三種運動活動。與最先進的便攜式外骨骼相比，該控制器在這三個活動中顯著降低了代謝開支（圖1e和圖5c）。這些結(jié)果突顯了強化學(xué)習(xí)方法的可行性，盡管不同個體之間的生物力學(xué)變異性很大。

圖3

活動自適應(yīng)多功能控制

為了展示控制器適應(yīng)不同運動活動的能力，研究人員進行了一個跑步機實驗（擴展數(shù)據(jù)表1列出了參與者的信息），測試了三種不同速度下的行走和跑步?？刂破骶W(wǎng)絡(luò)中的權(quán)重和偏置直接來自仿真，輸入是從每個大腿上安裝的一個慣性測量單元（IMU）傳感器測量的大腿角度和角速度。這些可穿戴傳感器的輸入用于解碼人的意圖并生成外骨骼的所需輔助扭矩（圖3a）。控制器由一個三層神經(jīng)網(wǎng)絡(luò)組成，實現(xiàn)在運行Simulink實時的臺式計算機上。該方法不需要中間活動檢測或步態(tài)周期檢測。輔助扭矩在每個時間步（100 Hz，即0.01秒）實時生成，使用當(dāng)前的大腿角度和角速度以及過去0.03秒（相當(dāng)于三個時間步）的歷史數(shù)據(jù)。通過在仿真中訓(xùn)練，該控制器學(xué)會將人體運動視為一個連續(xù)的過程，并生成適當(dāng)?shù)膶崟r輔助扭矩，不僅在穩(wěn)態(tài)運動中，而且在過渡階段，與用戶的運動協(xié)同。為了便于與文獻(xiàn)8、13、15、28–36進行比較，研究人員在0.75、1.25和1.75 m/s的速度下進行了行走和2 m/s的速度下進行了跑步的跑步機實驗。研究人員選擇跨步速度進行測試，以展示控制策略的普適性。仿真中學(xué)習(xí)的控制器生成的輔助扭矩適應(yīng)不同速度下的行走和跑步。每個參與者（n=8）的扭矩配置文件在每個活動中的形狀略有不同，因為該控制器適應(yīng)了每個參與者的不同運動學(xué)運動模式（大腿角度和角速度）（圖3b）。扭矩配置文件的大小也隨著行走和跑步之間的變化速度增加而增加，表明它能夠為不同強度的活動提供協(xié)同輔助（圖3c）。

連續(xù)的輔助扭矩配置文件

為了展示控制器在三種活動及其過渡中生成平穩(wěn)且協(xié)同的輔助能力，研究人員在真實世界中對一個參與者進行了一項活動變化的實驗。參與者從0.8 m/s的緩慢行走開始，加速到約2 m/s的跑步，然后以平穩(wěn)的方式減速，最后開始爬樓梯（七級）（圖4a）。與跑步機實驗中使用的相同神經(jīng)網(wǎng)絡(luò)控制器實現(xiàn)了一個分層機電一體化架構(gòu)，其中高級微控制器（Raspberry Pi 4）向低級微控制器（Teensy, PJRC）發(fā)送扭矩指令，低級微控制器位于腰部控制盒中。行走、跑步和爬樓梯期間的扭矩配置文件在形狀和輔助力大小上都呈現(xiàn)出明顯的變化（圖4b）。外骨骼的機械功率也隨著運動強度的變化而變化（圖4c），表明控制器提供協(xié)同輔助的能力。由于IMU傳感器的讀數(shù)不能準(zhǔn)確反映大腿的實際運動（由于柔軟的可穿戴帶），因此存在一些較小的負(fù)功率峰值。然而，這些負(fù)峰值很?。ㄆ骄济總€步態(tài)周期總交付機械功的3.47%），且持續(xù)時間很短（約0.04-0.08秒，相當(dāng)于步態(tài)周期的6-8%），對外骨骼輔助的整體效益影響可以忽略不計。

圖4

多功能輔助控制與代謝率降低

代謝率是評估外骨骼輔助運動中人體表現(xiàn)的關(guān)鍵指標(biāo)之一。機器人輔助顯著改善了多位參與者在行走（n = 8）、跑步（n = 8）和爬樓梯（n = 8）過程中的能量經(jīng)濟性，證明了控制器的有效性（圖5a，擴展數(shù)據(jù)圖6和擴展數(shù)據(jù)表2）。對于每項活動，研究人員測試了三種不同條件，即輔助開啟、輔助關(guān)閉和無外骨骼（無exo）。安裝在兩大腿上的兩個九軸IMU傳感器用于測量關(guān)節(jié)角度和角速度。在1.25 m/s的平地跑步機上進行5分鐘的平地行走時，無exo條件下的凈代謝率（最后2分鐘）為2.91 ± 0.26 W/kg，而輔助開啟條件下減少為2.19 ± 0.19 W/kg（均值±標(biāo)準(zhǔn)誤差）。輔助開啟條件下的代謝率降低與無exo條件相比范圍從19.9%到30.8%，平均為24.3%（圖5a）。在2.0 m/s的平地跑步機上進行5分鐘的平地跑步時，無exo條件下的凈代謝率（最后2分鐘）為8.25 ± 0.92 W/kg，而輔助開啟條件下減少為7.19 ± 0.85 W/kg（均值±標(biāo)準(zhǔn)誤差）。輔助開啟條件下的代謝率降低與無exo條件相比范圍從7.6%到20.8%，平均為13.1%。在步頻為65步/分鐘的臺階機上進行5分鐘的爬樓梯時，無exo條件下的凈代謝率（最后2分鐘）為5.54 ± 0.24 W/kg，而輔助開啟條件下減少為4.66 ± 0.22 W/kg。輔助開啟條件下的代謝率降低與無exo條件相比范圍從8.7%到25.7%，平均為15.4%（圖5a）。綜上所述，并根據(jù)所掌握的最新知識，這些是有關(guān)行走、跑步和爬樓梯的便攜式髖關(guān)節(jié)外骨骼的代謝率降低中最高的結(jié)果（圖5b、c）。

圖5

本文轉(zhuǎn)載自公眾號AIGC最前線   

原文鏈接：????https://mp.weixin.qq.com/s/pBBisjMdTLBKN1LHlYC5fg???