基于多模態(tài)信息融合的上肢康復(fù)訓(xùn)練評(píng)估系統(tǒng)
??想了解更多關(guān)于開源的內(nèi)容，請(qǐng)?jiān)L問(wèn)：??
項(xiàng)目摘要
腦卒中是我國(guó)成年人致死、致殘的首位病因，具有發(fā)病率高、致殘率高、死亡率高和復(fù)發(fā)率高的特點(diǎn)。2016 年全球疾病負(fù)擔(dān)（GBD）數(shù)據(jù)顯示，腦卒中是造成我國(guó)壽命年損失（YLL）的第一位病因?！?019 中國(guó)衛(wèi)生健康統(tǒng)計(jì)提要 》數(shù)據(jù)顯示，2018 年腦血管病占我國(guó)居民疾病死亡比例在農(nóng)村人群為 23.19%、城市人群為 20.51%，這意味著每 5 位死亡者中就至少有 1 人死于腦卒中。
基于多模態(tài)信息融合的上肢康復(fù)訓(xùn)練評(píng)估系統(tǒng)是一套用于腦卒中患者的主被動(dòng)式上肢康復(fù)訓(xùn)練評(píng)估系統(tǒng)。在康復(fù)訓(xùn)練硬件方面參考鶴的頸部運(yùn)動(dòng)方式，按照人體工程學(xué)，設(shè)計(jì)出仿鶴頸式上肢康復(fù)機(jī)械臂，整體能夠?qū)崿F(xiàn)肩、肘、手腕部分的多關(guān)節(jié)多自由度訓(xùn)練。康復(fù)評(píng)估系統(tǒng)由訓(xùn)練中、訓(xùn)練后兩部分組成，在康復(fù)訓(xùn)練過(guò)程中，基于MPU9250芯片，自主開發(fā)動(dòng)作捕捉設(shè)備，通過(guò)其中的陀螺儀和慣性傳感器對(duì)加速度和角速度進(jìn)行采集，經(jīng)過(guò)三維融合算法得到關(guān)節(jié)角度和四元數(shù)，關(guān)節(jié)角度作為評(píng)估系統(tǒng)量化指標(biāo)。并且采用DTW算法將數(shù)據(jù)進(jìn)行規(guī)整、可視化處理，通過(guò)Pearson系數(shù)判斷患者的恢復(fù)狀況。訓(xùn)練后，使用機(jī)器學(xué)習(xí)中的RF隨機(jī)森林算法將康復(fù)數(shù)據(jù)經(jīng)過(guò)RF模型與標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行對(duì)比，并根據(jù)國(guó)際認(rèn)定的Brunnstrom分期量表進(jìn)行量化評(píng)估患病等級(jí)，為患者提供針對(duì)性個(gè)性化的治療康復(fù)方案。同時(shí)基于通過(guò)Untiy3D設(shè)計(jì)小游戲，使用虛擬與現(xiàn)實(shí)結(jié)合技術(shù)，可打破康復(fù)訓(xùn)練時(shí)間和空間的限制，也能增強(qiáng)患者在康復(fù)訓(xùn)練的積極性與主動(dòng)性，提高康復(fù)訓(xùn)練效果。
一、項(xiàng)目背景
據(jù)統(tǒng)計(jì)數(shù)據(jù),目前國(guó)內(nèi)中風(fēng)病人有1500萬(wàn)多，且發(fā)病率在以每年8.7%的速度上升。若不加控制，到2030年，全國(guó)將有3100萬(wàn)中風(fēng)病人;每年因中風(fēng)死亡人數(shù)高達(dá)200萬(wàn)，占總死亡人口的22%。而在肢體殘疾原因中腦卒中超過(guò)20%?；颊咧w神經(jīng)受到損傷常年臥床，生活難以自理，雖然往返的康復(fù)訓(xùn)練能夠重塑大腦與受損肢體間的聯(lián)系，但是醫(yī)療康復(fù)機(jī)器人市場(chǎng)不成熟，患者只能通過(guò)醫(yī)師一對(duì)一治療。
而近年來(lái)，國(guó)家政策支持全國(guó)腦卒中防治工作開展。2021年，國(guó)家衛(wèi)生健康委、教育部、國(guó)家藥監(jiān)局等10部門聯(lián)合制定了《加強(qiáng)腦卒中防治工作減少百萬(wàn)新發(fā)殘疾工程綜合方案》。同時(shí)各地政府也高度重視腦卒中防治工作，河南省衛(wèi)生健康委把腦卒中高危人群篩查和干預(yù)工作列入健康中原2030重點(diǎn)行動(dòng)計(jì)劃:1.撥付經(jīng)費(fèi)用于支持縣區(qū)開展卒中防治相關(guān)工作；2.把卒中中心建設(shè)列入二級(jí)醫(yī)院升三級(jí)醫(yī)院提質(zhì)升級(jí)的必備材料清單；3.開創(chuàng)性地發(fā)起并推廣卒中急診救治一鍵啟動(dòng)，顯著縮短了DNT時(shí)間；4.有力推動(dòng)了河南省二級(jí)醫(yī)院卒中中心建設(shè)工作。
所以我們?cè)O(shè)計(jì)了一套用于腦卒中患者的主被動(dòng)式上肢康復(fù)訓(xùn)練評(píng)估系統(tǒng)，在輔助腦卒中患者執(zhí)行康復(fù)訓(xùn)練運(yùn)動(dòng)的同時(shí)會(huì)對(duì)訓(xùn)練結(jié)果進(jìn)行定量評(píng)估。創(chuàng)新康復(fù)方法，分期評(píng)定，解決腦卒中患者訓(xùn)練過(guò)程中醫(yī)師少、效果差的問(wèn)題，為康復(fù)醫(yī)師提供標(biāo)準(zhǔn)化的解決方案。
二、團(tuán)隊(duì)介紹
成員介紹：
團(tuán)隊(duì)成員由三部分構(gòu)成，第一部分是老師和康復(fù)醫(yī)師，指導(dǎo)老師會(huì)對(duì)項(xiàng)目方向進(jìn)行把控，合作醫(yī)師會(huì)進(jìn)行專業(yè)的康復(fù)訓(xùn)練指導(dǎo)。第二部分是合作公司的工程師，合作公司的工程師會(huì)推進(jìn)項(xiàng)目的產(chǎn)品化進(jìn)程。第三部分是我們大學(xué)生研發(fā)團(tuán)隊(duì)，我們大學(xué)生專業(yè)覆蓋面廣，做的是產(chǎn)品的設(shè)計(jì)和研發(fā)。
團(tuán)隊(duì)理念：
團(tuán)隊(duì)以“開放、共享、聯(lián)合”的原則，秉承“創(chuàng)新，合作，高效，服務(wù)，共贏” 的團(tuán)隊(duì)理念進(jìn)行團(tuán)隊(duì)的發(fā)展，采取固定人員、專職人員和流動(dòng)人員相結(jié)合的研發(fā)團(tuán)隊(duì)組成模式，團(tuán)隊(duì)成員之間能夠進(jìn)行緊密有效的合作關(guān)系，充分整合學(xué)院、企業(yè)和研究所相關(guān)學(xué)科研究力量，立足于高校，服務(wù)于社會(huì)。
團(tuán)隊(duì)研發(fā)范圍：
團(tuán)隊(duì)主要以面向上肢偏癱老人的康復(fù)機(jī)械臂為基本目標(biāo)，在腦卒中患者全肢體康復(fù)外骨骼、基于動(dòng)作捕捉技術(shù)的康復(fù)評(píng)估系統(tǒng)、以及基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)意圖感知系統(tǒng)等方面取得重大成果。
團(tuán)隊(duì)宗旨：
本創(chuàng)業(yè)團(tuán)隊(duì)將以本校創(chuàng)業(yè)者為人才依托，在院系以及老師的支持下，投入資金及一流的開發(fā)團(tuán)隊(duì)，開拓創(chuàng)新，研發(fā)產(chǎn)品，以適應(yīng)市場(chǎng)上各類消費(fèi)者的要求?，F(xiàn)階段，主要以面向上肢偏癱老人的康復(fù)機(jī)械臂為基本目標(biāo)我們將以高質(zhì)量的產(chǎn)品和優(yōu)質(zhì)的服務(wù)來(lái)贏得各類客戶的青睞，以實(shí)現(xiàn)團(tuán)隊(duì)的目標(biāo)，并最終成為本行業(yè)的領(lǐng)跑者。
三、應(yīng)用場(chǎng)景
本產(chǎn)品是一款用于上肢康復(fù)的智能康復(fù)訓(xùn)練體系，可用于中風(fēng)、肌肉、 骨骼損傷患者的手臂和手指進(jìn)行康復(fù)訓(xùn)練。根據(jù)國(guó)際認(rèn)定的Brunnstrom分期量表，針對(duì)不同時(shí)期患者，本產(chǎn)品采用不同康復(fù)方式，針對(duì)軟癱期患者，制定規(guī)范的康復(fù)路徑，采用被動(dòng)康復(fù)，恢復(fù)患者肌力；針對(duì)痙攣期患者，采集患者康復(fù)過(guò)程中的肌電信號(hào)，通過(guò)獲取患者意圖，實(shí)現(xiàn)主動(dòng)康復(fù)；針對(duì)恢復(fù)期患者，進(jìn)行多關(guān)節(jié)精細(xì)運(yùn)動(dòng)以及ADL訓(xùn)練，采用抗阻加處方訓(xùn)練的方式，實(shí)現(xiàn)康復(fù)。
應(yīng)用場(chǎng)景大致可以分為以下兩類：
- 適用于患者在醫(yī)院或康復(fù)理療中心等機(jī)構(gòu)進(jìn)行康復(fù)訓(xùn)練及評(píng)估。
- 我們團(tuán)隊(duì)通過(guò)在這些機(jī)構(gòu)中投放該產(chǎn)品，并為其提供技術(shù)支持，患者可以在醫(yī)院內(nèi)使用設(shè)備進(jìn)行康復(fù)。本套產(chǎn)品中康復(fù)訓(xùn)練評(píng)估系統(tǒng)既能搭配配套的外骨骼，還可能跟眾多康復(fù)輔具設(shè)備進(jìn)行結(jié)合，使得產(chǎn)品應(yīng)用更廣，可以同時(shí)康復(fù)多處部位。
- 針對(duì)情況比較嚴(yán)重的患者，如處在軟癱期、痙攣期的患者，在醫(yī)院或康復(fù)理療中心等機(jī)構(gòu)進(jìn)行康復(fù)訓(xùn)練，康復(fù)評(píng)估的結(jié)果可以在醫(yī)院實(shí)時(shí)的給康復(fù)醫(yī)師進(jìn)行查看，以便制定下一步的針對(duì)性康復(fù)策略。
- 適用于患者在家中進(jìn)行康復(fù)訓(xùn)練及評(píng)估。
- 部分腦卒中患者行動(dòng)不便，前往醫(yī)院可能費(fèi)時(shí)費(fèi)力，增加患者經(jīng)濟(jì)與心理負(fù)擔(dān)，導(dǎo)致難以前往醫(yī)院進(jìn)行康復(fù)，以致于錯(cuò)過(guò)康復(fù)訓(xùn)練的黃金時(shí)間。
- 在疫情期間，人們只能居家隔離，一些老年偏癱患者，特別是農(nóng)村的患者，難以得到有效的康復(fù)治療。
- 處于恢復(fù)期的患者，可以在家中安裝設(shè)備，在家屬的陪同下進(jìn)行康復(fù)訓(xùn)練，提高康復(fù)訓(xùn)練便利性。
本項(xiàng)目通過(guò)康復(fù)檢測(cè)評(píng)估系統(tǒng)將康復(fù)治療變得隨時(shí)隨地，康復(fù)醫(yī)師可遠(yuǎn)程監(jiān)控患者的康復(fù)情況。對(duì)病人進(jìn)行康復(fù)訓(xùn)練的同時(shí)，利用外骨骼機(jī)器人的傳感器對(duì)病人的生物力學(xué)等相關(guān)數(shù)據(jù)進(jìn)行采集與分析，可以對(duì)病人的病情進(jìn)行更加精確的分析，加深對(duì)于腦卒中患者的病理性分析與相應(yīng)診療方案。
四、產(chǎn)品功能
本產(chǎn)品通過(guò)基于MPU9250慣性傳感器開發(fā)的動(dòng)作捕捉設(shè)備，采集患者動(dòng)作數(shù)據(jù)作為數(shù)據(jù)來(lái)源，并基于此開發(fā)了兩套康復(fù)評(píng)估系統(tǒng)。
訓(xùn)練中的的康復(fù)評(píng)估系統(tǒng)能夠在患者進(jìn)行康復(fù)訓(xùn)練的時(shí)候獲取動(dòng)作數(shù)據(jù)，通過(guò)關(guān)節(jié)角度數(shù)據(jù)信息與標(biāo)準(zhǔn)庫(kù)中的正常人動(dòng)作數(shù)據(jù)對(duì)比，首先通過(guò)DTW算法規(guī)整，時(shí)間序列，然后通過(guò)皮爾遜系數(shù)判斷兩個(gè)系列之間的相關(guān)性，從而進(jìn)行簡(jiǎn)單的訓(xùn)練中康復(fù)。
評(píng)估訓(xùn)練后康復(fù)評(píng)估系統(tǒng)，根據(jù)腦卒中分期量表，讓患者按照規(guī)定的范式動(dòng)作進(jìn)行運(yùn)動(dòng)，通過(guò)隨機(jī)森林算法對(duì)患者目前的康復(fù)程度進(jìn)行分期評(píng)估。通過(guò)采集患者肌電信號(hào)，構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)準(zhǔn)確識(shí)別患者上肢運(yùn)動(dòng)意圖，準(zhǔn)確率達(dá)到90%以上，從而實(shí)現(xiàn)主動(dòng)康復(fù)，為患者制定個(gè)性化的康復(fù)訓(xùn)練計(jì)劃。并使用unity3D開發(fā)了康復(fù)小游戲，實(shí)現(xiàn)患者與游戲之間的體感交互，增加康復(fù)訓(xùn)練的趣味性。使用小熊派開發(fā)板，將數(shù)據(jù)存儲(chǔ)至部署django框架的華為云服務(wù)器的數(shù)據(jù)庫(kù)中建立患者個(gè)人信息數(shù)據(jù)庫(kù)。此外，我們通過(guò)設(shè)計(jì)鴻蒙app實(shí)現(xiàn)人機(jī)交互，擁有專業(yè)評(píng)估系統(tǒng)，專屬評(píng)估報(bào)告等功能。
鴻蒙app部分代碼如下：
<div class="container">
<div class="line">
<div class="line_1">
<div class="line1">
<image src="../../common/images/bobath.png" class="tp"></image>
</div>
<text class="title1">bobath握手</text>
<text class="title2">10分鐘</text>
</div>
<div class="line_1">
<div class="line2">
<image src="../../common/images/shang.png" class="tp"></image>
</div>
<text class="title1">上舉</text>
<text class="title2">15分鐘</text>
</div>
</div>
<div class="line">
<div class="line_1">
<div class="line1">
<image src="../../common/images/tuila.png" class="tp"></image>
</div>
<text class="title1">推拉活動(dòng)</text>
<text class="title2">10分鐘</text>
</div>
<div class="line_1">
<div class="line2">
<image src="../../common/images/xuan.png" class="tp"></image>
</div>
<text class="title1">旋前旋后</text>
<text class="title2">20分鐘</text>
</div>
</div>
<div class="line">
<div class="line_1">
<div class="line1">
<image src="../../common/images/wanguan.png" class="tp"></image>
</div>
<text class="title1">腕關(guān)節(jié)屈伸</text>
<text class="title2">15分鐘</text>
</div>
<div class="line_1">
<div class="line2">
<image src="../../common/images/guan.png" class="tp"></image>
</div>
<text class="title1">關(guān)節(jié)尺偏</text>
<text class="title2">10分鐘</text>
</div>
</div>
</div>
鴻蒙app頁(yè)面展示：
五、項(xiàng)目創(chuàng)新點(diǎn)
1、全上肢康復(fù)硬件系統(tǒng)
（1）仿生式的上肢康復(fù)機(jī)械臂
本產(chǎn)品按照人體工程學(xué)，同時(shí)基于對(duì)鶴頸部的研究利用四連桿機(jī)構(gòu)代替鶴頸部的骨架，利用繩傳動(dòng)替代鶴頸部的肌肉，模仿出鶴頸部的運(yùn)動(dòng)方式。在驅(qū)動(dòng)源與從動(dòng)軸之間采用繩傳動(dòng)結(jié)構(gòu)，對(duì)患者進(jìn)行穩(wěn)定柔順的康復(fù)訓(xùn)練運(yùn)動(dòng)，其延展性增大運(yùn)動(dòng)過(guò)程的緩沖，避免對(duì)患者造成康復(fù)時(shí)的二次損傷。
（2）基于MPU9250自主設(shè)計(jì)的動(dòng)作捕捉設(shè)備
基于MPU9250采集加速度、角速度進(jìn)行多數(shù)據(jù)融合算法，實(shí)現(xiàn)IMU姿態(tài)融合。對(duì)加速度計(jì)和陀螺儀的數(shù)據(jù)，采用四元數(shù)法進(jìn)行數(shù)據(jù)處理，其能夠很好的實(shí)現(xiàn)坐標(biāo)空間轉(zhuǎn)換，避免歐拉角萬(wàn)向節(jié)死鎖問(wèn)題，減小了方向余弦的計(jì)算量過(guò)大問(wèn)題，并對(duì)數(shù)據(jù)進(jìn)行空間變化處理，極大提高數(shù)據(jù)分析的精準(zhǔn)度。
（3）基于ROS開發(fā)的機(jī)械臂控制系統(tǒng)
上位機(jī)和下位機(jī)閉環(huán)控制系統(tǒng)。整體分為三部分內(nèi)容，Movelt，Driver，單片機(jī)。在Movelt中采用action通信機(jī)制，分為客戶端和服務(wù)端，Movelt為我們提供了客戶端，我們需要自己寫服務(wù)端，客戶端向服務(wù)端發(fā)送目標(biāo)，等服務(wù)端接受到請(qǐng)求之后，向客戶端返回當(dāng)前的狀態(tài)?？蛻舳丝梢灾肋M(jìn)度，并且可以隨時(shí)暫停進(jìn)度。在服務(wù)端還可以周期反饋任務(wù)運(yùn)行的監(jiān)控?cái)?shù)據(jù)。當(dāng)任務(wù)結(jié)束后向客戶端發(fā)送結(jié)果。這是上位機(jī)之間的數(shù)據(jù)傳輸。上位機(jī)和下位機(jī)之間，采用通信協(xié)議，將數(shù)據(jù)發(fā)給單片機(jī)。單片機(jī)驅(qū)動(dòng)電機(jī)運(yùn)動(dòng)。再通過(guò)通信協(xié)議將數(shù)據(jù)發(fā)送到上位機(jī)，上位機(jī)通過(guò)這些數(shù)據(jù)，計(jì)算出目前的狀態(tài)。實(shí)現(xiàn)閉環(huán)控制系統(tǒng)。
（4）基于Brunnstrom的量化評(píng)估標(biāo)準(zhǔn)
我們采用國(guó)際認(rèn)證的Brunnstrom評(píng)定量表，將表中的肢體評(píng)定標(biāo)準(zhǔn)量化為關(guān)節(jié)活動(dòng)限度，并將患者的運(yùn)動(dòng)數(shù)據(jù)作為隨機(jī)森林模型的輸入，經(jīng)過(guò)多維度的特征值歸一化處理之后能夠輸出為Brunnstrom量表的康復(fù)時(shí)期，通過(guò)對(duì)Brunnstrom評(píng)定標(biāo)準(zhǔn)表的全定量化，使其能夠適用于機(jī)器的參數(shù)化評(píng)估，使得整個(gè)評(píng)估過(guò)程數(shù)據(jù)化、結(jié)果更加的客觀，彌補(bǔ)康復(fù)醫(yī)師主觀性評(píng)估過(guò)程存在的不足。
2、多元化康復(fù)軟件系統(tǒng)
（1）基于DTW算法的數(shù)據(jù)驅(qū)動(dòng)式康復(fù)訓(xùn)練
采用DTW和Pearson系數(shù)相融合的創(chuàng)新方法對(duì)患者的動(dòng)作進(jìn)行評(píng)估，利用DTW算法、皮爾遜系數(shù)，將患者康復(fù)訓(xùn)練過(guò)程中的關(guān)節(jié)實(shí)時(shí)變化角度曲線與標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)正常人關(guān)節(jié)角度曲線進(jìn)行比對(duì)，患者可通過(guò)關(guān)節(jié)角度的實(shí)時(shí)曲線圖了解自己動(dòng)作完成情況，治療師也可通過(guò)實(shí)時(shí)曲線圖及時(shí)動(dòng)作指導(dǎo)，以及簡(jiǎn)單評(píng)估患者康復(fù)訓(xùn)練恢復(fù)程度。圖為訓(xùn)練中的患者與正常人關(guān)節(jié)角度曲線對(duì)比圖。
（2）基于Unity3D虛擬現(xiàn)實(shí)的趣味性康復(fù)訓(xùn)練
產(chǎn)品基于Unity3D設(shè)計(jì)的康復(fù)訓(xùn)練游戲，結(jié)合虛擬現(xiàn)實(shí)技術(shù)，隨意更改患者訓(xùn)練場(chǎng)所，實(shí)現(xiàn)患者與虛擬游戲環(huán)境的自然交互，提供多種形式的反饋信息,解決了傳統(tǒng)的康復(fù)訓(xùn)練過(guò)程枯燥的問(wèn)題，增加患者訓(xùn)練過(guò)程中的趣味性。
（3）基于卷積神經(jīng)網(wǎng)絡(luò)的意圖感知康復(fù)
仿生式上肢康復(fù)機(jī)械臂系統(tǒng)采用肌電信號(hào)檢測(cè)人體運(yùn)動(dòng)意圖。建立人體運(yùn)動(dòng)肌電信號(hào)與運(yùn)動(dòng)模式之間的映射關(guān)系，構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，通過(guò)modelars進(jìn)行模型部署，和在華為云服務(wù)器上進(jìn)行云端算法模型部署，精確率達(dá)到93%，能夠準(zhǔn)確識(shí)別患者上肢運(yùn)動(dòng)意圖，使患者得到充分有效的康復(fù)訓(xùn)練。
（4）基于機(jī)器學(xué)習(xí)的康復(fù)分級(jí)評(píng)估系統(tǒng)
將采集到的數(shù)據(jù)進(jìn)行微慣性傳感器、肌電信號(hào)網(wǎng)絡(luò)采集患者多信息數(shù)據(jù)，通過(guò)云傳輸方式傳遞到康復(fù)醫(yī)師的設(shè)備上，分析得到的患者康復(fù)訓(xùn)練情況以及使用RF機(jī)器學(xué)習(xí)算法評(píng)判患者分期結(jié)果。
