中國(guó)學(xué)者開(kāi)發(fā)看護(hù)機(jī)器人仿真環(huán)境，還做了真人實(shí)驗(yàn)，獲IROS 2022最佳論文之一

作者：機(jī)器之心 2022-10-31 09:29:57

喂食、穿衣、擦拭身體…… 機(jī)器人掌握了人類(lèi)看護(hù)技能！

10 月 23 日 - 27 日，機(jī)器人頂會(huì) IROS 2022 在日本京都舉行。大會(huì)共收到了來(lái)自全球 57 個(gè)國(guó)家和地區(qū)的 3579 篇論文投稿，最終接收了 1716 篇，接收率達(dá)到了 47.9%。

其中，來(lái)自上海交通大學(xué)的盧策吾團(tuán)隊(duì)與康奈爾大學(xué)、哥倫比亞大學(xué)的研究者聯(lián)合推出了看護(hù)機(jī)器人仿真環(huán)境 RCareWorld。這項(xiàng)工作獲得 IROS 2022 會(huì)議六個(gè)最佳論文獎(jiǎng)項(xiàng)之一的最佳 RoboCup 論文。

兩篇 Best RoboCup 論文。圖源：Twitter@ctwy

論文地址：https://arxiv.org/pdf/2210.10821.pdf
Github 地址：https://github.com/empriselab/RCareWorld
論文主頁(yè)：https://emprise.cs.cornell.edu/rcareworld/

據(jù) WHO 數(shù)據(jù)顯示，世界上有 1.9 億人具有不同程度的行動(dòng)限制，且需要看護(hù)人員的幫助才能獲得較高的生活質(zhì)量。目前，世界主要國(guó)家逐漸進(jìn)入不同程度的老齡化社會(huì)，對(duì)護(hù)理人員的需求急劇上升，而相關(guān)人才的培養(yǎng)需要長(zhǎng)期的投入，因此，設(shè)計(jì)看護(hù)機(jī)器人是可能的解決方案。

但是，看護(hù)機(jī)器人領(lǐng)域的發(fā)展面臨著重重困難，比如：

1. 前沿研究者缺少被看護(hù)者和看護(hù)人員的第一人稱(chēng)真實(shí)需求的研究積累（任務(wù)、算法、數(shù)據(jù)）。

2. 真實(shí)機(jī)器人本體的開(kāi)發(fā)、部署、運(yùn)行和維護(hù)所需要的開(kāi)銷(xiāo)也十分高昂。

3. 該領(lǐng)域研究的實(shí)驗(yàn)需要在理解被看護(hù)者日?；顒?dòng)需求后，有針對(duì)性地進(jìn)行改造，大大增加研究成本。

因此，一個(gè)能高度擬真看護(hù)場(chǎng)景的仿真平臺(tái)，能大大降低進(jìn)入該研究領(lǐng)域的門(mén)檻，使得該領(lǐng)域的研究更容易展開(kāi)和學(xué)術(shù)同行間比較。?

和以往用于通用機(jī)器人的仿真環(huán)境不同，RCareWorld 團(tuán)隊(duì)同時(shí)吸取了來(lái)自看護(hù)場(chǎng)景相關(guān)人員，和機(jī)器人研究學(xué)者的建議，對(duì)機(jī)器人所需學(xué)習(xí)的技能、虛擬人建模、活動(dòng)場(chǎng)景設(shè)計(jì)、功能性接口等提供了充分的支持。

機(jī)器人看護(hù)技能

作者在仿真環(huán)境中對(duì)常見(jiàn)的看護(hù)任務(wù)進(jìn)行了基準(zhǔn)測(cè)試：喂食、穿衣、擦拭身體、四肢重?cái)[、幫助移動(dòng)、幫助上衛(wèi)生間等。

此外，作者進(jìn)行了兩個(gè)真實(shí)世界實(shí)驗(yàn)：

1. 將擦拭身體這個(gè)任務(wù)中學(xué)到的策略直接遷移到真機(jī)實(shí)驗(yàn)中。

2. 真實(shí)世界中的社交看護(hù)任務(wù)：作者用行為樹(shù)編程的 NAO 機(jī)器人作為教練，通過(guò) VR 界面來(lái)指導(dǎo)被看護(hù)人員的肢體復(fù)健。

完整虛擬人建模：肌肉骨骼、軟組織、關(guān)節(jié)活動(dòng)范圍

肌肉骨骼系統(tǒng)

人體的肌肉骨骼系統(tǒng)，會(huì)接收來(lái)自神經(jīng)系統(tǒng)的激活信號(hào)，以此決定對(duì)肌肉的收縮或舒張，從而帶動(dòng)骨頭關(guān)節(jié)的運(yùn)動(dòng)。該過(guò)程，作者使用 Hill-type 肌肉模型建模，參考來(lái)自 OpenSim 數(shù)據(jù)庫(kù)的相關(guān)數(shù)據(jù)，完成肌肉在人體模型的設(shè)置。

軟組織

另一方面，當(dāng)人體關(guān)節(jié)運(yùn)動(dòng)時(shí)，會(huì)造成表面軟組織形變，作者用基于 XPBD 的仿真技術(shù)對(duì)這一部分進(jìn)行了建模。這些軟組織，不僅存在于表面，還存在于口腔。在口腔中，作者對(duì)舌頭也進(jìn)行了建模。如圖，當(dāng)草莓放到人的口腔中，他的舌頭隨之形變。

關(guān)節(jié)活動(dòng)范圍

當(dāng)人受到一些損傷，如脊椎損傷（C1-C3, C4-C5, C6-C7）、腦癱、半身麻痹、腦中風(fēng)等，身體關(guān)節(jié)的活動(dòng)性會(huì)受到極大的影響，運(yùn)動(dòng)模式也會(huì)發(fā)生變化。作者根據(jù)來(lái)自臨床的數(shù)據(jù)，建模了人體受到此類(lèi)損傷后對(duì)應(yīng)的關(guān)節(jié)活動(dòng)。

活動(dòng)場(chǎng)景：無(wú)障礙性的三個(gè)層次

根據(jù)活動(dòng)場(chǎng)景的無(wú)障礙性，給場(chǎng)景分出三個(gè)等級(jí)：

常規(guī)（L1）：此時(shí)不需要進(jìn)行改造。
部分無(wú)障礙（L2）：此時(shí)部分物體需被移除，使用不便的工具或部件需被替換，如旋轉(zhuǎn)式的門(mén)把手需被替換成按壓式，或門(mén)整個(gè)替換成滑動(dòng)門(mén)。
完全無(wú)障礙（L3）：此時(shí)所有活動(dòng)區(qū)域都應(yīng)是可通過(guò)和可到達(dá)的，可能要涉及樓梯、過(guò)道加寬，上懸櫥柜下拉，臺(tái)面下方掏空等改造。

全面的修改方案參考自《通用設(shè)計(jì)指南》（Universal Design Manual）。根據(jù)《通用設(shè)計(jì)指南》的指導(dǎo)，作者修改了 16 套房子。房子模型選自 Matterport3D 數(shù)據(jù)集，總共包括 17 個(gè)廚房、17 個(gè)客廳、59 間臥室、16 個(gè)餐廳、70 間浴室、18 個(gè)休息室和 41 個(gè)其它房間。在房子中合適的區(qū)域，都配有病床、病人吊索、輪椅等醫(yī)療輔助設(shè)備。

功能性接口：模型、傳感、交互接口

根據(jù)機(jī)器人研究學(xué)者的建議，仿真環(huán)境應(yīng)該：

1. 支持控制常見(jiàn)的看護(hù)機(jī)器人模型：包括 HSR、Stretch、Nao、Fetch、Kinova、Franka、UR 等。

2. 提供多模態(tài)傳感：RGB，深度、LiDAR、關(guān)節(jié)和末端力傳感、全臂觸覺(jué)感知。

3. 具有多種交互控制界面和接口，支持規(guī)劃、控制和學(xué)習(xí)算法，便于開(kāi)發(fā)者使用：Python、ROS、VR。

上海交大推出具身智能平臺(tái)RobotFlow/RFUniverse

RCareWorld 項(xiàng)目基于 RFUniverse 仿真平臺(tái)開(kāi)發(fā)。RFUniverse 是由上海交通大學(xué)盧策吾教授團(tuán)隊(duì)發(fā)起推出的具身智能平臺(tái) RobotFlow 旗下的多物理機(jī)器人仿真平臺(tái)。該仿真平臺(tái)支持包括食物切割、衣服折疊等任務(wù)在內(nèi)的高級(jí)機(jī)器人操作任務(wù)。對(duì)剛體、關(guān)節(jié)體、柔性體、流體等物體類(lèi)型提供支持。上海交通大學(xué)MVIG盧策吾團(tuán)隊(duì)，長(zhǎng)期研究具身智能，計(jì)算機(jī)視覺(jué)，團(tuán)隊(duì)在《自然》，《自然. 機(jī)器智能》，TPAMI，ICRA，IROS上發(fā)表論文一百多篇，形成GraspNet（Anygrasp），Aphapose，HAKE等知名機(jī)器人學(xué)習(xí)，計(jì)算機(jī)視覺(jué)系統(tǒng)。

現(xiàn)已開(kāi)源：https://github.com/mvig-robotflow/pyrfuniverse

RCareWorld 論文共同第一作者徐文強(qiáng)博士是該系統(tǒng)核心人員。

共同第一作者介紹

葉若琳，上海交通大學(xué)電子系本科，康奈爾大學(xué)計(jì)算機(jī)系一年級(jí)在讀博士生，師從 Tapomayukh Bhattacharjee 教授。研究方向?yàn)槿伺c機(jī)器人交互。RCareWorld 的主要工作完成于她在上海交通大學(xué) MVIG 實(shí)驗(yàn)室（導(dǎo)師盧策吾）實(shí)習(xí)期間。

徐文強(qiáng)，上海交通大學(xué) MVIG 實(shí)驗(yàn)室四年級(jí)在讀博士生，師從盧策吾教授。研究方向?yàn)榫呱碇悄?。在?shí)驗(yàn)室內(nèi)領(lǐng)導(dǎo) RobotFlow 項(xiàng)目，其中包括多物理機(jī)器人仿真平臺(tái) RFUniverse，該項(xiàng)目是 RCareWorld 的基礎(chǔ)。