隨著人形機器人技術(shù)的迅猛發(fā)展，如何有效獲取高質(zhì)量的操作數(shù)據(jù)成為核心挑戰(zhàn)。鑒于人類操作行為的復(fù)雜性和多樣性，如何從真實世界中精準(zhǔn)捕捉手與物體交互的完整狀態(tài)，成為推動人形機器人操作技能學(xué)習(xí)的關(guān)鍵所在。面對這一挑戰(zhàn)，穹徹智能攜手上海交通大學(xué)盧策吾和劉景全團(tuán)隊，創(chuàng)新性地提出了名為 ViTaM 的視覺-觸覺聯(lián)合記錄和追蹤系統(tǒng)。該系統(tǒng)包括高密度可伸縮觸覺手套和基于視覺-觸覺的聯(lián)合學(xué)習(xí)框架，不僅在觸覺手套的設(shè)計和制造上實現(xiàn)了技術(shù)突破，更通過視覺與觸覺的深度融合，為理解手物交互過程狀態(tài)提供了全新的視角和強大工具。

在人形機器人操作領(lǐng)域，有一個極具價值的問題：鑒于操作數(shù)據(jù)在人形操作技能學(xué)習(xí)中的重要性，如何有效地從現(xiàn)實世界中獲取操作數(shù)據(jù)的完整狀態(tài)？

如果可以，那考慮到人類龐大規(guī)模的人口和進(jìn)行復(fù)雜操作的簡單直觀性與可擴展性，人形機器人再也不用擔(dān)心沒有高質(zhì)量的操作數(shù)據(jù)資源了。

穹徹智能攜手上海交通大學(xué)盧策吾和劉景全團(tuán)隊意識到，分布式觸覺技術(shù)對于重建完整人類操作至關(guān)重要，當(dāng)操作被遮擋時，觸覺可以作為視覺的有效補充，從而一同還原出操作區(qū)域的形變狀態(tài)、接觸力位點和大小。因此，該團(tuán)隊提出了一種全新的視覺 - 觸覺聯(lián)合記錄和追蹤系統(tǒng) ViTaM（為 Visual-Tactile recording and tracking system for Manipulation 的縮寫），包括一個可伸縮的觸覺手套，與一個基于視覺 - 觸覺的聯(lián)合學(xué)習(xí)框架。文章在 24 個物體樣本中進(jìn)行實驗，涵蓋了 6 個類別，包含剛性物體和可形變物體，重建誤差均值僅為 1.8 厘米。 

ViTaM 系統(tǒng)在未來發(fā)展中，有望被深度集成至機器人的電子皮膚之中，從而賦予機器人與周圍環(huán)境進(jìn)行無縫互動的能力。這不僅能夠使機器人實時感知并精準(zhǔn)響應(yīng)多樣化的環(huán)境刺激，更將極大提升其在復(fù)雜場景下的靈巧操作水平，推動智能機器人技術(shù)邁向更加先進(jìn)和實用的新階段。

• 論文名稱：Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array
• 論文鏈接：https://www.nature.com/articles/s41467-024-53654-y
• 項目地址：https://github.com/jeffsonyu/ViTaM

演示視頻：

可以看到，對于剛體和可形變物體，系統(tǒng)都能進(jìn)行高水準(zhǔn)的重建，也同時適用于不同類型的物體，如紙杯，橡皮泥，剪刀等日常生活中常見的物體。

ViTaM 方法詳解

圖 1：A 人機交互中涉及人類操作的（i）無力交互和（ii）有力交互的任務(wù)及其響應(yīng)結(jié)果。B ViTaM 系統(tǒng)概述：(i) 受人類啟發(fā)的聯(lián)合感知方法，在操作過程中同時處理跨模態(tài)的視覺和觸覺信號，以實現(xiàn)狀態(tài)跟蹤；(ii) 可拉伸界面的應(yīng)變導(dǎo)致的傳感誤差，它降低了力測量的精度和觸覺傳感器的應(yīng)用效果；(iii) 觸覺記錄方案，包括具有主動應(yīng)變干擾抑制功能的高密度可拉伸觸覺手套，以及用于顯式分布式力檢測結(jié)果的 VR 界面；(iv) 由深度學(xué)習(xí)驅(qū)動的物體狀態(tài)估計應(yīng)用，能夠重建物體的整體幾何形狀和接觸區(qū)域的細(xì)粒度表面形變，特別是對于可形變物體。

ViTaM 系統(tǒng)核心挑戰(zhàn)是要解決在與可形變物體進(jìn)行帶力交互時如何捕捉細(xì)粒度信息，當(dāng)可形變物體能被正確捕捉時，剛性部件的交互就自然迎刃而解了。

該系統(tǒng)利用一個高密度、可拉伸觸覺手套和一個 3D 相機記錄操作過程，并利用一個視覺 - 觸覺聯(lián)合學(xué)習(xí)框架在幾何層面上估計手 - 物體的狀態(tài)。高密度觸覺手套最多有 1152 個觸覺傳感通道分布在手掌上，當(dāng)與物體交互時，會記錄接觸區(qū)域的手部物體狀態(tài)，并以 13Hz 的幀速率準(zhǔn)確捕捉手物交互過程中可拉伸界面上的力分布和動態(tài)（圖 1B (iii)）。同時，非接觸區(qū)域的手與物體狀態(tài)可以由高精度深度攝像頭記錄。

捕捉到的力測量和點云序列，經(jīng)過視覺 - 觸覺學(xué)習(xí)模型處理，融合跨模態(tài)數(shù)據(jù)特征，最終實現(xiàn)對不同形變材料的被操作物體的跟蹤和幾何三維重建（圖 1B (iv)）。

A. 硬件設(shè)計：觸覺手套的設(shè)計與制造

在高精度觸覺反饋系統(tǒng)中，如何準(zhǔn)確地捕捉并傳遞手部與物體之間的交互力，一直是硬件設(shè)計中的一個核心挑戰(zhàn)。特別是在涉及復(fù)雜手部運動和多點壓力分布的情況下，傳統(tǒng)的傳感器系統(tǒng)往往難以滿足高靈敏度和高可靠性的需求。因此，開發(fā)一款能夠精確感知觸覺信息并支持多通道力傳感的手套式硬件設(shè)備顯得尤為重要。受到現(xiàn)有觸覺手套技術(shù)啟發(fā)，團(tuán)隊研發(fā)了這一款創(chuàng)新的觸覺手套系統(tǒng)。該手套包括多個模塊（如圖 2A 所示）：觸覺傳感模塊、織物手套、柔性印刷電路（FPC）、多通道掃描電路、處理電路以及一個腕帶。系統(tǒng)設(shè)計的核心目標(biāo)包括：

1. 高效的數(shù)據(jù)傳輸與靈活的系統(tǒng)擴展：手套的設(shè)計采用模塊化結(jié)構(gòu)，便于根據(jù)不同需求調(diào)整傳感器的密度或進(jìn)行拆卸。其中，三種類型的 FPC 分別連接手指與掌心傳感區(qū)域，支持最大 1152 個傳感單元（原型系統(tǒng)配備 456 個傳感單元）。
2. 觸覺傳感的高精度與準(zhǔn)確性：系統(tǒng)包含了力傳感電路和應(yīng)變干擾檢測電路，以保證觸覺數(shù)據(jù)的高精度采集與處理，這些傳感器通過導(dǎo)電織物線路連接，形成行列電極陣列，以實現(xiàn)準(zhǔn)確的力感應(yīng)和應(yīng)變測量。
3. 人體工學(xué)舒適性：為了提高觸覺手套的舒適性和適配性，采用了先進(jìn)的織物傳感技術(shù)，避免了傳統(tǒng)方法中常見的膠層分層問題。每個觸覺傳感模塊由正負(fù)應(yīng)變傳感器和力傳感器陣列構(gòu)成（圖 2B）。這種全織法組裝方式不僅提高了手套的耐用性和穿戴感，還使得手套更加適應(yīng)復(fù)雜的手部運動和操作環(huán)境。
4. 低成本與量產(chǎn)潛力：在系統(tǒng)的整體設(shè)計中，觸覺手套經(jīng)過多次測試驗證，原型版的準(zhǔn)確率達(dá)到 97.15%，證明其足以滿足大多數(shù)人機交互應(yīng)用的需求。成本方面，觸覺手套的單價為 3.38 美元，而硬件總成本為 26.63 美元，使得該產(chǎn)品具備了較高的性價比，并有望廣泛推廣。通過加工工藝的逐步簡化以及生產(chǎn)自動化技術(shù)的實現(xiàn)，該觸覺手套在未來有著較大的量產(chǎn)潛力。

該觸覺手套系統(tǒng)不僅能夠精確捕捉力感信息，還具備高適配性和舒適性，適用于多種實際應(yīng)用場景，如虛擬現(xiàn)實、機器人操作及醫(yī)療領(lǐng)域等。

圖 2：觸覺手套的具體設(shè)計：A. 最大傳感通道為 1152 的高密度可拉伸觸覺手套的放大示意圖；B. (i) 帶有兩對應(yīng)變電極、行電極陣列和列電極陣列的觸覺傳感塊的結(jié)構(gòu)；(ii) 顯示應(yīng)變電極位置的放大圖；(iii) 顯示緊密裝配的觸覺傳感塊側(cè)視圖。

B. 視覺 - 觸覺聯(lián)合學(xué)習(xí)在人類操作中的應(yīng)用

在操作可形變物體時，手部與物體接觸的力分布能夠幫助揭示因形變而發(fā)生的幾何變化。然而，由于形變區(qū)域幾乎具備無限的自由度，完全估算物體形變的幾何形狀一直是一個難題。盡管觸覺手套能夠測量接觸區(qū)域的分布力并幫助感知形變，但其覆蓋范圍僅限于部分物體表面，且即便是高密度、分布式的傳感器網(wǎng)絡(luò)也難以全面捕捉物體的完整幾何信息。因此，團(tuán)隊認(rèn)為，還需要視覺觀測來彌補這一不足，從而恢復(fù)完整的物體幾何形態(tài)。此類視覺 - 觸覺交互機制與人類的認(rèn)知過程高度相似。

團(tuán)隊提出了一種視覺 - 觸覺聯(lián)合學(xué)習(xí)框架，旨在手 - 物體重建和跟蹤中恢復(fù)物體幾何信息，尤其是在高度非剛性形變的情況下。該框架通過結(jié)合觸覺數(shù)據(jù)和視覺信息，能夠有效重建被手部遮擋或形變的物體細(xì)節(jié)。為了評估這一框架，團(tuán)隊制作了一個視覺 - 觸覺數(shù)據(jù)集，包括 7680 個樣本，涵蓋 24 種物體、6 個類別。數(shù)據(jù)集中包括海綿、橡皮泥、瓶子和杯子等可形變物體，以及折疊架和剪刀等剛性物體。每個物體都進(jìn)行了 20 次觸摸，并通過 16 個不同的攝像頭視角進(jìn)行了記錄。訓(xùn)練數(shù)據(jù)來自 RFUniverse，它支持基于有限元方法（FEM）的仿真，測試數(shù)據(jù)則來源于實際操作。

圖 3: 該模型包含手部重建器、特征提取器、時間特征融合器和繞數(shù)場（WNF）預(yù)測器。全局和局部特征均從視覺和觸覺輸入中提取，并基于手部的區(qū)塊位置。團(tuán)隊將這些特征融合在一起，利用時間交叉注意模塊計算每點特征，預(yù)測采樣位置的 WNF，并通過行進(jìn)立方體算法重建物體幾何形狀。

實驗驗證

團(tuán)隊從兩方面驗證了系統(tǒng)的有效性：觸覺手套與可形變物體交互分析，以及視覺 - 觸覺聯(lián)合學(xué)習(xí)的物體重建效果評估。

A. 觸覺手套與可形變物體交互分析

為了驗證觸覺手套的性能，團(tuán)隊設(shè)計了一個動態(tài)的餃子制作任務(wù)，使用軟橡皮泥作為高度可形變的物體進(jìn)行實驗。該任務(wù)包括將橡皮泥揉成球狀，然后將其壓成扁平形狀（作為餃子皮），最后用手指捏合皮邊。首先，當(dāng)手掌將橡皮泥揉成球狀時，圖 4A 展示了手掌傳感區(qū)域（稱為手掌塊）的歸一化壓力變化。其次，在手掌按壓橡皮泥球時（圖 4B），經(jīng)過應(yīng)變干擾校正后的歸一化壓力高于未經(jīng)校正的結(jié)果。第三，將餃子皮對折并用拇指和食指捏合邊緣（圖 4C）。歸一化的捏合壓力顯示，經(jīng)過校正的壓力曲線在三個子階段明顯增加，這可能是由于形變帶來的顯著應(yīng)變和未校正的壓縮力減少所致。

此外，團(tuán)隊還研究了在需要手指與手掌協(xié)作的操作中，應(yīng)變干擾校正前后的觸覺傳感塊表現(xiàn)。例如，在反復(fù)捏合并釋放海綿時（圖 4D）。未校正的操作只涉及六個活躍的手指塊和九個活躍的手掌塊，這些塊的相關(guān)系數(shù)大于 85%（圖 4E (i)）。經(jīng)過校正后，團(tuán)隊發(fā)現(xiàn)了兩個額外活躍的手指塊和五個手掌塊（圖 4E (ii)）。圖 4F (i) 展示了校正前活躍塊的歸一化壓力變化，圖 4F (ii) 則展示了校正后壓力變化較小的塊。Spearman 相關(guān)性結(jié)果分別展示了未校正和校正后的數(shù)據(jù)（圖 4G (i) 與圖 4G (ii)）。位于中指遠(yuǎn)端指骨上的塊 3-1 與其他塊的相關(guān)性最高。校正后，出現(xiàn)了更多的相關(guān)性，表明所有手指塊在捏合海綿時都發(fā)揮了作用，尤其是塊 2-2、塊 5-1、塊 5-2 和塊 5-3。像塊 3-1 和塊 2-1 這樣的塊，在校正后相關(guān)系數(shù)增加超過 85%，這表明相關(guān)塊之間的協(xié)同效應(yīng)得到了增強。圖 4H 展示了校正后強相關(guān)數(shù)量的增加，進(jìn)一步說明了即使在應(yīng)變干擾的情況下，校正也有助于深入挖掘不同手指與手掌之間的依賴關(guān)系。

觸覺手套還能夠在操作過程中幫助估計物體形狀，尤其是在抓取各種物體時 —— 無論是軟物體（如塑料滴管、毛巾、塑料瓶）還是硬物體（如畫筆、勺子、小針）。在虛擬現(xiàn)實界面中，可以明顯看到沿物體邊緣的力反應(yīng)。

團(tuán)隊還考慮了手部姿態(tài)的干擾。圖 5-1 與 5-2 分別比較了兩種典型動作 —— 揉捏面團(tuán)和抓取海綿 —— 在空手姿態(tài)和與真實物體交互時的歸一化壓力曲線。與空手姿態(tài)相比，實際交互時的歸一化壓力曲線分別增加了 12 倍、16 倍和 6 倍。較低幅度的噪聲可以通過視覺 - 觸覺聯(lián)合學(xué)習(xí)框架輕松濾除。在監(jiān)督學(xué)習(xí)設(shè)置下，相關(guān)信號（例如接觸重建）得到增強，不相關(guān)信號則被抑制。

圖 4：包餃子任務(wù)以及三個動作的觸覺反應(yīng)和歸一化壓力結(jié)果：(A) 揉、(B) 壓和 (C) 捏。D 反復(fù)捏放可形變海綿的抓取任務(wù)照片。E 海綿抓取任務(wù)中主動觸覺傳感塊的分布（i）不含應(yīng)變干擾抑制，（ii）含應(yīng)變干擾抑制。F (i) 未進(jìn)行應(yīng)變干擾抑制的主動塊和 (ii) 抑制后進(jìn)一步顯示的塊的歸一化壓力曲線。G 海綿抓取任務(wù)中（i）無應(yīng)變干擾抑制時和（ii）有應(yīng)變干擾抑制時斯皮爾曼相關(guān)分析的弦圖像。H 校正前后所有手指區(qū)塊和手掌區(qū)塊的強相關(guān)數(shù)量。

圖 5-1：(A) 揉捏操作中的手部姿勢任務(wù)和 (B) 實際揉面動作與歸一化壓力曲線。

圖 5-2：(A) 在抓取操作中的手部姿勢任務(wù)和 (B) 實際抓取海綿時的壓力曲線。

B. 視覺 - 觸覺聯(lián)合學(xué)習(xí)的物體重建效果評估

為了驗證 ViTaM 系統(tǒng)的有效性，研究者們進(jìn)行了定性和定量對比測試，以回答以下問題：(1) 特定于觸覺陣列的數(shù)據(jù)格式是否能有效地向?qū)W習(xí)算法傳遞幾何信息？(2) 與其他形式的傳感器（如 RGB-D 相機或光學(xué)觸覺傳感器）相比，它是否更有效？

a) 定性結(jié)果

為了展示提出的聯(lián)合學(xué)習(xí)框架的有效性，團(tuán)隊展示了兩個彈性物體（海綿）和一個剛性物體（剪刀）的接觸物體重建。從圖 6A 中可以看到，真實數(shù)據(jù)中的手和物體都得到了很好的重建，而且在觸覺信息的幫助下，還可以重建手部遮擋的細(xì)節(jié)形狀。更重要的是，在應(yīng)變干擾抑制后，基于觸覺反饋重建的可形變海綿可以在應(yīng)變明顯的區(qū)域顯示出更多微小細(xì)節(jié)，而且由于應(yīng)變干擾抑制方法有助于恢復(fù)施加在剛性邊緣上的真實微小力，剛性物體的完整性也得到了改善。圖 6B 展示了逐漸形變的塑性體，它代表了捏餃子皮的包餃子任務(wù)。塑性體在每個步驟中的形變都得到了很好的展示。在圖 6C 中，團(tuán)隊重建了一個剛性折疊架，該折疊架采用了手與物體上不同位置的多次接觸。折疊架的細(xì)節(jié)是通過多次接觸與迭代觸覺信息嵌入（tactile embedding）來逐步完成的。此外，為了證明視覺 - 觸覺聯(lián)合學(xué)習(xí)的必要性，在圖 6D 中展示了剪刀、折疊架和瓶子的純視覺結(jié)果和視覺 - 觸覺結(jié)果。得益于視覺和觸覺特征的結(jié)合，剛性和可形變物體都得到了很好的重構(gòu)。在圖 6E 中，重建的序列證明研究者所提出的方法能夠處理多幀的連續(xù)數(shù)據(jù)。因此，該視覺 - 觸覺模型性能的提高證明，引入應(yīng)變干擾抑制的觸覺信息對于獲得手部遮擋的特征和獲取可拉伸界面上物體的動態(tài)形變都是至關(guān)重要的。

圖 6：A. 在沒有應(yīng)變干擾抑制和有應(yīng)變干擾抑制的情況下，兩塊彈性海綿和一把剛性剪刀的接觸物體重建。B. 在沒有應(yīng)變干擾抑制和有應(yīng)變干擾抑制的情況下，用手操作逐漸形變的餃子形塑性體的三個重建階段。C. 手在物體不同位置多次接觸后重建的剛性折疊架。D. 剪刀、架子和瓶子的純視覺和視覺 - 觸覺重建結(jié)果，顯示了視覺 - 觸覺關(guān)節(jié)學(xué)習(xí)的優(yōu)越性。E 根據(jù)在現(xiàn)實世界中收集到的視覺 - 觸覺數(shù)據(jù)對可形變的杯子和可形變的海綿進(jìn)行重建的序列結(jié)果。

b) 定量結(jié)果

團(tuán)隊同樣使用了定量指標(biāo)對方法進(jìn)行了評估。從表 1 中可以看到，ViTaM 在真機數(shù)據(jù)下的表現(xiàn)很理想， 大部分的物體都能做到重建誤差的倒角距離在 1~2 厘米之內(nèi)。在實驗中，首先，團(tuán)隊將現(xiàn)有的純視覺解決方案的性能與 ViTaM 系統(tǒng)的算法（不包括觸覺編碼器）進(jìn)行了比較；其次，將該算法與之前的一項工作 VTacO 進(jìn)行了比較，后者采用了基于硅膠的光學(xué)觸覺傳感器 DIGIT 來記錄接觸形變。在表 2 中可以看到 ViTaM 與前人方法的結(jié)果的倒角距離比較?？梢园l(fā)現(xiàn)，ViTaM 系統(tǒng)在重建彈性、塑性、鉸鏈?zhǔn)胶蛣傂运姆N類型的物體時，表現(xiàn)出優(yōu)于純視覺方法的性能。例如，使用 ViTaM 系統(tǒng)重建海綿的倒角距離僅為 0.467 厘米，與 VTacO 相比提高了 36%?；诠枘z的光學(xué)觸覺傳感器可以獲得更高分辨率的局部幾何信息，如尖銳邊緣或嚴(yán)重形變，而分布式觸覺手套設(shè)計則可以在遮擋過于嚴(yán)重而無法獲得視覺信息時獲得更全面的特征。

表 1：ViTaM 方法在真機物體上的重建效果指標(biāo)

表 2：ViTaM 方法與前人的基線方法的定量指標(biāo)的比較

結(jié)論與未來展望

在復(fù)雜的操作任務(wù)中，捕捉手與可形變物體之間的觸覺數(shù)據(jù)并進(jìn)一步估計手物狀態(tài)一直是一個巨大挑戰(zhàn)。特別是，缺乏準(zhǔn)確、分布式且具有可伸縮性的觸覺陣列，阻礙了視覺 - 觸覺學(xué)習(xí)的融合，限制了對一般人類操作的理解。尤其是在可伸縮界面上的應(yīng)變干擾，會嚴(yán)重影響力的測量準(zhǔn)確性和應(yīng)用效果。

本文提出了一種用于操作的視覺 - 觸覺聯(lián)合記錄與跟蹤系統(tǒng)，其中觸覺輸入通過一款具有 1152 個傳感通道和 13Hz 幀率的高密度可伸縮觸覺手套捕獲。該觸覺手套集成了一種主動的應(yīng)變干擾抑制方法，其力測量的準(zhǔn)確率達(dá)到 97.6%。與未經(jīng)校正的測量數(shù)據(jù)相比，ViTaM 的傳感器準(zhǔn)確度提升了 45.3%。這一主動方法在材料 - 電路層面工作，更符合人類在接觸剛性或可形變物體時的自適應(yīng)觸覺感知。與傳統(tǒng)的應(yīng)變干擾抑制策略相比，從結(jié)構(gòu)設(shè)計和材料選擇角度來看，本文提出的主動方法具有易于集成、成本效益高、大面積適配、耐用性強及廣泛的應(yīng)變抑制范圍等優(yōu)點。ViTaM 系統(tǒng)實現(xiàn)了跨模態(tài)數(shù)據(jù)特征的融合，揭示了手物交互過程中的被遮擋狀態(tài)，推動了智能體在人形體與機器交互（HMI）中理解能力的發(fā)展，尤其是在力學(xué)交互方面，向人類觸覺感知的水平邁進(jìn)了一步。

展望未來，ViTaM 系統(tǒng)將被集成到機器人表面覆蓋的電子皮膚中，實現(xiàn)與周圍環(huán)境的無縫互動，能夠感知并響應(yīng)多種環(huán)境刺激。此外，捕捉和恢復(fù)人類操作過程中的動態(tài)狀態(tài)將有助于更好地理解人類行為，并提升機器人靈巧操作的能力，推動從物體特定操作到通用操作場景的技術(shù)進(jìn)步。