想象一下，你在玩一款 VR 游戲，準(zhǔn)備伸手拿起一個(gè)虛擬杯子喝水。

在傳統(tǒng)的交互系統(tǒng)中，這通常需要你按下控制器上的特定按鈕。但如果游戲集成了 EAI 框架，這一過程將變得無比自然。當(dāng)你的手緩緩接近虛擬杯子時(shí)，系統(tǒng)會(huì)敏銳地預(yù)測(cè)出你的未來手部動(dòng)作，無需任何操作，游戲中的“你”便會(huì)流暢地模擬出精細(xì)的手部抓取動(dòng)作，游戲引擎也會(huì)提前對(duì)你的動(dòng)作行為做出響應(yīng)。

這種無縫的交互體驗(yàn)，將會(huì)提升游戲中人-人、人- NPC 交互的實(shí)時(shí)性和準(zhǔn)確性，極大地提升游戲沉浸感。

什么是 EAI 框架？全稱是編碼-對(duì)齊-交互（Encoding-Alignment-Interaction）框架，由小紅書創(chuàng)作發(fā)布團(tuán)隊(duì)在 AAAI 2024 上創(chuàng)新提出。該框架用于預(yù)測(cè)未來全身人體動(dòng)作，尤其擅長(zhǎng)手部細(xì)微動(dòng)作的預(yù)測(cè)。

EAI 框架的應(yīng)用遠(yuǎn)不止于此。它能夠理解并預(yù)測(cè)用戶的動(dòng)作意圖，無論是在藝術(shù)表演中同步舞者的動(dòng)作，創(chuàng)造出與音樂和視覺效果和諧融合的動(dòng)態(tài)藝術(shù)，還是在智能家居中自動(dòng)響應(yīng)你的需求，或是在醫(yī)療康復(fù)領(lǐng)域指導(dǎo)患者正確執(zhí)行運(yùn)動(dòng)，避免潛在傷害。它甚至能夠預(yù)測(cè)潛在的安全威脅，如在擁擠場(chǎng)所避免踩踏事件。

實(shí)驗(yàn)結(jié)果表明：EAI 框架在多個(gè)大規(guī)?；鶞?zhǔn)數(shù)據(jù)集上取得了最先進(jìn)的預(yù)測(cè)性能（SOTA）。它有效地處理了身體和手部動(dòng)作之間的異質(zhì)性和交互性，實(shí)現(xiàn)了全身動(dòng)作預(yù)測(cè)的高質(zhì)量輸出。這一突破性的技術(shù)，預(yù)示著未來在人機(jī)交互、虛擬現(xiàn)實(shí)以及更廣泛的智能系統(tǒng)中，將有無限的可能性等待著被探索。

一、背景

人體動(dòng)作預(yù)測(cè)（Human Motion Forecasting），即預(yù)估未來一段時(shí)間內(nèi)的人類行為，正成為連接人類行為與智能系統(tǒng)的關(guān)鍵橋梁。在人機(jī)交互（HRI）、虛擬現(xiàn)實(shí)（VR）和游戲動(dòng)畫（GA）等領(lǐng)域，這一任務(wù)至關(guān)重要。然而，現(xiàn)有研究通常集中在預(yù)測(cè)人體主要關(guān)節(jié)的運(yùn)動(dòng)，卻忽略了手部精細(xì)動(dòng)作，而這些動(dòng)作在溝通和交互中至關(guān)重要。

在人機(jī)交互場(chǎng)景中，機(jī)器人需要準(zhǔn)確預(yù)測(cè)人類未來動(dòng)作以實(shí)現(xiàn)有效協(xié)作，但現(xiàn)有模型未能充分捕捉手部精細(xì)動(dòng)作，這直接影響了對(duì)人類意圖和行為的理解。此外，人體各部分間的協(xié)作和交付，如喝水、鼓掌等復(fù)雜交互模式，也未被現(xiàn)有預(yù)測(cè)模型充分捕捉，這限制了預(yù)測(cè)的準(zhǔn)確性和表達(dá)性。

為解決上述挑戰(zhàn)，我們首先提出了一種全新范式：全身人體動(dòng)作預(yù)測(cè)任務(wù)，即同時(shí)預(yù)測(cè)身體和手部所有關(guān)節(jié)的未來活動(dòng)。通過這種聯(lián)合預(yù)測(cè)，可以更準(zhǔn)確地捕捉人類行為的全貌，從而在人機(jī)交互等應(yīng)用中提供更自然的交互體驗(yàn)。這種全身運(yùn)動(dòng)預(yù)測(cè)不僅包括身體的主要?jiǎng)幼?，還細(xì)致地考慮了手部的精細(xì)運(yùn)動(dòng)，以理解人類行為的意圖和情感表達(dá)。

進(jìn)一步地，為實(shí)現(xiàn)面向全身人體關(guān)節(jié)的細(xì)粒度動(dòng)作預(yù)測(cè)的目標(biāo)，我們重點(diǎn)提出了編碼-對(duì)齊-交互（Encoding-Alignment-Interaction，EAI）框架。EAI 框架主要包括以下兩個(gè)核心組成部分：

• 跨上下文對(duì)齊（cross-context-alignment，XCA）：用于對(duì)齊不同人體組件的潛在特征，消除異質(zhì)性
• 跨上下文交互（cross-context-interaction，XCI）：專注于捕捉人體組件間的上下文交互，提高動(dòng)作預(yù)測(cè)的準(zhǔn)確性

通過在新引入的大型數(shù)據(jù)集上的廣泛實(shí)驗(yàn)，EAI 框架在 3D 全身人體動(dòng)作預(yù)測(cè)方面取得了最先進(jìn)的性能，證明了其在捕捉人類動(dòng)作細(xì)微差別方面的有效性。這些實(shí)驗(yàn)結(jié)果不僅展示了 EAI 框架在預(yù)測(cè)復(fù)雜人類動(dòng)作方面的優(yōu)越性，還為未來的人機(jī)交互和虛擬現(xiàn)實(shí)等領(lǐng)域的應(yīng)用提供了新的視角和可能性。

二、方法

EAI 算法流程圖

如圖所示，EAI 框架主要涉及以下三個(gè)核心步驟：

• Encoding ：通過離散余弦變換（DCT） 和動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（GCNs）提取運(yùn)動(dòng)序列的時(shí)空相關(guān)性，并將其編碼為高維隱藏特征；
• Alignment：通過提出的跨上下文對(duì)齊（XCA）來調(diào)整不同身體部分的潛在特征，使其更加一致；
• Interaction：利用提出的跨上下文交互（XCI）來捕捉身體各部分之間的語(yǔ)義和物理互動(dòng)。

這種方法通過聯(lián)合預(yù)測(cè)身體和手部動(dòng)作，能夠提高預(yù)測(cè)運(yùn)動(dòng)的準(zhǔn)確性和表達(dá)性，特別是在捕捉不同人體部分動(dòng)作的細(xì)微差別方面具有較強(qiáng)的性能。

2.1 內(nèi)部上下文編碼（Intra-context Encoding）

內(nèi)部上下文編碼（Intra-context Encoding）是 EAI 框架中的一個(gè)重要模塊，負(fù)責(zé)從每個(gè)身體部分（如左手、右手和主要身體）提取特征。該模塊能夠獨(dú)立地處理每個(gè)身體部分，以便捕捉每個(gè)組件內(nèi)部的時(shí)空相關(guān)性。假設(shè)下標(biāo)  ， ， 分別表示左手、軀干和右手，我們將全身人體姿態(tài)劃分為三個(gè)部分：左手動(dòng)作序列  ，軀干動(dòng)作序列  ，右手動(dòng)作序列  。具體操作步驟如下：

a. DCT 編碼：在時(shí)間域，使用離散余弦變換（Discrete Cosine Transform，DCT）來捕捉動(dòng)作序列的時(shí)序平滑性，將觀察到的動(dòng)作序列轉(zhuǎn)換到軌跡空間:

b. GCN 表示學(xué)習(xí)：在空間域，利用圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks，GCNs）將骨骼表示為一個(gè)全連接圖，通過鄰接矩陣來捕捉空間關(guān)系：

其中，  表示 ReLU 激活函數(shù)，  表示鄰接矩陣，  表示輸入特征， 表示 GCN 權(quán)重矩陣，  表示輸出特征。上述是以軀干關(guān)節(jié)進(jìn)行的上下文編碼。相似地，我們也能夠得到左右手的關(guān)節(jié)表示  、 ，這些特征隨后將用于跨上下文對(duì)齊和交互，以實(shí)現(xiàn)更準(zhǔn)確的全身動(dòng)作預(yù)測(cè)。

2.2 跨上下文對(duì)齊（Cross-context Alignment）

跨上下文對(duì)齊（Cross-context Alignment，XCA） 目的是對(duì)齊不同身體部分（如身體、左手和右手）的潛在特征，以消除它們之間的異質(zhì)性，從而方便后續(xù)的跨上下文特征交互。該模塊通過以下步驟實(shí)現(xiàn)特征對(duì)齊：

1. 特征中立化：引入可學(xué)習(xí)的因子來中和不同特征分布之間的差異，通過最小化最大均值差異（Maximum Mean Discrepancy，MMD）來調(diào)整特征分布，使其更加接近一致：
   
   
   
2.  環(huán)形中立化：為了進(jìn)一步實(shí)現(xiàn) part-to-part 的對(duì)齊，我們將中立化擴(kuò)展到環(huán)形版本，通過身體到手腕的鏈路來實(shí)現(xiàn)身體和手部之間的對(duì)齊，確保每個(gè)部分的特征對(duì)齊都會(huì)考慮到其他兩個(gè)部分的特征屬性。
   
3. 不一致性約束：接著，我們應(yīng)用差異約束來減少部分到部分的差異，通過計(jì)算特征的平均值和方差，然后應(yīng)用中立化和差異約束來調(diào)整特征，使其分布更加一致。

通過 XCA，EAI 框架能夠有效地處理身體各部分之間的異質(zhì)性，為后續(xù)的 XCI 提供了更加一致和協(xié)調(diào)的特征表示，從而有助于提高全身動(dòng)作預(yù)測(cè)的準(zhǔn)確性和表達(dá)性。

2.3 跨上下文交互（Cross-context Interaction）

跨上下文交互（Cross-context Interaction，XCI）是 EAI 框架中的另一個(gè)核心模塊，它專注于捕捉全身不同部分之間的交互性，包括語(yǔ)義和物理層面的互動(dòng)。這個(gè)模塊通過以下步驟實(shí)現(xiàn)交互：

a. 語(yǔ)義交互：通過交叉注意力機(jī)制，模型學(xué)習(xí)不同身體部分之間的語(yǔ)義依賴性。例如，對(duì)于吃飯這個(gè)動(dòng)作，手指和頭部關(guān)節(jié)之間存在強(qiáng)相關(guān)性。XCI 通過計(jì)算注意力圖來融合這些語(yǔ)義交互信息。

b. 物理交互：作為身體和手部之間的橋梁，手腕提供了直接的鏈?zhǔn)较嚓P(guān)性。XCI 采用“分割和融合”策略，首先獨(dú)立地復(fù)制手腕關(guān)節(jié)以包含它，然后進(jìn)行動(dòng)態(tài)特征融合，以更好地模擬身體部分之間的物理連接。

通過最小化分布差異誤差，XCI 將不同身體部分的特征融合在一起，生成表達(dá)性特征。這些特征隨后用于預(yù)測(cè)器，以回歸到預(yù)測(cè)的序列。通過 XCI，EAI 框架能夠捕捉到全身動(dòng)作中微妙的交互細(xì)節(jié)，這對(duì)于理解和預(yù)測(cè)復(fù)雜的人類行為至關(guān)重要。這種交互性的理解有助于提高預(yù)測(cè)的準(zhǔn)確性，特別是在涉及精細(xì)手部動(dòng)作的場(chǎng)景中。

2.4 損失函數(shù)（Training Loss）

損失函數(shù)（Training Loss）主要包含四個(gè)部分：關(guān)節(jié)損失、物理?yè)p失、骨頭長(zhǎng)度損失和對(duì)齊損失，具體如下：

1.  關(guān)節(jié)損失（）：用于衡量模型預(yù)測(cè)的 3D 坐標(biāo)準(zhǔn)確性的損失。通過計(jì)算預(yù)測(cè)關(guān)節(jié)位置與真實(shí)關(guān)節(jié)位置（Ground Truth）之間的平均每關(guān)節(jié)位置誤差（Mean Per Joint Position Error，MPJPE）來實(shí)現(xiàn)：
   
2. 物理?yè)p失（）：用于考慮手部動(dòng)作的語(yǔ)義信息，特別是手腕的運(yùn)動(dòng)。通過計(jì)算預(yù)測(cè)的手腕關(guān)節(jié)位置與真實(shí)手腕關(guān)節(jié)位置之間的誤差來衡量。
   
   
3. 骨頭長(zhǎng)度損失（）：用于衡量預(yù)測(cè)的骨骼長(zhǎng)度與真實(shí)骨骼長(zhǎng)度之間的差異。計(jì)算每個(gè)骨骼段的預(yù)測(cè)長(zhǎng)度與真實(shí)長(zhǎng)度之間的差異。確保模型能夠準(zhǔn)確地預(yù)測(cè)人體動(dòng)作中骨骼的伸縮和變形非常重要，特別是在涉及到手部和腳部動(dòng)作的預(yù)測(cè)中。通過最小化骨頭長(zhǎng)度損失，模型能夠更準(zhǔn)確地捕捉到動(dòng)作中的細(xì)微變化。
   
   
4.  對(duì)齊損失（）：用于衡量 XCA 模塊中特征分布的一致性。通過最小化不同身體組件特征分布之間的差異，有助于減少特征的異質(zhì)性。

最終損失是所有損失函數(shù)的加權(quán)和，綜合了預(yù)測(cè)損失、物理?yè)p失和對(duì)齊損失。通過調(diào)整權(quán)重參數(shù)（λ1、λ2、λ3）來平衡這些損失，以確保模型在訓(xùn)練過程中能夠同時(shí)優(yōu)化預(yù)測(cè)準(zhǔn)確性和特征的一致性。

三、實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：本文采用 GRAB 數(shù)據(jù)集，它一個(gè)近期發(fā)布的大規(guī)模人體運(yùn)動(dòng)分析數(shù)據(jù)集，包含超過 160 萬幀的記錄，涉及 10 位不同演員執(zhí)行的 29 種動(dòng)作。這些動(dòng)作通過高精度的運(yùn)用運(yùn)動(dòng)捕捉技術(shù)進(jìn)行捕捉。GRAB 提供了 SMPL-X 參數(shù)，從中提取了 25 個(gè)關(guān)節(jié)（3D 位置）定義為身體（ = 25），每只手則表示為 15 個(gè)關(guān)節(jié)（ =  = 15），因此全身姿態(tài)總共包含  +  +  = 25 + 15 + 15 個(gè)關(guān)節(jié)。

評(píng)估指標(biāo)：為了評(píng)估模型的性能，我們使用了平均每個(gè)關(guān)節(jié)位置誤差 MPJPE、手腕對(duì)齊后的 MPJPE-AW。MPJPE 用于衡量預(yù)測(cè)的 3D 坐標(biāo)的準(zhǔn)確性，而MPJPE-AW 則用于評(píng)估手部動(dòng)作的精細(xì)預(yù)測(cè)，通過將手勢(shì)與手腕對(duì)齊來減少手腕運(yùn)動(dòng)對(duì)預(yù)測(cè)的影響。

實(shí)驗(yàn)設(shè)置：我們采用了兩種訓(xùn)練策略來評(píng)估不同方法的性能：

（1）分隔（D）訓(xùn)練策略，分別針對(duì)每個(gè)人體組件的訓(xùn)練基線方法，這種獨(dú)立策略缺乏組件之間的交互，可以用來說明 XCI 的有效性。

（2）聯(lián)合（U）訓(xùn)練策略，將 GCN 的節(jié)點(diǎn)數(shù)擴(kuò)展到 55（ = 25， =  = 15），這種策略通過全身圖隱含地包含跨上下文交互，但不考慮不同身體部分的異質(zhì)性，用來展示 XCA 的有效性。訓(xùn)練細(xì)節(jié)包括使用 AdamW 優(yōu)化器，初始學(xué)習(xí)率為 0.001，批次大小為 64，訓(xùn)練 50 個(gè)周期，每?jī)蓚€(gè)周期學(xué)習(xí)率衰減0.96。權(quán)衡參數(shù) {λ1, λ2, λ3} 設(shè)置為 {1, 0.1, 0.001}。

3.2 指標(biāo)對(duì)比結(jié)果

我們首先統(tǒng)計(jì)了 GRAB 數(shù)據(jù)集上的平均預(yù)測(cè)性能（表 1），針對(duì)每種動(dòng)作類型統(tǒng)計(jì)了預(yù)測(cè)性能（表 2）。我們分別展示了使用分割策略（標(biāo)注為 D）和聯(lián)合策略（標(biāo)注為 U）的預(yù)測(cè)結(jié)果。另外，每個(gè)表格中分別展示了身體關(guān)節(jié)的預(yù)測(cè)結(jié)果（major body）、左手關(guān)節(jié)的預(yù)測(cè)結(jié)果（left hand）、右手關(guān)節(jié)的預(yù)測(cè)結(jié)果（right hand），以及使用腕關(guān)節(jié)對(duì)齊后的左手對(duì)齊誤差（left hand AW）、右手對(duì)齊誤差（right hand AW），以及全身所有關(guān)節(jié)的預(yù)測(cè)結(jié)果（whole body）。

表1：GRAB 數(shù)據(jù)集上采用分隔（D）和聯(lián)合（U）訓(xùn)練的平均預(yù)測(cè)結(jié)果

表2：采用統(tǒng)一訓(xùn)練策略，GRAB 數(shù)據(jù)集上每一個(gè)動(dòng)作類別下的預(yù)測(cè)結(jié)果

3.3 可視化對(duì)比結(jié)果

可視化對(duì)比結(jié)果部分提供了一種直觀的方式來評(píng)估和理解模型在預(yù)測(cè)全身動(dòng)作方面的性能。通過展示「play」動(dòng)作的全身骨骼形式，我們可以分析模型的預(yù)測(cè)性能。這些可視化結(jié)果可以幫助我們直觀地理解模型在預(yù)測(cè)精細(xì)動(dòng)作和粗略動(dòng)作方面的表現(xiàn)?？梢郧逦乜闯?，提出的 EAI 方法不僅在預(yù)測(cè)軀干姿態(tài)方面取得了最優(yōu)的性能，而且對(duì)于細(xì)粒度的手部動(dòng)作具有更好的預(yù)測(cè)結(jié)果。

「play」動(dòng)作下的全身關(guān)節(jié)預(yù)測(cè)結(jié)果對(duì)比

3.4 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)（Ablation Study）旨在評(píng)估 EAI 框架中不同組件對(duì)最終性能的貢獻(xiàn)程度。這些實(shí)驗(yàn)通過單獨(dú)移除或修改框架中的某些部分來觀察模型性能的變化。具體來說，消融實(shí)驗(yàn)包括以下幾個(gè)方面：

1. 移除 XCA 和 XCI ：首先，實(shí)驗(yàn)移除了跨上下文對(duì)齊（XCA）和跨上下文交互（XCI）模塊，以觀察這些核心組件對(duì)模型性能的影響。通過比較移除這些組件前后的平均預(yù)測(cè)誤差，可以評(píng)估它們?cè)谔岣哳A(yù)測(cè)準(zhǔn)確性方面的重要性。
2. 移除 XCA 的子模塊：進(jìn)一步地，實(shí)驗(yàn)移除了 XCA 中的交叉中性化（CN）和差異約束（DC）子模塊，以單獨(dú)評(píng)估這些技術(shù)在對(duì)齊不同身體部分特征分布中的作用。
3. 移除 XCI 的子模塊：類似地，實(shí)驗(yàn)移除了 XCI 中的語(yǔ)義交互（SI）和物理交互（PI）子模塊，以分析這些交互在捕捉身體部分之間相互作用中的效果。
4.  全模型與消融模型比較：通過比較包含所有組件的全模型與經(jīng)過消融的模型，可以直觀地看到每個(gè)組件對(duì)整體性能的具體貢獻(xiàn)。

移除不同組件時(shí)對(duì)于算法性能影響的分析

四、結(jié)束

在本研究中，小紅書創(chuàng)作發(fā)布團(tuán)隊(duì)提出了一種創(chuàng)新的全身人體動(dòng)作預(yù)測(cè)框架——編碼-對(duì)齊-交互（EAI），該框架旨在同時(shí)預(yù)測(cè)身體主要關(guān)節(jié)和手部的精細(xì)動(dòng)作。我們通過引入跨上下文對(duì)齊（XCA）和跨上下文交互（XCI）機(jī)制，有效地處理了全身動(dòng)作預(yù)測(cè)中的異質(zhì)性和交互性問題。在新引入的 GRAB 數(shù)據(jù)集上的廣泛實(shí)驗(yàn)表明，EAI 框架在 3D 全身人體動(dòng)作預(yù)測(cè)方面取得了最先進(jìn)的性能（SOTA），顯著提升了預(yù)測(cè)的準(zhǔn)確性和表達(dá)性。

我們的工作不僅在理論上提出了新的預(yù)測(cè)框架，而且在實(shí)際應(yīng)用中也展示了其潛力，尤其是在需要精細(xì)手部動(dòng)作預(yù)測(cè)的場(chǎng)景中。這些技術(shù)能夠支撐小紅書媒體技術(shù)中面向細(xì)粒度人體動(dòng)作生成、分析、建模的需求。不過這項(xiàng)工作仍有待進(jìn)一步探索，例如，如何將與物體的交互納入模型，以提供更準(zhǔn)確的運(yùn)動(dòng)預(yù)測(cè)。隨著未來研究的深入，我們期待 EAI 框架將為人體運(yùn)動(dòng)預(yù)測(cè)領(lǐng)域帶來更多的創(chuàng)新和突破。

論文地址：https://arxiv.org/pdf/2312.11972.pdf

代碼地址：https://github.com/Dingpx/EAI

五、作者簡(jiǎn)介

• 丁鵬翔
  碩士畢業(yè)于北京郵電大學(xué)，目前為西湖大學(xué)博士生，該工作完成于在小紅書實(shí)習(xí)期間。發(fā)表多篇期刊和會(huì)議論文，主要研究方向?yàn)槿梭w動(dòng)作分析，3D 計(jì)算機(jī)視覺。
• 崔瓊杰
  博士畢業(yè)于南京理工大學(xué)，該工作完成于在小紅書實(shí)習(xí)期間。在 CVPR、ICCV、ECCV、IJCAI、AAAI 等國(guó)際會(huì)議上發(fā)表多篇論文，擔(dān)任多個(gè)國(guó)際頂級(jí)計(jì)算機(jī)視覺，人工智能會(huì)議的審稿人。目前主要研究方向?yàn)槿梭w運(yùn)動(dòng)分析與合成。
• 王浩帆
  小紅書創(chuàng)作發(fā)布組- AIGC 方向算法工程師，碩士畢業(yè)于卡內(nèi)基梅隆大學(xué)，在 CVPR、ICCV、NeurIPS、3DV、AAAI、TPAMI 等國(guó)際會(huì)議和學(xué)術(shù)期刊上發(fā)表多篇論文。目前主要研究方向?yàn)閳D像、視頻、3D 生成。