人體全身姿態(tài)與體型估計（EHPS, Expressive Human Pose and Shape estimation）雖然目前已經(jīng)取得了非常大研究進(jìn)展，但當(dāng)下最先進(jìn)的方法仍然受限于有限的訓(xùn)練數(shù)據(jù)集。

最近，來自南洋理工大學(xué)S-Lab、商湯科技、上海人工智能實驗室、東京大學(xué)和IDEA研究院的研究人員首次提出針對人體全身姿態(tài)與體型估計任務(wù)的動捕大模型SMPLer-X。該工作使用來自不同數(shù)據(jù)源的多達(dá)450萬個實例對模型進(jìn)行訓(xùn)練，在7個關(guān)鍵榜單上均刷新了最佳性能。

SMPLer-X除了常見的身體動作捕捉，還能輸出面部和手部動作，甚至對體型做出估計。

論文鏈接：https://arxiv.org/abs/2309.17448

項目主頁：https://caizhongang.github.io/projects/SMPLer-X/

憑借大量數(shù)據(jù)和大型模型，SMPLer-X在各種測試和榜單中表現(xiàn)出強大的性能，即使在沒有見過的環(huán)境中也具有出色的通用性：

1. 在數(shù)據(jù)擴展方面，研究人員對32個3D人體數(shù)據(jù)集進(jìn)行了系統(tǒng)的評估與分析，為模型訓(xùn)練提供參考；

2. 在模型縮放方面，利用視覺大模型來研究該任務(wù)中增大模型參數(shù)量帶來的性能提升；

3. 通過微調(diào)策略可以將SMPLer-X通用大模型轉(zhuǎn)變?yōu)閷Ｓ么竽Ｐ停蛊淠軌驅(qū)崿F(xiàn)進(jìn)一步的性能提升。

總而言之，SMPLer-X探索了數(shù)據(jù)縮放與模型縮放（圖1），對32個學(xué)術(shù)數(shù)據(jù)集進(jìn)行排名，并在其450萬個實例上完成了訓(xùn)練，在7個關(guān)鍵榜單（如AGORA、UBody、EgoBody和EHF）上均刷新了最佳性能。

Figure 1 增大數(shù)據(jù)量和模型參數(shù)量在降低關(guān)鍵榜單（AGORA、UBody、EgoBody、3DPW 和 EHF）的平均主要誤差（MPE）方面都是有效的

現(xiàn)有3D人體數(shù)據(jù)集的泛化性研究

研究人員對32個學(xué)術(shù)數(shù)據(jù)集進(jìn)行了排名：為了衡量每個數(shù)據(jù)集的性能，需要使用該數(shù)據(jù)集訓(xùn)練一個模型，并在五個評估數(shù)據(jù)集上評估模型：AGORA、UBody、EgoBody、3DPW和EHF。

表中還計算了平均主要誤差（Mean Primary Error, MPE），以便于在各個數(shù)據(jù)集之間進(jìn)行簡單比較。

從數(shù)據(jù)集泛化性研究中得到的啟示

從大量數(shù)據(jù)集的分析（圖3）中，可以得出以下四點結(jié)論：

1. 關(guān)于單一數(shù)據(jù)集的數(shù)據(jù)量，10萬個實例數(shù)量級的數(shù)據(jù)集用于模型訓(xùn)練可以得到較高的性價比；

2. 關(guān)于數(shù)據(jù)集的采集場景，In-the-wild數(shù)據(jù)集效果最好，如果只能室內(nèi)采集，需要避免單一場景以提升訓(xùn)練效果；

3. 關(guān)于數(shù)據(jù)集的采集，數(shù)據(jù)集排名前三中有兩個是生成數(shù)據(jù)集，生成數(shù)據(jù)近年來展現(xiàn)出了強大的性能。

4. 關(guān)于數(shù)據(jù)集的標(biāo)注，偽標(biāo)簽的數(shù)據(jù)集在訓(xùn)練中也發(fā)揮了至關(guān)重要的作用。

動捕大模型的訓(xùn)練與微調(diào)

當(dāng)前最先進(jìn)的方法通常只使用少數(shù)幾個數(shù)據(jù)集（例如，MSCOCO、MPII和Human3.6M）進(jìn)行訓(xùn)練，而這篇文章中探討使用了更多數(shù)據(jù)集。

在始終優(yōu)先考慮排名較高的數(shù)據(jù)集的前提下使用了四種數(shù)據(jù)量：作為訓(xùn)練集的5、10、20和32個數(shù)據(jù)集，總大小為75萬、150萬、300萬和450萬實例。

除此之外，研究人員也展示了低成本的微調(diào)策略來將通用大模型適應(yīng)到特定場景。

上表中展示了部分主要測試，如AGORA測試集（表3）、AGORA驗證集（表4）、EHF（表5）、UBody（表6）、EgoBody-EgoSet（表7）。

此外，研究人員還在ARCTIC和DNA-Rendering兩個測試集上評估了動捕大模型的泛化性。

研究人員希望SMPLer-X能帶來超出算法設(shè)計的啟發(fā)，并為學(xué)術(shù)社區(qū)提供強大的全身人體動捕大模型。

代碼和預(yù)訓(xùn)練模型都已開源，更多詳情請訪問項目主頁：https://caizhongang.github.io/projects/SMPLer-X/

結(jié)果展示