【51CTO.com快譯】根據(jù)有關(guān)研究報(bào)告，到2022年，數(shù)字健身市場(chǎng)的規(guī)模預(yù)計(jì)將達(dá)到274億美元。如果有人告訴您：有某種技術(shù)能夠取代健身教練的話，那么他一定指的是3D人體姿勢(shì)估計(jì)(Human Pose Estimation)技術(shù)。作為數(shù)字健身中一種相對(duì)較新、但發(fā)展迅速的技術(shù)，它能夠利用用戶輸入的體能練習(xí)視頻，以自動(dòng)化的方式，分析他們的各項(xiàng)運(yùn)動(dòng)參數(shù)指標(biāo)。下面，我將基于自己的實(shí)現(xiàn)經(jīng)驗(yàn)，和您討論如何為AI健身領(lǐng)域開發(fā)和實(shí)現(xiàn)3D人體姿勢(shì)估計(jì)的應(yīng)用。

什么是人體姿勢(shì)估計(jì)?

作為一種基于計(jì)算機(jī)視覺的技術(shù)，人體姿勢(shì)估計(jì)可以通過人體建模，來檢測(cè)和分析人體的各種動(dòng)作與姿勢(shì)。此類技術(shù)通常包含如下三種人體模型：

• 基于骨骼的模型 - 由一組關(guān)節(jié)(關(guān)鍵點(diǎn))組成，例如腳踝、膝蓋、肩膀、肘部、手腕和四肢的姿勢(shì)。這些組成了人體的骨骼結(jié)構(gòu)。鑒于其靈活性，此類模型可用于2D和3D人體姿勢(shì)估計(jì)技術(shù)。
• 基于輪廓的模型 - 由人體軀干和四肢輪廓的粗略寬度組成，其中人體部位是以輪廓的邊界和矩形呈現(xiàn)的。
• 基于體積的模型 - 由3D人體形狀和姿勢(shì)組成。這些姿勢(shì)由具有幾何網(wǎng)格和形狀的體積模型，通過3D掃描而捕獲。

來源--https://arxiv.org/pdf/2006.01423.pdf

下面，我將主要討論由2D或3D視角檢測(cè)到的、基于骨骼的模型。其中：2D姿態(tài)估計(jì)的檢測(cè)和分析是基于RGB圖像中人體關(guān)節(jié)的X、Y坐標(biāo);而3D姿勢(shì)估計(jì)則檢測(cè)和分析的是X、Y、Z坐標(biāo)。通常，對(duì)于健身應(yīng)用而言，最好使用3D估計(jì)，來更加精確地分析體育運(yùn)動(dòng)中的人體姿勢(shì)。因此，AI健身教練類App的基本流程是：

1. 捕捉用戶練習(xí)時(shí)的動(dòng)作

2. 分析運(yùn)動(dòng)表現(xiàn)的正確性

3. 在用戶界面上顯示錯(cuò)誤

下面，我們來討論一下3D人體姿勢(shì)估計(jì)技術(shù)是如何檢測(cè)人體關(guān)鍵點(diǎn)的：

如上圖所示，該過程首先要提取人體的關(guān)節(jié)，然后通過深度學(xué)習(xí)算法分析人體的姿勢(shì)。如果人體姿勢(shì)估計(jì)系統(tǒng)使用視頻記錄作為數(shù)據(jù)源的話，就需要從一系列實(shí)際動(dòng)作的幀，而不是單個(gè)穩(wěn)定姿勢(shì)的圖片中檢測(cè)關(guān)鍵點(diǎn)(即：關(guān)節(jié)位置)，以獲取更高的準(zhǔn)確性。

雖然目前有多種方法可以用來開發(fā)3D人體姿勢(shì)估計(jì)系統(tǒng)，但是，我們最常用的還是通過訓(xùn)練深度學(xué)習(xí)模型，從給定的圖像/幀中提取3D或2D關(guān)鍵點(diǎn)。我們將對(duì)如下視頻采用具有時(shí)空卷積的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)進(jìn)行分析。

來源--https://github.com/facebookresearch/VideoPose3D/blob/master/images/convolutions_anim.gif

通過對(duì)現(xiàn)有模型的分析，我們發(fā)現(xiàn)VideoPose3D是健身類應(yīng)用的合適選擇。它能夠從輸入中將COCO 2017數(shù)據(jù)集用作預(yù)訓(xùn)練的2D檢測(cè)器，以檢測(cè)出一組2D關(guān)鍵點(diǎn)。同時(shí)，為了準(zhǔn)確地預(yù)測(cè)特定關(guān)節(jié)的位置，它會(huì)處理在不同時(shí)間段捕獲到的多個(gè)幀中的視覺數(shù)據(jù)。

如何在AI健身教練App中使用人體姿勢(shì)評(píng)估

假設(shè)我們的目標(biāo)是：讓系統(tǒng)能夠?qū)o定的輸入視頻進(jìn)行檢查，以發(fā)現(xiàn)是否存在著常見的動(dòng)作錯(cuò)誤。也就是說，該應(yīng)用需要將輸入的視頻，與專業(yè)運(yùn)動(dòng)員相同示范動(dòng)作的參考視頻進(jìn)行比較。下面，我們來討論其具體處理流程：

1.根據(jù)動(dòng)作的開末來剪切輸入視頻

對(duì)于起點(diǎn)和終點(diǎn)的標(biāo)注，我們可以使用任意閾值，來自動(dòng)檢測(cè)身體控制點(diǎn)的位置。例如：在下蹲時(shí)，我們可以檢測(cè)手臂的角度和手的高度位置，然后通過使用任意閾值(arbitrary thresholds)，來比對(duì)捕獲到的練習(xí)動(dòng)作的起點(diǎn)和終點(diǎn)(如下圖所示)。

視頻來源--https://www.youtube.com/watch?v=M-qAx0yGK9w

當(dāng)然，我們也可以使用另一種方法：要求用戶刻意示意他們動(dòng)作的開始和結(jié)束。

2.檢測(cè)用戶身體上的2D和3D關(guān)鍵點(diǎn)

根據(jù)上述檢測(cè)到的始末點(diǎn)，算法會(huì)自動(dòng)將其對(duì)應(yīng)轉(zhuǎn)換為2D和3D關(guān)鍵點(diǎn)。

3.練習(xí)階段的分解

提取關(guān)鍵點(diǎn)(關(guān)節(jié))位置的過程中，我們需要將其與參考視頻的位置進(jìn)行比較。由于用戶實(shí)際的動(dòng)作速度，與參照視頻中專業(yè)運(yùn)動(dòng)員的動(dòng)作速度有所差異，因此我們無法進(jìn)行直接比較。

針對(duì)此類差異，我們可以通過將練習(xí)動(dòng)作分解為多個(gè)階段予以解決。如下圖所示，下蹲練習(xí)可被分為下蹲和站起，兩個(gè)主要階段。

來源--stronglifts.c​​om

接著我們可以通過逐幀分析的方式，從輸入視頻中檢測(cè)到的關(guān)鍵點(diǎn)，然后通過動(dòng)作標(biāo)準(zhǔn)，將它們逐個(gè)與參考視頻中的關(guān)鍵點(diǎn)進(jìn)行比較，以完成分解。

4.搜索常見錯(cuò)誤

在完成了3D關(guān)鍵點(diǎn)的檢測(cè)，以及練習(xí)階段的分解后，我們便可以在輸入的視頻中檢測(cè)練習(xí)動(dòng)作中的常見錯(cuò)誤了。如下圖所示，在該用戶下蹲時(shí)，我們檢測(cè)到其腿部是向外彎曲，而不是筆直的。同時(shí)，他的膝蓋應(yīng)當(dāng)比雙腳更靠近軀干。

視頻來源--https://www.youtube.com/watch?v=W73Mc0Gil9A&t=244s

5.將輸入視頻與參考視頻進(jìn)行逐幀比較

為了更加精準(zhǔn)地糾正用戶的動(dòng)作，我們需要通過如下分步流程，將輸入視頻與參考視頻進(jìn)行逐幀比較：

1) 通過減慢或快進(jìn)參考視頻，使其與輸入視頻的進(jìn)度相匹配。

2) 將用戶和專業(yè)運(yùn)動(dòng)員的骨骼模型對(duì)齊，使他們旋轉(zhuǎn)的角度和對(duì)照點(diǎn)相匹配。

3) 由于參考視頻和輸入視頻可能是從不同的距離拍攝的，因此我們需要合并或歸一化兩套骨骼。

4) 通過逐幀比較關(guān)鍵點(diǎn)，以檢測(cè)并發(fā)現(xiàn)動(dòng)作的不一致性。

5) 對(duì)不同的關(guān)節(jié)處(如：腳、膝蓋、手、肘等位置)分別重復(fù)執(zhí)行上述流程。

6.顯示結(jié)果并為用戶生成建議

當(dāng)整個(gè)分析周期完成后，用戶需要獲得以不同格式顯示的結(jié)果。例如，輸出結(jié)果可以包括帶有錯(cuò)誤提示信息的各種交互式3D重建，以便用戶可以對(duì)某個(gè)動(dòng)作細(xì)節(jié)進(jìn)行放大、縮小、后退、前進(jìn)或暫停。當(dāng)然，輸出結(jié)果也可以收集和顯示有關(guān)某些動(dòng)作的統(tǒng)計(jì)信息，例如：重復(fù)的次數(shù)、單次循環(huán)動(dòng)作的平均速度、以及持續(xù)時(shí)間等。

下圖便是基于視頻的3D人體姿勢(shì)估計(jì)系統(tǒng)的輸出示例：

來源--stronglifts.c​​om的男性健康頻道

經(jīng)驗(yàn)總結(jié)

綜上所述，我從AI健身教練App的開發(fā)角度，描述了3D人體姿勢(shì)估計(jì)系統(tǒng)的基本工作原理，以及運(yùn)作流程。當(dāng)然，根據(jù)實(shí)際項(xiàng)目的具體特征，該流程可能會(huì)隨著業(yè)務(wù)需求的變化，而有所增、刪、減、改。下面是我的一些經(jīng)驗(yàn)總結(jié)：

• 3D人體姿勢(shì)估計(jì)可用于檢測(cè)健身練習(xí)中的動(dòng)作錯(cuò)誤。
• 選擇合適的2D關(guān)鍵點(diǎn)檢測(cè)器，對(duì)于獲得高質(zhì)量3D關(guān)鍵點(diǎn)是至關(guān)重要的。
• 快速移動(dòng)的關(guān)節(jié)，對(duì)于檢測(cè)2D關(guān)鍵點(diǎn)模型，以及發(fā)現(xiàn)錯(cuò)誤是極具挑戰(zhàn)的。
• 預(yù)訓(xùn)練的模型可能對(duì)于異常的動(dòng)作和身體姿勢(shì)，無法很好地發(fā)揮作用。此時(shí)，您可能需要微調(diào)或重新訓(xùn)練，讓具有特定屬性的數(shù)據(jù)，對(duì)模型進(jìn)行優(yōu)化。

注：本文源自https://mobidev.biz。MobiDev是一個(gè)提供技術(shù)研究和軟件開發(fā)服務(wù)經(jīng)驗(yàn)的網(wǎng)站。

原文標(biāo)題：Human Pose Estimation Technology 2021 Guide，作者: Maksym Tatariants

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】