捏臉玩法是裝扮類應(yīng)用的一個核心功能。本文主要介紹了捏臉的AI相關(guān)玩法之一即基于用戶上傳的照片在淘寶人生2（又名：第二人生）一鍵生成專屬3D數(shù)字人，闡述了淘天FC淘寶人生技術(shù)團(tuán)隊在圖片捏臉上探索的心路歷程，核心原理以及技術(shù)框架。本文的視角也不局限于圖片捏臉本身，也介紹了其他AI類相關(guān)玩法在裝扮類應(yīng)用落地的情況，希望能對大家有所啟發(fā)和幫助。

一、背景

淘寶人生是國內(nèi)用戶規(guī)模較大的裝扮類應(yīng)用之一，在淘寶中扮演了用戶的第二人生的重要作用。淘寶用戶在淘寶既能購物，又能自由捏臉，打造自己的虛擬形象和裝扮自己的小屋。

淘寶人生系列應(yīng)用也內(nèi)置了很多互動類玩法，通過提供多元的玩法體驗讓用戶在逛淘寶時覺得好逛又好玩。

淘寶人生1和淘寶人生2風(fēng)格對比

淘寶人生先后推出了兩個版本，淘寶人生1和淘寶人生2（又名：第二人生），淘寶人生2作為淘寶人生1的延續(xù)，相比于之前的卡通風(fēng)格更偏向于超寫實(shí)風(fēng)格，同時淘寶人生2也是市面上少有的將超寫實(shí)風(fēng)格落地到移動端的裝扮類應(yīng)用。

淘寶人生2的AI玩法

虛擬服飾資產(chǎn)生成

左：AI 算命師  中：照片風(fēng)格化  右：照片捏臉

淘寶人生2提供了很多AI相關(guān)的玩法。比如購買淘寶真實(shí)的衣服以后為你生成一套該樣式的虛擬服飾資產(chǎn)并穿搭到自己捏好的虛擬形象中，AI星象占卜師涂山赫言通過提供財運(yùn)占卜等服務(wù)迎合當(dāng)下年輕人的精神需求，同時照片風(fēng)格化可以將捏好的形象二次創(chuàng)作，產(chǎn)生更多好玩的風(fēng)格。

用戶還可以通過上傳圖片一鍵生成帶有自己特征的虛擬數(shù)字形象，大幅提升用戶的捏臉效率。

本文將詳細(xì)介紹照片捏臉的功能。

二、照片捏臉背景介紹

捏臉玩法是淘寶人生2中用戶剛需且高頻使用的一個核心功能。用戶在玩捏臉時一般會傾向于利用提供的捏臉滑桿DIY一個類似自己或者自己喜愛的idol的3D虛擬形象。

根據(jù)提供的捏臉滑桿手動捏臉且要與自己心目中的形象達(dá)到一定的相似度是一個非常耗時的過程。

整個捏臉的調(diào)節(jié)項有80多個，用戶需要每次進(jìn)入各個五官調(diào)節(jié)項的界面去調(diào)節(jié)每個值，同時每個五官調(diào)節(jié)項對應(yīng)還有各個細(xì)分區(qū)域的子調(diào)節(jié)項。

整體捏一張比較像的人臉不算上細(xì)節(jié)上的微調(diào)，大概需要半小時左右。

三、照片捏臉解決的痛點(diǎn)

為了追求超寫實(shí)風(fēng)格的3D數(shù)字人形象，我們無法對八十多個五官捏臉調(diào)節(jié)項進(jìn)行精簡去提升用戶的捏臉效率，不然會影響捏臉的表達(dá)能力。但是整個復(fù)雜的專業(yè)捏臉系統(tǒng)很容易消耗用戶的耐心，用戶往往在捏個10分鐘因為無法得到滿意的形象而被勸退，給用戶帶來不好的產(chǎn)品體驗。

為了提升用戶的捏臉體驗，減少用戶的捏臉時間，有沒有什么方法可以讓用戶更快的生成心目中的3D數(shù)字人形象呢？

回到文章的標(biāo)題，如何在淘寶人生2中一鍵定制3D數(shù)字人，解決用戶側(cè)手動捏臉耗時較長的痛點(diǎn)？

經(jīng)過反復(fù)討論，我們的解決方案是用戶上傳自己的照片或者自己idol的照片通過AI算法一鍵生成用戶的專屬3D數(shù)字人。

通過上傳用戶照片自動捏臉可以帶來的優(yōu)點(diǎn)有：

1. 大幅提升捏臉效率，相比于原先手動捏臉動輒半個小時的時間，當(dāng)前照片捏臉的時間控制在5s以內(nèi)，捏臉時間縮短為原有的1/360
2. 利用用戶上傳的圖片可以定制化用戶想要的形象，使得用戶更快速獲取心目中的虛擬數(shù)字形象

四、業(yè)界3D照片捏臉應(yīng)用

2D的照片風(fēng)格化應(yīng)用較多，基于輸入照片重建3D卡通形象由于技術(shù)難度較高相關(guān)應(yīng)用較少。

一般業(yè)界基于照片自動重建3D卡通形象的應(yīng)用有三個方向：

1. 第一個方向是允許用戶個性化裝扮自己的虛擬聊天形象，并在聊天窗口中或者視頻通話中使用，隱藏用戶的真實(shí)人臉信息，提升社交的私密感；
2. 第二個方向是個性化生成用戶的數(shù)字分身，并基于該數(shù)字分身產(chǎn)生更多互動的內(nèi)容生產(chǎn)與創(chuàng)作，通過照片捏臉提供既美又像的數(shù)字分身，提升用戶在虛擬空間的認(rèn)同感。
3. 第三個方向是用戶創(chuàng)建個性化3D游戲形象，并將捏臉形象應(yīng)用在游戲中，提升用戶的沉浸感。

五、照片捏臉技術(shù)指標(biāo)

淘寶人生2的照片捏臉更偏向于第二個方向，為淘寶用戶提供一個既像又美的數(shù)字分身，技術(shù)同學(xué)主要的負(fù)責(zé)的是“像”，美術(shù)同學(xué)負(fù)責(zé)讓形象更“美”。那么如何設(shè)置一個可靠的技術(shù)指標(biāo)去評估最終的效果有沒有達(dá)到“像”的預(yù)期呢？經(jīng)過團(tuán)隊反復(fù)的探討與調(diào)研，淘寶人生2的照片捏臉采用了業(yè)界3D人臉重建領(lǐng)域常用的評估方式之一NME指標(biāo)并結(jié)合主觀評測打分的方式評估3D數(shù)字人形象與輸入圖片的相似度。

NME指標(biāo)

公式參考：

NME指標(biāo)全稱是normal mean error，該指標(biāo)用來評估3D重建的人臉與真實(shí)人臉的重建誤差，業(yè)界評估基于圖片重建3D人臉的NME常用的做法是將照片建模的3D人臉投影到2D平面上并計算該人臉輪廓關(guān)鍵點(diǎn)和用戶照片的人臉關(guān)鍵點(diǎn)的距離，來衡量捏臉的面部五官和輸入照片的相似度。這里的d一般取人臉框的對角線距離。

NME越大，代表重建誤差越高。

真實(shí)人臉重建算法對應(yīng)指標(biāo)

基于卡通形象的基礎(chǔ)模型的3D數(shù)字人有一定的風(fēng)格化特征，所以基于圖片捏臉的卡通形象重建都會比真實(shí)人臉重建的重建誤差要高一些。

淘寶人生2捏臉采用的評估方式

NME指標(biāo) + 主觀評測打分評估3D風(fēng)格化捏臉  

淘寶人生2的照片捏臉采用量化指標(biāo)加主觀評判的方式相結(jié)合，量化指標(biāo)覆蓋的只是人臉關(guān)鍵點(diǎn)部分的誤差，更側(cè)重于“形”，在整體“神”的相似度上還需要結(jié)合不同的人的主觀打分來評估。

六、照片捏臉難點(diǎn)

超寫實(shí)人臉重建

用戶上傳的是2D照片，如何把2D的人臉特征遷移到3D的人臉模型上

風(fēng)格人臉重建

不但要映射到3D數(shù)字人的基礎(chǔ)模型（簡稱基底）上還要有一定的風(fēng)格化特征，比如說有些3D形象的基礎(chǔ)模型是偏卡通的風(fēng)格，或者是偏武俠的風(fēng)格，如何保持整個基底的風(fēng)格化同時又很像用戶是整個項目的核心難點(diǎn)

離散屬性匹配對相似度的影響

除了臉型輪廓鼻型眼型還有哪些特征會影響到像的評判？

--- 發(fā)型，眼鏡，胡型等其他人臉屬性都會對像有影響

做照片捏臉重建要解決的主要難點(diǎn)有3個，第一個是如何將用戶上傳的2D照片的特征映射到3D人臉模型上。第二個是不但要將2D人臉的特征映射到3D人臉模型上，還要基于該風(fēng)格的卡通形象有一定的風(fēng)格化特征同時不丟失用戶的2D特征。第三個是除了臉型以外如何通過其他面部非臉型屬性去提升用戶的重建數(shù)字人的相似度。

七、淘寶人生2照片捏臉技術(shù)框架

為了解決上述照片捏臉的難點(diǎn)，整個照片捏臉技術(shù)框架分為四個模塊，預(yù)處理模塊，面部人臉屬性&非面部人臉屬性模塊以及數(shù)字人形象生成模塊。

預(yù)處理模塊

針對用戶輸入的圖片進(jìn)行合格性校驗以及剔除敏感人物，同時會檢測用戶輸入的人臉五官關(guān)鍵點(diǎn)以及發(fā)型的mask，為接下來的面部人臉屬性模塊和非面部屬性模塊提供有效信息。

面部人臉屬性模塊

為了解決難點(diǎn)一基于單張照片進(jìn)行3D真實(shí)人臉重建的問題，淘寶人生2使用的是基于3DMM(3D Morphable Model)重建人臉的方案。

基于3DMM技術(shù)將2D照片轉(zhuǎn)換到3D人臉的核心思想是任何一張3D人臉都可以由一張3D平均人臉與一系列人臉正交基相加組合而成。所以可以將基于單張照片重建3D人臉的問題轉(zhuǎn)化為求解目標(biāo)3D人臉投影到2D人臉上并通過迭代求解不斷貼合輸入2D圖片對應(yīng)的人臉正交基系數(shù)的問題。

3DMM人臉形狀基底和紋理基底

3DMM求解過程

基于3DMM重建后的3D真實(shí)人臉的特征會通過圖形學(xué)的變形操作遷移到淘寶人生2的3D卡通形象的基礎(chǔ)模型上，這樣就巧妙的解決了難點(diǎn)二的問題，既保留了用戶特征又有了一定的風(fēng)格特征。但是由于圖形學(xué)對人臉網(wǎng)格形變整體的耗時較慢，我們是利用一個MLP（多層感知機(jī)）訓(xùn)練了一個真實(shí)人臉系數(shù)到淘寶人生2捏臉系數(shù)的映射模型，提升了整體照片捏臉的性能，爭取給用戶帶來更好的使用體驗。

非面部屬性模塊

為了加強(qiáng)一些離散屬性（一般眼鏡類型，發(fā)型，眉毛種類以及胡型在捏臉系統(tǒng)都由一些離散的素材ID來表示，所以一般稱為離散屬性）的表達(dá)來提升整體的相似度，我們對用戶的眼鏡，發(fā)型，眉型以及胡型都進(jìn)行了細(xì)粒度的分類，提升用戶的非面部屬性特征與捏臉系統(tǒng)素材的匹配度，最終使得整體重建的形象更加立體飽滿。

數(shù)字人形象生成模塊

通過上述模塊得到的淘寶人生2捏臉系數(shù)，以及對應(yīng)的素材ID會經(jīng)過引擎渲染得到淘寶人生2的3D數(shù)字人形象。

這四個模塊相互配合，最終實(shí)現(xiàn)了用戶上傳一張圖片，一鍵定制用戶的專屬3D數(shù)字人的功能。此外每個重建的3D數(shù)字人都帶有用戶的特征，達(dá)到了生成形象的千人千面。

八、照片捏臉效果

九、總結(jié)以及后續(xù)規(guī)劃

當(dāng)前算法僅支持女版的卡通形象，基于淘寶人生2的男版卡通形象的照片捏臉正在同步研發(fā)，期待后續(xù)盡快落地。同時在眼型嘴型等五官細(xì)節(jié)擬合上仍需要提升，后續(xù)隨著捏臉自由度的提升和算法的迭代會進(jìn)一步提升這一塊的相似度。

從友商的測試結(jié)果來看，受限于base風(fēng)格的損失，業(yè)界的大多數(shù)照片捏臉應(yīng)用也無法做到對用戶特征的百分百的還原，但是輸出的捏臉形象都比較美觀，相信這也是經(jīng)過了算法同學(xué)和美術(shù)產(chǎn)品同學(xué)的大量的聯(lián)調(diào)得到了一個符合大眾審美的捏臉形象，只有這樣才能成功出圈，在用戶側(cè)打造很好的口碑。

淘寶人生2照片捏臉的迭代會延續(xù)既像又美的技術(shù)路線繼續(xù)深耕，給用戶帶來更好的產(chǎn)品體驗。同時計劃引入更多模態(tài)的捏臉支持，使得用戶可以通過文字或者語音自由捏臉。

十、引用

[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]. international conference on computer graphics and interactive techniques, 1999: 187-194.

[2] Cao C, Weng Y, Zhou S, et al. FaceWarehouse: A 3D Facial Expression Database for Visual Computing[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(3): 413-425.

[3] Paysan P, Knothe R, Amberg B, et al. A 3D Face Model for Pose and Illumination Invariant Face Recognition[C]. advanced video and signal based surveillance, 2009: 296-301.

十一、附：照片捏臉秘籍

2. 項目入口：淘寶APP首頁->下拉進(jìn)入淘寶二樓->搜索第二人生->點(diǎn)擊圖標(biāo)進(jìn)入淘寶人生2的廣場->點(diǎn)擊底部換裝tab進(jìn)入裝扮頁



4. 進(jìn)入照片捏臉頁：在裝扮頁左側(cè)切換到頭部tab -> 點(diǎn)擊右側(cè) 智能捏臉 進(jìn)入照片捏臉頁面。



5. 在照片捏臉頁，選擇拍照或從相冊中選擇照片，確定后觸發(fā)照片捏臉。
6. 系統(tǒng)會自動檢測照片質(zhì)量及合規(guī)情況，若兩者都符合規(guī)范，則將基于照片生成新的數(shù)字人形象，并跳轉(zhuǎn)回裝扮頁；如果有任何一項不符合規(guī)范，則會給出異常的提示。

十二、團(tuán)隊介紹

我們是淘天FC淘寶人生技術(shù)團(tuán)隊，我們肩負(fù)著淘寶人生各類數(shù)字人玩法和為淘寶用戶提供數(shù)字分身的使命，是淘天集團(tuán)3D數(shù)字人業(yè)務(wù)的主陣地。淘天FC淘寶人生技術(shù)團(tuán)隊本著讓用戶在逛淘寶“好玩”的初心，構(gòu)建了以3D捏臉為核心、互動類AI玩法(AI寫真，淘寶購后鏈路虛擬服飾生成，AI占卜師等)相結(jié)合的玩法體系，為業(yè)務(wù)打造出覆蓋千萬級的淘寶人生用戶的內(nèi)容社區(qū)，通過3D和AI技術(shù)相結(jié)合，為淘寶用戶提供既像又美的數(shù)字分身，降低3D內(nèi)容的生產(chǎn)成本，提升淘寶人生的用戶黏性和成就更高的商業(yè)價值。

本文轉(zhuǎn)載自大淘寶技術(shù)，作者：思遠(yuǎn)

原文鏈接：??https://mp.weixin.qq.com/s/VAXAUYzdGPEgifJygO9WpA??