SHMT：通過(guò)潛在擴(kuò)散模型進(jìn)行自監(jiān)督分層化妝轉(zhuǎn)移（阿里&武漢理工）
本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
當(dāng)前的妝容轉(zhuǎn)移技術(shù)面臨兩個(gè)主要挑戰(zhàn)：
- 缺乏成對(duì)數(shù)據(jù)，導(dǎo)致模型訓(xùn)練依賴(lài)于低質(zhì)量的偽配對(duì)數(shù)據(jù)，從而影響妝容的真實(shí)感；
- 不同妝容風(fēng)格對(duì)面部的影響各異，現(xiàn)有方法難以有效處理這種多樣性。
今天給大家介紹的方法是由阿里聯(lián)合武漢理工等提出的自監(jiān)督層次化妝轉(zhuǎn)移方法（SHMT），可以將多樣化的妝容風(fēng)格自然且精準(zhǔn)地應(yīng)用于給定的面部圖像。SHMT通過(guò)采用“解耦與重構(gòu)”的自監(jiān)督學(xué)習(xí)策略，避免了偽配對(duì)數(shù)據(jù)的誤導(dǎo)。同時(shí)，SHMT利用拉普拉斯金字塔分解層次化的紋理細(xì)節(jié)，靈活控制妝容風(fēng)格的保留與舍棄。除了顏色匹配之外，該方法還可以靈活控制保留或丟棄各種化妝風(fēng)格的紋理細(xì)節(jié)，而不會(huì)改變臉型。
相關(guān)鏈接
- 論文：http://arxiv.org/abs/2412.11058v1
- 主頁(yè)：https://github.com/Snowfallingplum/SHMT
論文介紹
摘要
本文研究了化妝遷移這一具有挑戰(zhàn)性的任務(wù)，旨在將各種化妝風(fēng)格精確而自然地應(yīng)用于給定的面部圖像。由于缺乏配對(duì)數(shù)據(jù)，當(dāng)前的方法通常合成次優(yōu)的偽基本事實(shí)來(lái)指導(dǎo)模型訓(xùn)練，導(dǎo)致化妝保真度低。此外，不同的化妝風(fēng)格通常對(duì)人臉有不同的影響，但現(xiàn)有的方法很難處理這種多樣性。為了解決這些問(wèn)題，我們提出了一種通過(guò)潛在擴(kuò)散模型的新型自監(jiān)督分層化妝遷移 (SHMT) 方法。遵循“解耦和重建”范式，SHMT 以自監(jiān)督的方式工作，擺脫了不精確的偽配對(duì)數(shù)據(jù)的誤導(dǎo)。此外，為了適應(yīng)各種化妝風(fēng)格，通過(guò)拉普拉斯金字塔分解分層紋理細(xì)節(jié)并有選擇地引入內(nèi)容表示。最后，我們?cè)O(shè)計(jì)了一個(gè)新穎的迭代雙重對(duì)齊 (IDA) 模塊，該模塊可以動(dòng)態(tài)調(diào)整擴(kuò)散模型的注入條件，從而糾正由內(nèi)容和化妝表示之間的域差距引起的對(duì)齊誤差。廣泛的定量和定性分析證明了我們方法的有效性。
方法
SHMT 的框架。面部圖像 I 被分解為背景區(qū)域 Ibg、化妝表示 Im 和內(nèi)容表示 (I3d, hi)。通過(guò)從這些組件重建原始圖像來(lái)模擬化妝傳輸過(guò)程。構(gòu)建了分層紋理細(xì)節(jié) hi 以響應(yīng)不同的化妝風(fēng)格。在每個(gè)去噪步驟 t 中，IDA 利用嘈雜的中間結(jié)果 ?It 來(lái)動(dòng)態(tài)調(diào)整注入條件以糾正對(duì)齊錯(cuò)誤。
結(jié)果
在簡(jiǎn)單的化妝風(fēng)格上與基于 GAN 的基線進(jìn)行定性比較。
與基于gan的復(fù)雜妝容基線的定性比較。
簡(jiǎn)單妝容與穩(wěn)定妝容基線的定性比較
與穩(wěn)定妝容基線在復(fù)雜妝容上的定性比較。
結(jié)論
本文提出了一種自監(jiān)督分層妝容遷移 (SHMT) 方法。該方法采用自監(jiān)督策略進(jìn)行模型訓(xùn)練，擺脫了以前方法中偽配對(duì)數(shù)據(jù)的誤導(dǎo)。得益于分層紋理細(xì)節(jié)，SHMT 可以靈活控制紋理細(xì)節(jié)的保留或丟棄，使其能夠適應(yīng)各種妝容風(fēng)格。此外，所提出的 IDA 模塊能夠有效地糾正對(duì)齊錯(cuò)誤，從而提高妝容保真度。定量和定性分析都證明了我們的 SHMT 方法的有效性。
