在數(shù)字內(nèi)容創(chuàng)作、虛擬形象、游戲和增強現(xiàn)實等領(lǐng)域，肖像生成已成為計算機圖形學研究的熱點。盡管近年來肖像生成模型取得了顯著進展，能夠生成越來越逼真和吸引人的肖像，但仍面臨諸多挑戰(zhàn)。

今天，給大家介紹一種個性化肖像生成框架IC-Portrait，該框架引入了一種創(chuàng)建逼真肖像圖像的創(chuàng)新方法。通過結(jié)合風格參考圖像，該以生成個性化肖像，保持視角一致，并準確響應光照條件。

相關(guān)鏈接

• 論文：http://arxiv.org/abs/2501.17159v1
• 視頻：https://www.youtube.com/watch?v=By-y3IH6ejM

研究背景

肖像生成方法大致可分為兩類：基于提示的樣式化和基于參考圖像的肖像生成?；谔崾镜臉邮交试S用戶通過描述性文本提示來引導生成，但這種方法在保持主體身份特征方面存在挑戰(zhàn)。而基于參考圖像的肖像生成則直接利用現(xiàn)有圖像定義所需樣式，僅改變身份特征，為用戶提供更直觀的界面。然而，現(xiàn)有的肖像生成方法在處理多樣化的用戶照片（如不同的表情、光照條件和妝容）時仍顯不足，導致生成的肖像在身份相似度和質(zhì)量上有所欠缺。

IC-Portrait框架

在不同的側(cè)面圖像中呈現(xiàn)出不同的表情和妝容，展現(xiàn)了人類側(cè)面的多樣性。

IC-Portrait框架核心是預訓練的擴散模型在上下文中密集對應匹配方面學習迅速，這為其兩大設(shè)計提供了靈感。具體來說，IC-Portrait將肖像生成重新表述為兩個子任務(wù)：

1. 光照感知拼接：研究發(fā)現(xiàn)，對輸入圖像進行高度遮擋處理（例如80%）可以非常有效地學習參考圖像的光照條件，從而生成與參考圖像光照一致性的肖像。
2. 視圖一致性適應：利用合成的視圖一致資料集來學習上下文中的對應關(guān)系，使得參考輪廓能夠被變形到任意姿勢，從而提供強大的空間對齊視圖調(diào)節(jié)。

通過簡單地連接潛在變量形成類似ControlNet的監(jiān)督和建模方式，將這兩種設(shè)計結(jié)合起來，IC-Portrait顯著增強了身份保持的準確度和穩(wěn)定性。

實驗與評估

與當前最先進的肖像生成方法比較

極端光照條件下 IC-Portrait 的結(jié)果。

IC-Portrait 的多人設(shè)置。IC-Portrait 通過按順序處理面部，固有地支持多人設(shè)置。

研究人員進行了廣泛的實驗評估，結(jié)果顯示，IC-Portrait在定量和定性評價中均優(yōu)于現(xiàn)有的最先進方法，特別是在視覺質(zhì)量方面有了特別明顯的改進。此外，IC-Portrait還展示了3D感知重光照的能力，進一步證明了其框架的有效性和靈活性。

總結(jié)

IC-Portrait框架為個性化肖像生成提供了新的解決方案，通過光照感知拼接和視圖一致性適應兩大設(shè)計，實現(xiàn)了幾乎無損的身份特征保留和光照不變性的肖像生成。這一創(chuàng)新性的框架不僅解決了個性化肖像生成中的諸多難題，還為數(shù)字內(nèi)容創(chuàng)作、虛擬形象等領(lǐng)域帶來了新的可能。