Magic Mirror：可從單個參考圖像生成電影級質量身份一致性和自然運動視頻
Magic Mirror 可以生成合成身份配對的視頻數(shù)據。該框架利用視頻擴散模型，能夠在保持身份一致性的同時，生成具有電影級質量和動態(tài)運動的視頻。
Magic Mirror 根據 ID 參考圖像生成文本轉視頻結果。每對視頻顯示 24 幀（總共 49 幀），其對應的面部參考顯示在左下角。
相關鏈接
- 論文：http://arxiv.org/abs/2501.03931v1
- 主頁：https://julianjuaner.github.io/projects/MagicMirror/
論文介紹
Magic Mirror 是一個用于生成具有電影級質量和動態(tài)運動的身份保留視頻的框架。雖然視頻擴散模型的最新進展在文本到視頻生成方面表現(xiàn)出了令人印象深刻的能力，但在產生自然運動的同時保持一致的身份仍然具有挑戰(zhàn)性。以前的方法要么需要針對個人進行微調，要么難以平衡身份保留與運動多樣性。
Magic Mirror基于視頻擴散變換器，引入了三個關鍵組件：
- 雙分支面部特征提取器，可同時捕獲身份和結構特征；
- 具有條件自適應規(guī)范化的輕量級跨模態(tài)適配器，可實現(xiàn)有效的身份集成；
- 結合合成身份對和視頻數(shù)據的兩階段訓練策略。
大量實驗表明Magic Mirror 有效地平衡了身份一致性和自然運動，在多個指標上優(yōu)于現(xiàn)有方法，同時只需添加最少的參數(shù)。
Magic Mirror 可生成動態(tài)面部動作。由于身份保留約束較強，IDAnimator 和 Video Ocean 的運動范圍有限。Magic Mirror 在保持參考身份保真度的同時，實現(xiàn)了更加動態(tài)的面部表情。
方法
Magic Mirror 概述。 該框架采用雙分支特征提取系統(tǒng)，包括 ID 和面部感知器，然后是跨模態(tài)適配器，用于基于 DiT 的視頻生成。通過優(yōu)化火焰標記的可訓練模塊，我們的方法可以有效地整合面部特征，實現(xiàn)受控的視頻合成，同時保持模型效率。
Magic Mirror的方法可分為以下幾個關鍵組成部分：
- 雙分支面部特征提取器：該組件同時提取身份特征和結構信息，確保在視頻生成中保持高水平的身份一致性。
- 輕量級跨模態(tài)適配器：該適配器集成到視頻擴散模型中，允許在生成過程中有效地結合面部特征和文本提示。
- 條件自適應歸一化（CAN）：此模塊用于在生成過程中動態(tài)調整面部特征的分布，確保在不同視頻幀之間保持一致的身份特征。
- 兩階段訓練策略：首先在圖像數(shù)據上進行預訓練，以學習穩(wěn)健的身份表示，然后在視頻數(shù)據上進行微調，以確保面部表情的時間一致性。
DiT 塊中的跨模態(tài)適配器，具有條件自適應歸一化 (CAN)，用于特定模態(tài)的特征調制和解耦注意力整合。
訓練數(shù)據集概述。 管道包括圖像預訓練數(shù)據（A-D）和視頻后訓練數(shù)據（D）。利用自參考數(shù)據（A，B）和具有相同身份的過濾合成對（C，D）。報告了（圖像+合成圖像）的數(shù)量。
實驗
定性比較。 每個案例的左上角均顯示標題和參考身份圖像。
消融研究示例。 左：消融模塊。右：消融和訓練策略。
使用 Magic Mirror 生成圖像。圖像預訓練階段的模型會捕獲參考 ID 的 ID 嵌入（Ref-ID），但在某些低級分布（如圖像質量、風格和背景）上會出現(xiàn)過度擬合。
視頻生成結果。 結果展示了 Magic Mirror 在不同面部比例和構圖中的能力。
總結
Magic Mirror是一個用于身份保留視頻生成的零樣本框架。Magic Mirror 將雙人臉嵌入和條件自適應規(guī)范化 (CAN) 融入基于 DiT 的架構中。該方法可以實現(xiàn)強大的身份保留和穩(wěn)定的訓練收斂。實驗表明Magic Mirror 可以從單個參考圖像生成高質量的個性化視頻，同時保持身份一致性，在多個基準和人工評估中的表現(xiàn)優(yōu)于現(xiàn)有方法。
