Phantom 是一個統(tǒng)一的視頻生成框架，適用于單主題和多主題參考，基于現(xiàn)有的文本轉(zhuǎn)視頻和圖像轉(zhuǎn)視頻架構(gòu)構(gòu)建。它通過重新設(shè)計(jì)聯(lián)合文本-圖像注入模型，利用文本-圖像-視頻三元組數(shù)據(jù)實(shí)現(xiàn)跨模態(tài)對齊。此外，它在人物生成中強(qiáng)調(diào)主題一致性，同時增強(qiáng)了身份保留視頻生成。

相關(guān)鏈接

• 論文：https://arxiv.org/abs/2502.11079
• 代碼：https://github.com/Phantom-video/Phantom
• 主頁：https://phantom-video.github.io/Phantom/
• ComfyUI:https://github.com/kijai/ComfyUI-WanVideoWrapper/tree/dev

身份保護(hù)視頻生成

使用面部參考圖像生成主體視頻。Phantom嚴(yán)格保留參考面部的身份，同時根據(jù)提供的提示生成生動的視頻。

單參考主題到視頻生成

使用單個參考圖像生成主體視頻。Phantom可以保持各種主體的完整性，包括物體、衣服、動物、虛擬角色等。

多參考主題到視頻的生成

使用多個參考圖像生成主體視頻。Phantom可以實(shí)現(xiàn)多個主體之間的逼真互動，例如群體互動、產(chǎn)品演示、虛擬試穿等。

論文介紹

Phantom：通過跨模態(tài)對齊生成主題一致的視頻

視頻生成基礎(chǔ)模型的不斷發(fā)展演變，并應(yīng)用于各種應(yīng)用，而主題一致的視頻生成仍處于探索階段。這類人物稱為“主題到視頻”（Subject-to-Video），該方法從參考圖像中提取主題元素，并按照文本指令生成主題一致的視頻。作者認(rèn)為“主題到視頻”的精髓在于平衡文本和圖像的雙模態(tài)提示，從而深度同步地對齊文本和視覺內(nèi)容。為此論文提出了Phantom，一個適用于單主題和多主題參考的統(tǒng)一視頻生成框架。

基于現(xiàn)有的文本到視頻和圖像到視頻架構(gòu)，作者重新設(shè)計(jì)了聯(lián)合文本-圖像注入模型，并驅(qū)動其通過文本-圖像-視頻三元組數(shù)據(jù)學(xué)習(xí)跨模態(tài)對齊。該方法實(shí)現(xiàn)了高保真度的主題一致視頻生成，同時解決了圖像內(nèi)容泄漏和多主題混淆的問題。評估結(jié)果表明，提出的方法優(yōu)于其他最先進(jìn)的閉源商業(yè)解決方案。特別地，該方法強(qiáng)調(diào)人類生成中的主題一致性，這涵蓋了現(xiàn)有的身份保留視頻生成，同時提供了增強(qiáng)的優(yōu)勢。

方法概述

用于跨模態(tài)視頻生成的數(shù)據(jù)處理流程。該流程包括過濾、添加字幕、檢測和匹配階段，用于從視頻片段中提取主體并將其與文本提示對齊，從而確保視頻生成的一致性。

Phantom 架構(gòu)概述。三元組數(shù)據(jù)在輸入頭處被編碼到潛在空間，組合后，通過改進(jìn)的 MMDiT 塊進(jìn)行處理，以學(xué)習(xí)不同模態(tài)的對齊方式。

每個 MMDiT 塊中針對單個或多個參考對象的動態(tài)注入策略和注意力計(jì)算

結(jié)果展示

視頻質(zhì)量評估（左）和多主題一致性的用戶研究結(jié)果（右）。

身份保護(hù)視頻生成

單一參考主題到視頻生成

多參考主題到視頻生成

結(jié)論

Phantom是一種基于文本-圖像-視頻三元組學(xué)習(xí)實(shí)現(xiàn)跨模態(tài)對齊的主體一致性視頻生成方法。通過重新設(shè)計(jì)聯(lián)合文本-圖像注入機(jī)制并利用動態(tài)特征集成，Phantom 在統(tǒng)一的單/多主體生成和人臉 ID 保存任務(wù)中展現(xiàn)出極具競爭力的性能，并在定量評估中超越了商業(yè)解決方案。

本文轉(zhuǎn)載自????AIGC Studio????，作者：AIGC Studio