文章鏈接：https://arxiv.org/pdf/2411.08656
項(xiàng)目鏈接：https://kebii.github.io/MikuDance/

亮點(diǎn)直擊

• 提出混合運(yùn)動(dòng)建模（Mixed Motion Modeling），用于在統(tǒng)一的逐像素空間中顯式建模角色和相機(jī)運(yùn)動(dòng)，從而有效地表示高動(dòng)態(tài)運(yùn)動(dòng)。
• 利用混合控制擴(kuò)散（Mixed-Control Diffusion）隱式對(duì)齊角色的形狀、姿勢(shì)和比例與運(yùn)動(dòng)引導(dǎo)，從而實(shí)現(xiàn)人物造型動(dòng)畫(huà)的連貫運(yùn)動(dòng)控制。
• 大量實(shí)驗(yàn)表明，MikuDance的有效性和泛化能力，相較于最新的方法，能夠?qū)崿F(xiàn)更高質(zhì)量的動(dòng)畫(huà)和高動(dòng)態(tài)運(yùn)動(dòng)控制。

總結(jié)速覽

要解決的問(wèn)題

MikuDance 針對(duì)人物造型動(dòng)畫(huà)中的兩個(gè)主要難題：高動(dòng)態(tài)運(yùn)動(dòng)和參考引導(dǎo)錯(cuò)位問(wèn)題。

提出的方案

1. 混合運(yùn)動(dòng)建模（Mixed Motion Modeling）：通過(guò)場(chǎng)景運(yùn)動(dòng)跟蹤策略（Scene Motion Tracking）對(duì)動(dòng)態(tài)相機(jī)進(jìn)行逐像素建模，實(shí)現(xiàn)角色與場(chǎng)景的統(tǒng)一運(yùn)動(dòng)建模。
2. 混合控制擴(kuò)散（Mixed-Control Diffusion）：隱式地對(duì)多樣角色的比例和體型進(jìn)行運(yùn)動(dòng)引導(dǎo)對(duì)齊，從而靈活控制角色的局部運(yùn)動(dòng)。

應(yīng)用的技術(shù)

1. 場(chǎng)景運(yùn)動(dòng)跟蹤策略（Scene Motion Tracking）：顯式建模動(dòng)態(tài)相機(jī)，進(jìn)行像素級(jí)空間的角色-場(chǎng)景運(yùn)動(dòng)建模。
2. 運(yùn)動(dòng)自適應(yīng)歸一化模塊（Motion-Adaptive Normalization Module）：將全局場(chǎng)景運(yùn)動(dòng)注入角色動(dòng)畫(huà)中，支持全面的人物造型動(dòng)畫(huà)生成。

達(dá)到的效果

通過(guò)大量實(shí)驗(yàn)，MikuDance 展現(xiàn)了其在各種人物造型和運(yùn)動(dòng)引導(dǎo)場(chǎng)景中的有效性和泛化能力，生成的動(dòng)畫(huà)具有顯著的運(yùn)動(dòng)動(dòng)態(tài)效果和高質(zhì)量的動(dòng)畫(huà)表現(xiàn)。

方法

Stable Diffusion的預(yù)備知識(shí)

與現(xiàn)有的人物圖像動(dòng)畫(huà)方法 [3, 14, 36] 類(lèi)似，本文使用基于圖像的姿勢(shì)序列作為角色的運(yùn)動(dòng)引導(dǎo)。與以往直接提取角色全身姿勢(shì)的方法不同，分別提取身體、面部和手部的姿勢(shì)，使得面部和手部成為可選項(xiàng)，從而實(shí)現(xiàn)更靈活的運(yùn)動(dòng)控制。然而，角色動(dòng)畫(huà)通常涉及整個(gè)場(chǎng)景的高動(dòng)態(tài)運(yùn)動(dòng)，以增強(qiáng)敘事的視覺(jué)效果。傳統(tǒng)的姿勢(shì)序列僅提供角色的運(yùn)動(dòng)引導(dǎo)，缺乏對(duì)背景動(dòng)態(tài)的表示。為了解決這一問(wèn)題，引入了場(chǎng)景運(yùn)動(dòng)跟蹤策略（Scene Motion Tracking）。

場(chǎng)景運(yùn)動(dòng)跟蹤（Scene Motion Tracking, SMT）

值得注意的是，SMT 策略在兩個(gè)關(guān)鍵方面與視頻生成方法中常用的光流有所不同：首先，SMT 提取的場(chǎng)景運(yùn)動(dòng)與驅(qū)動(dòng)視頻的內(nèi)容無(wú)關(guān)，而光流則依賴(lài)于內(nèi)容。其次，SMT 跟蹤的是點(diǎn)云中的 3D 點(diǎn)，而光流僅跟蹤圖像域中的像素運(yùn)動(dòng)，未考慮實(shí)際的 3D 場(chǎng)景。因此，SMT 策略提供了獨(dú)立的相機(jī)動(dòng)態(tài)信息，這對(duì)于人物造型動(dòng)畫(huà)中的連續(xù)背景運(yùn)動(dòng)至關(guān)重要。

在提出的 SMT 過(guò)程中，假設(shè)角色和場(chǎng)景在第一個(gè)相機(jī)中是靜止且標(biāo)準(zhǔn)化的。然而，在人物造型術(shù)動(dòng)畫(huà)的實(shí)際應(yīng)用中，參考場(chǎng)景通常與驅(qū)動(dòng)視頻的相機(jī)比例不一致，并且每一幀中的角色姿勢(shì)各不相同。無(wú)法顯式地消除這種不確定性，因此需要模型在角色姿勢(shì)和藝術(shù)圖像的引導(dǎo)下進(jìn)行隱式感知。因此，在下一節(jié)提出了混合控制擴(kuò)散（Mixed-Control Diffusion）。

混合控制擴(kuò)散

混合控制擴(kuò)散的概念是將角色和場(chǎng)景的所有運(yùn)動(dòng)引導(dǎo)混合并融合到一個(gè)統(tǒng)一的參考空間中，從而實(shí)現(xiàn)對(duì)動(dòng)畫(huà)的對(duì)齊運(yùn)動(dòng)控制。

如前面圖 2 所示，從 Animate Anyone 獲得啟發(fā)，使用預(yù)訓(xùn)練的 SD-1.5 作為基礎(chǔ)去噪 UNet，并復(fù)制一份作為參考 UNet，以實(shí)現(xiàn)可控的圖像到視頻生成。不同于 Animate Anyone 及其他相關(guān)工作，消除了用于運(yùn)動(dòng)引導(dǎo)的單獨(dú)編碼器，同時(shí)使用 VAE 編碼器對(duì)參考人物造型、參考姿勢(shì)和所有角色姿勢(shì)引導(dǎo)進(jìn)行編碼，并將它們嵌入到同一潛在空間中。接下來(lái)，將所有嵌入的引導(dǎo)在通道維度上串聯(lián)起來(lái)，以作為混合控制參考 UNet 的輸入。

為了適應(yīng)這種混合輸入，我們擴(kuò)展了參考 UNet 中輸入卷積層的通道，并用零卷積權(quán)重初始化新增參數(shù)。此外，參考圖像通過(guò) CLIP 圖像編碼器嵌入，并在去噪 UNet 和參考 UNet 的交叉注意力操作中作為關(guān)鍵特征。此過(guò)程在現(xiàn)有工作中常用，因此在圖 2 中被省略。

借助提出的混合運(yùn)動(dòng)建模（Mixed Motion Modeling）和混合控制擴(kuò)散（Mixed-Control Diffusion），并在參考 UNet 的每個(gè)下采樣塊后集成 MAN 模塊，我們概述了 MikuDance 的完整流程。此外，為了增強(qiáng) MikuDance 適應(yīng)各種人物造型風(fēng)格和大規(guī)模相機(jī)運(yùn)動(dòng)動(dòng)態(tài)的能力，我們?cè)谙乱还?jié)提出了一種混合源訓(xùn)練方法。

混合源訓(xùn)練方法

考慮到圖像動(dòng)畫(huà)是一個(gè)數(shù)據(jù)密集型任務(wù)，提出一個(gè)有效的數(shù)據(jù)和訓(xùn)練流程與模型本身同樣重要。在 MikuDance 中，如下圖 4 所示，采用了一個(gè)包含兩個(gè)階段的混合源訓(xùn)練方法。

在第一階段，訓(xùn)練在成對(duì)的視頻幀上進(jìn)行，此時(shí)不引入?yún)⒖?UNet 的 MAN 模塊或去噪 UNet 的時(shí)間模塊。與現(xiàn)有方法 [14, 37] 不同，是通過(guò)在空間維度上拼接初始幀來(lái)隨機(jī)混合風(fēng)格化的成對(duì)幀，并利用深度和邊緣控制的動(dòng)漫 SDXL 模型（稱(chēng)為 SDXL-Neta）來(lái)傳遞藝術(shù)風(fēng)格，同時(shí)保留圖像內(nèi)容。此外，為了模擬推理過(guò)程中參考人物造型與驅(qū)動(dòng)姿勢(shì)無(wú)關(guān)的情況，隨機(jī)選擇與目標(biāo)序列無(wú)關(guān)的參考幀。

在第二階段，我們將 MAN 模塊和時(shí)間模塊加入到混合控制擴(kuò)散模型中，而其他參數(shù)在此階段保持凍結(jié)。此階段的訓(xùn)練數(shù)據(jù)由混合的 MMD 視頻片段和不包含角色的相機(jī)運(yùn)動(dòng)視頻組成。重要的是，在兩個(gè)階段的訓(xùn)練中隨機(jī)丟棄姿勢(shì)和運(yùn)動(dòng)引導(dǎo)，以增強(qiáng) MikuDance 的魯棒性。

實(shí)驗(yàn)

數(shù)據(jù)集 為了訓(xùn)練 MikuDance，收集了一個(gè)包含 3,600 個(gè)由藝術(shù)家創(chuàng)建的 MMD 視頻數(shù)據(jù)集，所有視頻均由 3D 模型渲染生成。我們將這些視頻分成大約 120,000 個(gè)片段，共包含超過(guò) 1,020 萬(wàn)幀。此外，在第二階段的訓(xùn)練中，還加入了約 3,500 個(gè)無(wú)角色的相機(jī)運(yùn)動(dòng)視頻。為了進(jìn)行定量評(píng)估，使用了未包含在訓(xùn)練集中的 100 個(gè) MMD 視頻，并將其首幀作為參考圖像。人物姿勢(shì)和相機(jī)姿勢(shì)提取分別采用 Xpose 和 DROID-SLAM。對(duì)于定性評(píng)估，所有人物造型均使用 SDXL-Neta 隨機(jī)生成，且訓(xùn)練期間未見(jiàn)過(guò)驅(qū)動(dòng)視頻。

定性結(jié)果

與基線方法的比較 將 MikuDance 與最近的人像視頻生成方法進(jìn)行比較，包括 Animate Anyone (AniAny)、DISCO、MagicPose 和 UniAnimate，這些方法均在其官方報(bào)告中聲稱(chēng)具備對(duì)動(dòng)漫風(fēng)格角色進(jìn)行動(dòng)畫(huà)生成的能力。此外，通過(guò)在 MMD 視頻數(shù)據(jù)集上微調(diào)模型實(shí)現(xiàn)了 AniAny*。

下圖 5 的結(jié)果顯示，AniAny、MagicPose 和 UniAnimate 無(wú)法解決角色形狀和比例的錯(cuò)位，導(dǎo)致輸出中的角色變形。盡管 DISCO 使用獨(dú)立的 ControlNet 來(lái)處理背景和前景特征，但在為人物造型生成動(dòng)畫(huà)時(shí)，其結(jié)果出現(xiàn)了場(chǎng)景崩潰現(xiàn)象。盡管 AniAny* 在動(dòng)漫風(fēng)格數(shù)據(jù)集上進(jìn)行了專(zhuān)門(mén)微調(diào)，但由于未考慮背景場(chǎng)景的運(yùn)動(dòng)，其結(jié)果在高動(dòng)態(tài)運(yùn)動(dòng)中仍然存在模糊，改進(jìn)有限。值得注意的是，MikuDance 有效處理了復(fù)雜的參考和運(yùn)動(dòng)引導(dǎo)，呈現(xiàn)出高質(zhì)量且生動(dòng)的動(dòng)畫(huà)效果。

高動(dòng)態(tài)運(yùn)動(dòng) 

參考引導(dǎo)對(duì)齊誤差 MikuDance 的另一個(gè)重要貢獻(xiàn)在于其對(duì)參考角色與運(yùn)動(dòng)指導(dǎo)的隱式對(duì)齊處理。下圖 7 展示了兩個(gè)存在顯著空間和尺度錯(cuò)位的示例。在這種情況下，現(xiàn)有方法（如 AniAny）難以有效地為參考角色生成動(dòng)畫(huà)，而 MikuDance 成功處理了這些復(fù)雜性，生成了連貫的動(dòng)畫(huà)。

多樣化的形狀和比例 MikuDance 有效地處理了角色形狀和比例的多樣性。如下圖 8 左側(cè)所示，不同體型、各種姿勢(shì)和不同服裝的角色均能被相同的運(yùn)動(dòng)指導(dǎo)精確驅(qū)動(dòng)。在圖 8 右側(cè)，MikuDance 展現(xiàn)了其對(duì)不同尺度角色的隱式對(duì)齊能力，保留每個(gè)角色的獨(dú)特特征并生成合理的動(dòng)畫(huà)效果。

對(duì)多種藝術(shù)風(fēng)格的泛化能力 如下圖 9 所示，MikuDance 通過(guò)我們的混合源訓(xùn)練方法，能夠處理多種藝術(shù)風(fēng)格，包括但不限于賽璐璐、古典風(fēng)格和線條素描。這種高度的泛化能力為實(shí)際應(yīng)用開(kāi)辟了廣闊前景。

消融實(shí)驗(yàn) 本文進(jìn)行消融實(shí)驗(yàn)以驗(yàn)證 MikuDance 的關(guān)鍵設(shè)計(jì)，包括混合控制架構(gòu) (MIX)、MAN 模塊和 SMT 策略，結(jié)果如下圖 10 所示。

為了評(píng)估混合控制設(shè)計(jì)，實(shí)現(xiàn)了一個(gè)受到 AniAny 啟發(fā)的pipeline （無(wú) MIX），該pipeline 使用獨(dú)立的 Reference UNet 處理參考圖像，并使用兩個(gè) ControlNets 分別適配角色和場(chǎng)景的運(yùn)動(dòng)指導(dǎo)。結(jié)果表明，這種傳統(tǒng)的pipeline 未能處理人物造型和驅(qū)動(dòng)指導(dǎo)之間的尺度差異，導(dǎo)致角色的面部和姿勢(shì)出現(xiàn)錯(cuò)位。

為了評(píng)估 MAN 模塊的有效性，實(shí)現(xiàn)了一個(gè)不使用 MAN 的pipeline （無(wú) MAN），該pipeline 將場(chǎng)景運(yùn)動(dòng)與角色運(yùn)動(dòng)簡(jiǎn)單拼接，并將它們一起輸入到 Reference UNet 中。雖然這種方法比沒(méi)有場(chǎng)景運(yùn)動(dòng)指導(dǎo)（無(wú) SMT）的pipeline 效果更好，但仍然不如 MikuDance 的效果。這是因?yàn)?MAN 模塊通過(guò)空間感知?dú)w一化注入全局運(yùn)動(dòng)，有效地補(bǔ)充了局部運(yùn)動(dòng)。

為了評(píng)估 SMT 策略，本文進(jìn)行了三項(xiàng)實(shí)驗(yàn)：一個(gè)不包含場(chǎng)景運(yùn)動(dòng)的pipeline （無(wú) SMT），以及兩個(gè)分別使用 Plücker 嵌入（w/ Plücker）和光流（w/ Flow）替代場(chǎng)景運(yùn)動(dòng)的pipeline 。然而，這些替代方法的結(jié)果比我們的 SMT 策略差，動(dòng)態(tài)背景出現(xiàn)了明顯的偽影和不一致性。SMT 提取的逐像素場(chǎng)景運(yùn)動(dòng)被證明是更有效的背景運(yùn)動(dòng)引導(dǎo)表示，因?yàn)樗c角色運(yùn)動(dòng)指導(dǎo)具有領(lǐng)域一致性。

與上述消融實(shí)驗(yàn)相比，MikuDance 能有效應(yīng)對(duì)動(dòng)畫(huà)人物造型中的錯(cuò)位和高動(dòng)態(tài)挑戰(zhàn)。

定量結(jié)果

下表1展示了 MikuDance 與基線方法之間的定量比較。需要注意的是，本文報(bào)告的度量值低于先前研究中的度量值，因?yàn)槲覀儨y(cè)試視頻中的整個(gè)場(chǎng)景高度動(dòng)態(tài)，與早期數(shù)據(jù)集中使用的靜態(tài)背景不同。盡管如此，結(jié)果仍然表明，MikuDance 在所有圖像和視頻指標(biāo)上都達(dá)到了最先進(jìn)的性能。此外，消融實(shí)驗(yàn)結(jié)果確認(rèn)了 MikuDance 關(guān)鍵設(shè)計(jì)元素的有效性?？傊?，通過(guò)結(jié)合提出的混合運(yùn)動(dòng)動(dòng)態(tài)技術(shù)，MikuDance 可以動(dòng)畫(huà)化各種角色，并生成高質(zhì)量的圖像和視頻結(jié)果。

用戶研究。邀請(qǐng)了50名志愿者，并給他們提供了20個(gè)視頻，用于評(píng)估MikuDance 相對(duì)于基線方法的表現(xiàn)。每個(gè)視頻包括一個(gè)運(yùn)動(dòng)指導(dǎo)和四個(gè)匿名動(dòng)畫(huà)結(jié)果。要求用戶對(duì)四個(gè)結(jié)果在整體質(zhì)量、幀質(zhì)量和時(shí)間質(zhì)量上進(jìn)行排名。在排除異常問(wèn)卷后，各方法的平均排名總結(jié)如圖11所示。MikuDance 顯著優(yōu)于基線方法，超過(guò)97%的用戶更喜歡由 MikuDance 生成的動(dòng)畫(huà)。

結(jié)論

MikuDance，這是一種新型動(dòng)畫(huà)pipeline ，旨在為戶外人物造型生成高動(dòng)態(tài)動(dòng)畫(huà)。MikuDance 融入了兩項(xiàng)關(guān)鍵技術(shù)：混合運(yùn)動(dòng)建模和混合控制擴(kuò)散?；旌线\(yùn)動(dòng)建模能夠在統(tǒng)一的參考空間中表示大規(guī)模的角色和場(chǎng)景運(yùn)動(dòng)，而混合控制擴(kuò)散則解決了角色與運(yùn)動(dòng)指導(dǎo)之間的錯(cuò)位問(wèn)題。為了支持多種藝術(shù)風(fēng)格，還采用了混合源訓(xùn)練方法，以增強(qiáng)其泛化能力。大量實(shí)驗(yàn)表明，MikuDance 在與基線方法的比較中，達(dá)到了最先進(jìn)的性能。

局限性。一些生成的動(dòng)畫(huà)存在背景扭曲和偽影。這一問(wèn)題源于圖像動(dòng)畫(huà)中的3D無(wú)關(guān)挑戰(zhàn)，使得在動(dòng)態(tài)相機(jī)下的場(chǎng)景重建成為一個(gè)病態(tài)問(wèn)題，亟需進(jìn)一步的研究。

本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)

原文鏈接:??https://mp.weixin.qq.com/s/1N-OVe-uXDgVXsxuZaphrg??