僅輸入一行文本，就能生成 3D 動態(tài)場景？

沒錯，已經(jīng)有研究者做到了?？梢钥闯鰜恚壳暗纳尚Ч€處于初級階段，只能生成一些簡單的對象。不過這種「一步到位」的方法仍然引起了大量研究者的關(guān)注：

在最近的一篇論文中，來自 Meta 的研究者首次提出了可以從文本描述中生成三維動態(tài)場景的方法 MAV3D (Make-A-Video3D)。

• 論文鏈接：https://arxiv.org/abs/2301.11280
• 項目鏈接：https://make-a-video3d.github.io/

具體而言，該方法運用 4D 動態(tài)神經(jīng)輻射場（NeRF），通過查詢基于文本到視頻（T2V）擴散的模型，優(yōu)化場景外觀、密度和運動的一致性。任意機位或角度都可以觀看到提供的文本生成的動態(tài)視頻輸出，并可以合成到任何 3D 環(huán)境中。

MAV3D 不需要任何 3D 或 4D 數(shù)據(jù)，T2V 模型只對文本圖像對和未標記的視頻進行訓(xùn)練。

讓我們看一下 MAV3D 從文本生成 4D 動態(tài)場景的效果：

此外，它也能從圖像直接到 4D，效果如下：

研究者通過全面的定量和定性實驗證明了該方法的有效性，先前建立的內(nèi)部 baseline 也得到了改進。據(jù)悉，這是第一個根據(jù)文本描述生成 3D 動態(tài)場景的方法。

方法

該研究的目標在于開發(fā)一項能從自然語言描述中生成動態(tài) 3D 場景表征的方法。這極具挑戰(zhàn)性，因為既沒有文本或 3D 對，也沒有用于訓(xùn)練的動態(tài) 3D 場景數(shù)據(jù)。因此，研究者選擇依靠預(yù)訓(xùn)練的文本到視頻（T2V）的擴散模型作為場景先驗，該模型已經(jīng)學(xué)會了通過對大規(guī)模圖像、文本和視頻數(shù)據(jù)的訓(xùn)練來建模場景的真實外觀和運動。

從更高層次來看，在給定一個文本 prompt p 的情況下，研究可以擬合一個 4D 表征，它模擬了在時空任意點上與 prompt 匹配的場景外觀。沒有配對訓(xùn)練數(shù)據(jù)，研究無法直接監(jiān)督的輸出；然而，給定一系列的相機姿勢? ?就可以從渲染出圖像序列并將它們堆疊成一個視頻 V。然后，將文本 prompt p 和視頻 V 傳遞給凍結(jié)和預(yù)訓(xùn)練的 T2V 擴散模型，由該模型對視頻的真實性和 prompt alignment 進行評分，并使用 SDS（得分蒸餾采樣）來計算場景參數(shù) θ 的更新方向。

上面的 pipeline 可以算作 DreamFusion 的擴展，為場景模型添加了一個時間維度，并使用 T2V 模型而不是文本到圖像（T2I）模型進行監(jiān)督。然而，要想實現(xiàn)高質(zhì)量的文本到 4D 的生成還需要更多的創(chuàng)新：

• 第一，需要使用新的、允許靈活場景運動建模的 4D 表征；
• 第二，需要使用多級靜態(tài)到動態(tài)優(yōu)化方案來提高視頻質(zhì)量和提高模型收斂性，該方案利用幾個 motion regularizer 來生成真實的運動；
• 第三，需要使用超分辨率微調(diào)（SRFT）提高模型的分辨率。

具體說明見下圖：

實驗

在實驗中，研究者評估了 MAV3D 從文本描述生成動態(tài)場景的能力。首先，研究者評估了該方法在 Text-To-4D 任務(wù)上的有效性。據(jù)悉，MAV3D 是首個該任務(wù)的解決方案，因此研究開發(fā)了三種替代方法作為基線。其次，研究者評估了 T2V 和 Text-To-3D 子任務(wù)模型的簡化版本，并將其與文獻中現(xiàn)有的基線進行比較。第三，全面的消融研究證明了方法設(shè)計的合理性。第四，實驗描述了將動態(tài) NeRF 轉(zhuǎn)換為動態(tài)網(wǎng)格的過程，最終將模型擴展到 Image-to-4D 任務(wù)。

指標

研究使用 CLIP R-Precision 來評估生成的視頻，它可以測量文本和生成場景之間的一致性。報告的指標是從呈現(xiàn)的幀中檢索輸入 prompt 的準確性。研究者使用 CLIP 的 ViT-B/32 變體，并在不同的視圖和時間步長中提取幀，并且還通過詢問人工評分人員在兩個生成的視頻中的偏好來使用四個定性指標，分別是：(i) 視頻質(zhì)量；(ii) 忠實于文本 prompt；(iii) 活動量；(四) 運動的現(xiàn)實性。研究者評估了在文本 prompt 分割中使用的所有基線和消融。

圖 1 和圖 2 為示例。要想了解更詳細的可視化效果，請參見 make-a-video3d.github.io。

結(jié)果

表 1 顯示了與基線的比較（R - 精度和人類偏好）。人工測評以在特定環(huán)境下與該模型相比，贊成基線多數(shù)票的百分比形式呈現(xiàn)。

表 2 展示了消融實驗的結(jié)果：

實時渲染

使用傳統(tǒng)圖形引擎的虛擬現(xiàn)實和游戲等應(yīng)用程序需要標準的格式，如紋理網(wǎng)格。HexPlane 模型可以輕易轉(zhuǎn)換為如下的動畫網(wǎng)格。首先，使用 marching cube 算法從每個時刻 t 生成的不透明度場中提取一個簡單網(wǎng)格，然后進行網(wǎng)格抽?。榱颂岣咝剩┎⑶胰コ≡肼曔B接組件。XATLAS 算法用于將網(wǎng)格頂點映射到紋理圖集，紋理初始化使用以每個頂點為中心的小球體中平均的 HexPlane 顏色。最后，為了更好地匹配一些由 HexPlane 使用可微網(wǎng)格渲染的示例幀，紋理會被進一步優(yōu)化。這將產(chǎn)生一個紋理網(wǎng)格集合，可以在任何現(xiàn)成的 3D 引擎中回放。

圖像到 4D

圖 6 和圖 10 展示了該方法能夠從給定的輸入圖像產(chǎn)生深度和運動，從而生成 4D 資產(chǎn)。

更多研究細節(jié)，可參考原論文。