Stability AI 的大模型家族來(lái)了一位新成員。

昨日，Stability AI 繼推出文生圖 Stable Diffusion、文生視頻 Stable Video Diffusion 之后，又為社區(qū)帶來(lái)了 3D 視頻生成大模型「Stable Video 3D」（簡(jiǎn)稱 SV3D）。

該模型基于 Stable Video Diffusion 打造，能夠顯著提升 3D 生成的質(zhì)量和多視角一致性，效果要優(yōu)于之前 Stability AI 推出的 Stable Zero123 以及豐田研究院和哥倫比亞大學(xué)聯(lián)合開(kāi)源的 Zero123-XL。

目前，Stable Video 3D 既支持商用，需要加入 Stability AI 會(huì)員（Membership）；也支持非商用，用戶在 Hugging Face 上下載模型權(quán)重即可。

Stability AI 提供了兩個(gè)模型變體，分別是 SV3D_u 和 SV3D_p。其中 SV3D_u 基于單個(gè)圖像輸入生成軌道視頻，不需要相機(jī)調(diào)整；SV3D_p 通過(guò)適配單個(gè)圖像和軌道視角擴(kuò)展了生成能力，允許沿著指定的相機(jī)路徑創(chuàng)建 3D 視頻。

目前，Stable Video 3D 的研究論文已經(jīng)放出，核心作者有三位。

• 論文地址：https://stability.ai/s/SV3D_report.pdf
• 博客地址：https://stability.ai/news/introducing-stable-video-3d
• Huggingface 地址：https://huggingface.co/stabilityai/sv3d

技術(shù)概覽

Stable Video 3D 在 3D 生成領(lǐng)域?qū)崿F(xiàn)重大進(jìn)步，尤其是在新穎視圖生成（novel view synthesis，NVS）方面。

以往的方法通常傾向于解決有限視角和輸入不一致的問(wèn)題，而 Stable Video 3D 能夠從任何給定角度提供連貫視圖，并能夠很好地泛化。因此，該模型不僅增加了姿勢(shì)可控性，還能確保多個(gè)視圖中對(duì)象外觀的一致性，進(jìn)一步改進(jìn)了影響真實(shí)和準(zhǔn)確 3D 生成的關(guān)鍵問(wèn)題。

如下圖所示，與 Stable Zero123、Zero-XL 相比，Stable Video 3D 能夠生成細(xì)節(jié)更強(qiáng)、更忠實(shí)于輸入圖像和多視角更一致的新穎多視圖。

此外，Stable Video 3D 利用其多視角一致性來(lái)優(yōu)化 3D 神經(jīng)輻射場(chǎng)（Neural Radiance Fields，NeRF），以提高直接從新視圖生成 3D 網(wǎng)格的質(zhì)量。

為此，Stability AI 設(shè)計(jì)了掩碼分?jǐn)?shù)蒸餾采樣損失，進(jìn)一步增強(qiáng)了預(yù)測(cè)視圖中未見(jiàn)過(guò)區(qū)域的 3D 質(zhì)量。同時(shí)為了減輕烘焙照明問(wèn)題，Stable Video 3D 采用了與 3D 形狀和紋理共同優(yōu)化的解耦照明模型。

下圖為使用 Stable Video 3D 模型及其輸出時(shí)，通過(guò) 3D 優(yōu)化改進(jìn)后的 3D 網(wǎng)格生成示例。

下圖為使用 Stable Video 3D 生成的 3D 網(wǎng)格結(jié)果與 EscherNet、Stable Zero123 的生成結(jié)果比較。

架構(gòu)細(xì)節(jié)

Stable Video 3D 模型的架構(gòu)如下圖 2 所示，它基于 Stable Video Diffusion 架構(gòu)構(gòu)建而成，包含一個(gè)具有多個(gè)層的 UNet，其中每一層又包含一個(gè)帶有 Conv3D 層的殘差塊序列，以及兩個(gè)帶有注意力層（空間和時(shí)間）的 transformer 塊。

具體流程如下所示：

(i) 刪除「fps id」和「motion bucket id」的矢量條件， 原因是它們與 Stable Video 3D 無(wú)關(guān)；

(ii) 條件圖像通過(guò) Stable Video Diffusion 的 VAE 編碼器嵌入到潛在空間，然后在通向 UNet 的噪聲時(shí)間步 t 處連接到噪聲潛在狀態(tài)輸入 zt；

(iii) 條件圖像的 CLIPembedding 矩陣被提供給每個(gè) transformer 塊的交叉注意力層來(lái)充當(dāng)鍵和值，而查詢成為相應(yīng)層的特征；

(iv) 相機(jī)軌跡沿著擴(kuò)散噪聲時(shí)間步被饋入到殘差塊中。相機(jī)姿勢(shì)角度 ei 和 ai 以及噪聲時(shí)間步 t 首先被嵌入到正弦位置嵌入中，然后將相機(jī)姿勢(shì)嵌入連接在一起進(jìn)行線性變換并添加到噪聲時(shí)間步嵌入中，最后被饋入到每個(gè)殘差塊并被添加到該塊的輸入特征中。

此外，Stability AI 設(shè)計(jì)了靜態(tài)軌道和動(dòng)態(tài)軌道來(lái)研究相機(jī)姿勢(shì)調(diào)整的影響，具體如下圖 3 所示。

在靜態(tài)軌道上，相機(jī)采用與條件圖像相同的仰角，以等距方位角圍繞對(duì)象旋轉(zhuǎn)。這樣做的缺點(diǎn)是基于調(diào)整的仰角，可能無(wú)法獲得關(guān)于對(duì)象頂部或底部的任何信息。而在動(dòng)態(tài)軌道上，方位角可以不等距，每個(gè)視圖的仰角也可以不同。

為了構(gòu)建動(dòng)態(tài)軌道，Stability AI 對(duì)靜態(tài)軌道采樣，向方位角添加小的隨機(jī)噪聲，并向其仰角添加不同頻率的正弦曲線的隨機(jī)加權(quán)組合。這樣做提供了時(shí)間平滑性，并確保相機(jī)軌跡沿著與條件圖像相同的方位角和仰角循環(huán)結(jié)束。

實(shí)驗(yàn)結(jié)果

Stability AI 在未見(jiàn)過(guò)的 GSO 和 OmniObject3D 數(shù)據(jù)集上，評(píng)估了靜態(tài)和動(dòng)態(tài)軌道上的 Stable Video 3D 合成多視圖效果。結(jié)果如下表 1 至表 4 所示，Stable Video 3D 在新穎多視圖合成方面實(shí)現(xiàn)了 SOTA 效果。

表 1 和表 3 顯示了 Stable Video 3D 與其他模型在靜態(tài)軌道的結(jié)果，表明了即使是無(wú)姿勢(shì)調(diào)整的模型 SV3D_u，也比所有先前的方法表現(xiàn)得更好。

消融分析結(jié)果表明，SV3D_c 和 SV3D_p 在靜態(tài)軌道的生成方面優(yōu)于 SV3D_u，盡管后者專門在靜態(tài)軌道上進(jìn)行了訓(xùn)練。

下表 2 和表 4 展示了動(dòng)態(tài)軌道的生成結(jié)果，包括姿勢(shì)調(diào)整模型 SV3D_c 和 SV3D_p，后者在所有指標(biāo)上實(shí)現(xiàn)了 SOTA。

下圖 6 中的視覺(jué)比較結(jié)果進(jìn)一步表明，與以往工作相比，Stable Video 3D 生成的圖像細(xì)節(jié)更強(qiáng)、更忠實(shí)于條件圖像、多視角更加一致。

更多技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果請(qǐng)參閱原論文。