是否還在苦惱于開源圖生 / 文生三維模型無法直接嵌入到 CG 工作流中？是否在尋找具備高質(zhì)量幾何與物理材質(zhì)的三維生成大模型？

最近，上海人工智能實(shí)驗(yàn)室（Shanghai AI Lab）與南洋理工大學(xué)（NTU）共同推出了新一代的三維生成大模型 3DTopia-XL，能夠從圖片或文字單階段直出具有 PBR（物理渲染）材質(zhì)的高質(zhì)量三維數(shù)字資產(chǎn)。

在技術(shù)細(xì)節(jié)上，通過采用全新的三維表征 PrimX 以及基于 DiT 的生成架構(gòu)，具有 10 億規(guī)模參數(shù)的 3DTopia-XL 能夠在 5 秒內(nèi)完成從圖像或文本生成具有物理材質(zhì)屬性的超寫實(shí)三維模型，生成結(jié)果作為 GLB 格式的三維資產(chǎn)可以無縫導(dǎo)入到主流游戲引擎和工業(yè)設(shè)計(jì)軟件的管線中服務(wù)于下游應(yīng)用。

3DTopia-XL 已將代碼、預(yù)訓(xùn)練模型和技術(shù)報(bào)告開源，并且近期還會持續(xù)更新其他模態(tài)作為輸入的預(yù)訓(xùn)練模型。

• 代碼鏈接：https://github.com/3DTopia/3DTopia-XL
• 在線 Demo：https://huggingface.co/spaces/FrozenBurning/3DTopia-XL
• 技術(shù)報(bào)告：https://arxiv.org/abs/2409.12957
• 論文標(biāo)題：3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

在項(xiàng)目開源的這幾天，廣大網(wǎng)友也是第一時(shí)間涌入官方提供的在線 Demo，上傳自己的圖片進(jìn)行試玩。其中 Huggingface 的產(chǎn)品設(shè)計(jì)總監(jiān) Victor 更是第一時(shí)間就進(jìn)行了嘗試，他隨意上傳了一張圖片給 3DTopia-XL，模型經(jīng)過處理返回給他了一個(gè)高質(zhì)量的三維模型，同時(shí)還是帶材質(zhì)的那種！他也將試玩錄屏上傳到 X 上分享給廣大網(wǎng)友：

小編也嘗試了一下在線 demo，比如輸入一張橘子做的小象的創(chuàng)意圖片，生成的三維物體幾何質(zhì)量很高，同時(shí)右下角的交互視窗能夠支持更換不同環(huán)境光照圖來渲染輸出的 GLB 格式資產(chǎn)：

技術(shù)概覽

通過深扒技術(shù)報(bào)告，小編發(fā)現(xiàn) 3DTopia-XL 的核心技術(shù)是一種被稱為 PrimX 的全新三維表征，彌補(bǔ)了三維數(shù)據(jù)沒有高效張量化表征的空白，從而實(shí)現(xiàn)對最具可擴(kuò)展性的擴(kuò)散模型框架 DiT 的支持。

具體而言，3DTopia-XL 采用的是一種創(chuàng)新的三維擴(kuò)散大模型直出技術(shù)，可實(shí)現(xiàn)超寫實(shí)工業(yè)級三維資產(chǎn)的秒級生成。3DTopia-XL 采用 PrimX 作為一種符號距離場的高效幾何表征方式，將三維物體表征為若干個(gè) Primitive 的集合。每個(gè) Primitive 僅在形狀邊界鄰域內(nèi)對局部幾何、紋理和材質(zhì)進(jìn)行聯(lián)合建模，從而將一個(gè)三維資產(chǎn)的所有信息（幾何、紋理、材質(zhì)）表示為若干個(gè)固定長度的 token，完成了三維數(shù)據(jù)的高質(zhì)量結(jié)構(gòu)化。

這樣的方法不僅大幅減少了表示三維物體所需的參數(shù)量，提高了參數(shù)利用效率，而且還便于 DiT 基模型的規(guī)模擴(kuò)展。

在基模型層面，為了實(shí)現(xiàn)高質(zhì)量的三維生成能力，3DTopia-XL 提出了一個(gè)包含 10 億參數(shù)且計(jì)算高效的三維擴(kuò)散模型。其中 PrimX 作為將三維物體高效地轉(zhuǎn)化為基于符號距離場的表達(dá)，會進(jìn)一步通過變分自編碼器對每個(gè)體積基元進(jìn)行壓縮編碼。通過 DiT 架構(gòu)的引入，使得模型能夠在隱空間中進(jìn)行大規(guī)?？蓴U(kuò)展的訓(xùn)練（Latent Primitive Diffusion），從而實(shí)現(xiàn)通過單張圖像輸入生成三維物體的通用能力。

得益于符號距離場的良好性質(zhì)，3DTopia-XL 生成的三維內(nèi)容具備光滑的表面、精細(xì)的結(jié)構(gòu)以及良好的拓?fù)?，接近手工建模質(zhì)量。通過 DDIM 采樣策略，3DTopia-XL 可以實(shí)現(xiàn) 5s 內(nèi)完成去噪過程。

實(shí)驗(yàn)結(jié)果

定量對比上，3DTopia-XL 在三維生成標(biāo)準(zhǔn)評測指標(biāo)超越現(xiàn)有的開源模型，CLIP score 上取得 24.33，超越 ShapE（21.98），也高于 3DTopia 第一版的 22.54，展現(xiàn)出了三維內(nèi)容創(chuàng)作方面的巨大潛力。

同時(shí)，作者從四個(gè)維度（整體質(zhì)量、幾何平滑度、輸入相關(guān)度和渲染正確性）對于圖生三維模型輸出的數(shù)字資產(chǎn)在工業(yè)管線中進(jìn)行了用戶評測（如下圖所示），3D-Topia-XL 在各維度上均超越了 InstantMesh、LGM、CRM 等基于重建的主流方法。

定性對比上，作者對比了主流的基于重建的方法（標(biāo)紅）以及原生三維擴(kuò)散模型（標(biāo)黃），并在對比策略上采用直接將 mesh 導(dǎo)入渲染引擎進(jìn)行對應(yīng)環(huán)境下的渲染，來驗(yàn)證三維生成模型的實(shí)際可用性。如下圖所示，得益于 3DTopia-XL 的高質(zhì)量幾何以及材質(zhì)建模，其展示出的渲染效果和生成質(zhì)量都超過一系列基線方法。

同時(shí)作者還驗(yàn)證了三維生成模型上的尺度定律（Scaling Law），增加訓(xùn)練計(jì)算量和增大模型尺寸都會帶來生成性能的進(jìn)一步提升（以 FID 下降為趨勢特征）。

得益于 PrimX 表征的通用性，使得模型能夠同時(shí)編碼幾何、紋理及材質(zhì)，完成一站式三維生成引擎可用的數(shù)字資產(chǎn)，擺脫了多階段獨(dú)立建模的繁瑣步驟。我們發(fā)現(xiàn)，3DTopia-XL 生成的數(shù)字資產(chǎn)可以直接導(dǎo)入 Blender，UE 等圖形引擎在任意環(huán)境下進(jìn)行渲染。其高質(zhì)量 PBR 建模使得生成的數(shù)字資產(chǎn)展示出高質(zhì)量反光效果，實(shí)現(xiàn)了與環(huán)境的無縫融合。

除了圖生三維模型以外，3DTopia-XL 還會在不久的未來提供多模態(tài)輸入支持，包括文生三維模型和多視角重建模型，為三維內(nèi)容創(chuàng)作提供了全面的解決方案套裝。