只需兩分鐘，玩轉(zhuǎn)圖片轉(zhuǎn)3D！

還是高紋理質(zhì)量、多視角高一致性的那種。

不管是什么物種，輸入時(shí)的單視圖圖像還是這樣?jì)饍旱模?/p>

兩分鐘后，3D版大功告成：

△上，Repaint123（NeRF）；下，Repaint123（GS）

新方法名為Repaint123，核心思想是將2D擴(kuò)散模型的強(qiáng)大圖像生成能力與再繪策略的紋理對(duì)齊能力相結(jié)合，來(lái)生成高質(zhì)量、多視角一致的圖像。

此外，該研究還引入了針對(duì)重疊區(qū)域的可見性感知自適應(yīng)再繪強(qiáng)度的方法。

Repaint123一舉解決了此前方法多視角偏差大、紋理退化、生成慢等問(wèn)題。

目前項(xiàng)目代碼還未在GitHub公布，就有100+人趕來(lái)標(biāo)星碼住：

Repaint123長(zhǎng)啥樣？

之前，將圖像轉(zhuǎn)換為3D的方法通常采用Score Distillation Sampling (SDS)。盡管該方法的結(jié)果令人印象深刻，但存在一些問(wèn)題，如多視角不一致、過(guò)度飽和、過(guò)度平滑的紋理以及生成速度緩慢。

△從上至下：輸入，Zero123-XL，Magic123，Dream gaussian

為了解決這些問(wèn)題，來(lái)自北京大學(xué)、鵬城實(shí)驗(yàn)室、新加坡國(guó)立大學(xué)、武漢大學(xué)的研究人員提出了Repaint123。

總的來(lái)說(shuō)，Repaint123有這幾點(diǎn)貢獻(xiàn)：

（1）Repaint123通過(guò)綜合考慮圖像到3D生成的可控重繪過(guò)程，能夠生成高質(zhì)量的圖片序列，并確保這些圖片在多個(gè)視角下保持一致。

（2）Repaint123提出了一個(gè)簡(jiǎn)單的單視圖3D生成的基準(zhǔn)方法。

在粗模階段，它利用Zero123作為3D先驗(yàn)，并結(jié)合SDS損失函數(shù)，通過(guò)優(yōu)化Gaussian Splatting幾何，快速生成粗糙的3D模型（僅需1分鐘）。

在細(xì)模階段，它采用Stable Diffusion作為2D先驗(yàn)，并結(jié)合均方誤差（MSE）損失函數(shù)，通過(guò)快速細(xì)化網(wǎng)格紋理，生成高質(zhì)量的3D模型（同樣只需1分鐘）。

（3）大量的實(shí)驗(yàn)證明了Repaint123方法的有效性。它能夠在短短2分鐘內(nèi)，從單張圖像中生成與2D生成質(zhì)量相匹配的高質(zhì)量3D內(nèi)容。

△實(shí)現(xiàn)3D一致且高質(zhì)量的單視角3D快速生成

下面來(lái)看具體方法。

Repaint123專注于優(yōu)化mesh細(xì)化階段，其主要改進(jìn)方向涵蓋兩個(gè)方面：生成具有多視角一致性的高質(zhì)量圖像序列以及實(shí)現(xiàn)快速而高質(zhì)量的3D重建。

1、生成具有多視角一致性的高質(zhì)量圖像序列

生成具有多視角一致性的高質(zhì)量圖像序列分為以下三個(gè)部分:

△多視角一致的圖像生成流程

DDIM反演

為了保留在粗模階段生成的3D一致的低頻紋理信息，作者采用了DDIM反演將圖像反演到確定的潛在空間，為后續(xù)的去噪過(guò)程奠定基礎(chǔ)，生成忠實(shí)一致的圖像。

可控去噪

為了在去噪階段控制幾何一致性和長(zhǎng)程紋理一致性，作者引入了ControlNet，使用粗模渲染的深度圖作為幾何先驗(yàn)，同時(shí)注入?yún)⒖紙D的Attention特征進(jìn)行紋理遷移。

此外，為了執(zhí)行無(wú)分類器引導(dǎo)以提升圖像質(zhì)量，論文使用CLIP將參考圖編碼為圖像提示，用于指導(dǎo)去噪網(wǎng)絡(luò)。

重繪

漸進(jìn)式重繪遮擋和重疊部分為了確保圖像序列中相鄰圖像的重疊區(qū)域在像素級(jí)別對(duì)齊，作者采用了漸進(jìn)式局部重繪的策略。

在保持重疊區(qū)域不變的同時(shí)，生成和諧一致的相鄰區(qū)域，并從參考視角逐步延伸到360°。

然而，如下圖所示，作者發(fā)現(xiàn)重疊區(qū)域同樣需要進(jìn)行細(xì)化，因?yàn)樵谡晻r(shí)之前斜視的區(qū)域的可視分辨率變大，需要補(bǔ)充更多的高頻信息。

另外，細(xì)化強(qiáng)度等于1-cosθ*，其中θ*為之前所有相機(jī)視角與所視表面法向量夾角θ的最大值，從而自適應(yīng)地重繪重疊區(qū)域。

△相機(jī)視角與細(xì)化強(qiáng)度的關(guān)系

為了選擇適當(dāng)?shù)募?xì)化強(qiáng)度，以在提高質(zhì)量的同時(shí)保證忠實(shí)度，作者借鑒了投影定理和圖像超分的思想，提出了一種簡(jiǎn)單而直接的可見性感知的重繪策略來(lái)細(xì)化重疊區(qū)域。

2、快速且高質(zhì)量的3D重建

正如下圖所展示的，作者在進(jìn)行快速且高質(zhì)量的3D重建過(guò)程中，采用了兩階段方法。

△Repaint123兩階段單視角3D生成框架

首先，他們利用Gaussian Splatting表示來(lái)快速生成合理的幾何結(jié)構(gòu)和粗糙的紋理。

同時(shí)，借助之前生成的多視角一致的高質(zhì)量圖像序列，作者能夠使用簡(jiǎn)單的均方誤差（MSE）損失進(jìn)行快速的3D紋理重建。

一致性、質(zhì)量和速度最優(yōu)

研究人員對(duì)多個(gè)單視圖生成任務(wù)的方法進(jìn)行了比較。

△單視圖3D生成可視化比較

在RealFusion15和Test-alpha數(shù)據(jù)集上，Repaint123取得了在一致性、質(zhì)量和速度三個(gè)方面最領(lǐng)先的效果。

同時(shí)，作者也對(duì)論文使用的每個(gè)模塊的有效性以及視角轉(zhuǎn)動(dòng)增量進(jìn)行了消融實(shí)驗(yàn):

并且發(fā)現(xiàn)，視角間隔為60度時(shí)，性能達(dá)到峰值，但視角間隔過(guò)大會(huì)減少重疊區(qū)域，增加多面問(wèn)題的可能性，所以40度可作為最佳視角間隔。

論文地址：https://arxiv.org/pdf/2312.13271.pdf
代碼地址：https://pku-yuangroup.github.io/repaint123/
項(xiàng)目地址：https://pku-yuangroup.github.io/repaint123/