論文介紹了一種從單幅圖像合成 360° 3D 場景的新方法。該方法以連貫的方式生成全景圖及其相應(yīng)的深度，解決了現(xiàn)有最先進(jìn)方法（如 LucidDreamer 和 WonderJourney 的局限性。這些方法按照生成軌跡依次添加細(xì)節(jié)，通常在循環(huán)回輸入圖像時(shí)導(dǎo)致可見的接縫。相比之下，該方法可確保整個(gè) 360° 場景的一致性，如圖所示。黃色條顯示每個(gè)結(jié)果中與輸入相對應(yīng)的區(qū)域。

相關(guān)鏈接

• 論文：http://arxiv.org/abs/2412.04827v1
• 主頁：https://people.engr.tamu.edu/nimak/Papers/PanoDreamer
• 代碼：https://github.com/avinashpaliwal/PanoDreamer

論文介紹

PanoDreamer：從單個(gè)圖像合成 3D 全景

論文提出一種從單個(gè)輸入圖像生成連貫 360° 3D 場景的新穎方法PanoDreamer。與順序生成場景的現(xiàn)有方法不同，該方法將問題描述為單圖像全景和深度估計(jì)。一旦獲得連貫的全景圖像及其相應(yīng)的深度，就可以通過修復(fù)小的遮擋區(qū)域并將其投影到 3D 空間來重建場景。論文主要貢獻(xiàn)是將單圖像全景和深度估計(jì)制定為兩個(gè)優(yōu)化任務(wù)，并引入交替最小化策略來有效解決其目標(biāo)。該方法在一致性和整體質(zhì)量方面優(yōu)于單圖像 360° 場景重建的現(xiàn)有技術(shù)。

單圖像全景生成

論文使用修復(fù)擴(kuò)散模型解決單圖像全景生成問題，將其框架為通過交替最小化策略解決的優(yōu)化任務(wù)。在迭代過程中，中心的輸入紋理逐漸向外傳播。

全景與多重?cái)U(kuò)散的比較

全景深度估計(jì)

與全景圖生成類似，使用交替最小化來對齊圓柱形全景圖的重疊單眼深度圖塊，從而能夠估計(jì)一致的 360° 深度圖。

3D 場景與其他方法的比較

將該方法 PanoDreamer（右）與基線方法（左）的渲染進(jìn)行比較。嘗試選擇不同的方法和場景！

結(jié)論

論文提出了一種從單個(gè)輸入圖像生成 360° 3D 場景的新方法。該方法首先生成全景圖及其相應(yīng)的深度圖。在修復(fù)遮擋區(qū)域后，這些圖像用于優(yōu)化 3DGS 表示，從中可以渲染新視圖。為了創(chuàng)建一個(gè)連貫且全局一致的全景圖，論文將任務(wù)設(shè)計(jì)為具有兩個(gè)項(xiàng)的優(yōu)化問題，并通過交替最小化策略有效地解決它。此外，論文提出使用現(xiàn)有單目深度估計(jì)方法估計(jì)全景圖深度的問題作為優(yōu)化，并使用交替最小化來解決它。大量實(shí)驗(yàn)表明，該方法在全景圖生成和重建 3D 場景方面都優(yōu)于最先進(jìn)的方法。