如今，每隔一段時(shí)間就有新的文本生成圖像模型釋出，個(gè)個(gè)效果都很強(qiáng)大，每每驚艷眾人，這個(gè)領(lǐng)域已經(jīng)是卷上天了。不過(guò)，像 OpenAI 的 DALL-E 2 或谷歌 的 Imagen 等 AI 系統(tǒng)，都只能生成二維圖像，如果文字也能變成三維場(chǎng)景，那帶來(lái)視覺(jué)體驗(yàn)勢(shì)必加倍提升?，F(xiàn)在，來(lái)自蘋果的 AI 團(tuán)隊(duì)推出了 3D 場(chǎng)景生成的最新神經(jīng)架構(gòu)—— GAUDI 。

它可以捕捉復(fù)雜和逼真的 3D 場(chǎng)景分布，從移動(dòng)攝像機(jī)中進(jìn)行沉浸式渲染，還能根據(jù)文本提示來(lái)創(chuàng)建 3D 場(chǎng)景！該模型以 Antoni Gaudi 命名，他是西班牙著名的建筑大師 。

論文地址：https://arxiv.org/pdf/2207.13751.pdf

1 基于 NeRFs 的 3D 渲染

神經(jīng)渲染（nerual rendering）將計(jì)算機(jī)圖形學(xué)與人工智能結(jié)合起來(lái)，已經(jīng)產(chǎn)生了很多從 2D 圖像生成 3D 模型的系統(tǒng)。比如最近 Nvidia 開(kāi)發(fā)的 3D MoMa 可以在一個(gè)小時(shí)內(nèi)從不到 100 張的照片中創(chuàng)建出 3D 模型。谷歌也依靠神經(jīng)輻射場(chǎng)（NeRFs ）在谷歌地圖中將 2D 衛(wèi)星和街景圖像組合成 3D 場(chǎng)景，實(shí)現(xiàn)了沉浸式視圖。谷歌的 HumanNeRF 還可以從視頻中渲染出 3D 人體。

目前，NeRFs 主要還是用作 3D 模型和 3D 場(chǎng)景的一種神經(jīng)存儲(chǔ)介質(zhì)，可以從不同的相機(jī)視角進(jìn)行渲染。NeRFs 也已經(jīng)開(kāi)始被用于虛擬現(xiàn)實(shí)體驗(yàn)。

那么，NeRFs 這種從不同攝像機(jī)角度逼真地渲染圖像的強(qiáng)大能力，能不能用于生成式 AI 呢？當(dāng)然可以，已經(jīng)有研究團(tuán)隊(duì)嘗試了 3D 場(chǎng)景的生成，如谷歌在去年首次推出了 AI 系統(tǒng) Dream Fields，它將 NeRF 生成 3D 視圖的能力與 OpenAI 的 CLIP 評(píng)估圖像內(nèi)容的能力相結(jié)合，最終實(shí)現(xiàn)了能夠生成匹配文本描述的 NeRF。

圖注：谷歌 Dream Fields

但是，谷歌的 Dream Fields 只能生成針對(duì)單個(gè)對(duì)象的 3D 視圖，要將它擴(kuò)展到完全不受約束的 3D 場(chǎng)景還存在很多困難。最大的難點(diǎn)就在于攝像機(jī)的位置有很大的限制，對(duì)于單個(gè)對(duì)象，每個(gè)可能的、合理的攝像機(jī)位置都可以映射到一個(gè)圓頂，但在 3D 場(chǎng)景中，攝像機(jī)的位置會(huì)受到對(duì)象和墻壁等障礙物的限制。如果在場(chǎng)景生成時(shí)不考慮這些因素，那就很難生成 3D 場(chǎng)景。

2 3D 渲染專家 GAUDI

對(duì)于上述攝像機(jī)位置受限的問(wèn)題，蘋果的 GAUDI 模型拿出了三個(gè)專門的網(wǎng)絡(luò)來(lái)輕松搞定：GAUDI 有一個(gè)相機(jī)姿態(tài)解碼器，它將攝像機(jī)姿態(tài)與場(chǎng)景的 3D 幾何和外觀分離開(kāi)來(lái)，可以預(yù)測(cè)攝像機(jī)的可能位置，并確保輸出是 3D 場(chǎng)景架構(gòu)的有效位置。

圖注：解碼器模型架構(gòu)針對(duì)場(chǎng)景的場(chǎng)景解碼器則可以預(yù)測(cè)三維平面的表示，這種表示是一種 3D 畫(huà)布。

然后，輻射場(chǎng)解碼器會(huì)在這塊畫(huà)布上使用體積渲染方程來(lái)繪制后續(xù)的圖像。

GAUDI 的 3D 生成包含兩個(gè)階段：

一是潛在和網(wǎng)絡(luò)參數(shù)的優(yōu)化：學(xué)習(xí)對(duì)數(shù)千條軌跡的 3D 輻射場(chǎng)和相應(yīng)相機(jī)姿態(tài)進(jìn)行編碼的潛在表示。與針對(duì)單個(gè)對(duì)象不同，有效相機(jī)姿態(tài)隨著場(chǎng)景的變化而不同，所以需要對(duì)每個(gè)場(chǎng)景有效的相機(jī)姿態(tài)進(jìn)行編碼。

二是使用擴(kuò)散模型在潛在表示上學(xué)習(xí)生成模型，從而能夠在有條件和無(wú)條件的推理任務(wù)中都能很好地建模。前者是根據(jù)文本或圖像提示來(lái)生成 3D 場(chǎng)景，后者則是根據(jù)攝像機(jī)軌跡來(lái)生成 3D場(chǎng)景。

通過(guò) 3D 室內(nèi)場(chǎng)景，GAUDI 可以生成新的攝像機(jī)運(yùn)動(dòng)。如在下面一些示例中，文本描述包含有關(guān)場(chǎng)景和導(dǎo)航路徑的信息。這里研究團(tuán)隊(duì)采用了預(yù)先訓(xùn)練的基于 RoBERTa 的文本編碼器，并使用其中間表示來(lái)調(diào)節(jié)擴(kuò)散模型，生成效果如下：文本提示：走進(jìn)廚房

文本提示：上樓

文本提示：穿過(guò)走廊

另外，使用預(yù)訓(xùn)練的ResNet-18 作為圖像編碼器，GAUDI 能夠?qū)碾S機(jī)視點(diǎn)觀察給定圖像的輻射場(chǎng)進(jìn)行采樣，從而從圖像提示中創(chuàng)建 3D 場(chǎng)景。圖像提示：

生成 3D 場(chǎng)景：

圖像提示：

生成 3D 場(chǎng)景：

研究人員在四個(gè)不同的數(shù)據(jù)集（包括室內(nèi)掃描數(shù)據(jù)集 ARKitScences）上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明， GAUDI 可以重建學(xué)習(xí)視圖，而且可以與現(xiàn)有方法的質(zhì)量相匹配。即使是在為數(shù)千個(gè)室內(nèi)場(chǎng)景制作具有數(shù)十萬(wàn)張圖像的 3D 場(chǎng)景的龐大任務(wù)中，GAUDI 也不會(huì)出現(xiàn)模式崩潰或方向問(wèn)題。

GAUDI 的出現(xiàn)不僅會(huì)對(duì)許多計(jì)算機(jī)視覺(jué)任務(wù)上產(chǎn)生影響，而且其 3D 場(chǎng)景的生成能力也將有利于基于模型的強(qiáng)化學(xué)習(xí)和規(guī)劃、SLAM 以及 3D 內(nèi)容的制作等研究領(lǐng)域。

就目前來(lái)看，GAUDI 生成的視頻質(zhì)量還不算高，可以看出有很多偽影。不過(guò)，這個(gè)系統(tǒng)或許可以為蘋果正在進(jìn)行的渲染 3D 對(duì)象和場(chǎng)景的 AI 系統(tǒng)，這是一個(gè)好的開(kāi)始和基礎(chǔ)，據(jù)說(shuō) GAUDI 還將被應(yīng)用到蘋果的 XR 耳機(jī)中，用于生成數(shù)字化位置?？梢云诖幌聗