本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

先來看一張海島大片：

這可不是哪個(gè)攝影師的杰作，而是出自GANcraft之手。

原圖是「我的世界」中一個(gè)馬賽克畫質(zhì)的場(chǎng)景：

這下「我的世界」真的變成了，我的世界！

GANcraft由英偉達(dá)和康奈爾大學(xué)合作完成，它是一個(gè)無監(jiān)督3D神經(jīng)渲染框架，可以將大型3D塊狀世界生成為逼真圖像。

空前的真實(shí)感

究竟有多逼真？和與其他模型對(duì)比來看。

以下是在兩個(gè)場(chǎng)景中，分別使用MUNIT、GauGAN用到的SPADE、wc-vid2vid，以及NSVF-W（NSVF+NeRF-W）生成的效果。

再感受下GANcraft的效果：（色彩和畫質(zhì)有所壓縮）

通過對(duì)比可以看到：

諸如MUNIT和SPADE這類im2im（圖像到圖像轉(zhuǎn)換）方法，無法保持視角的一致性，這是因?yàn)槟Ｐ筒涣私?D幾何形狀，而且每個(gè)幀是獨(dú)立生成的。

wc-vid2vid產(chǎn)生了視圖一致的視頻，但是由于塊狀幾何圖形和訓(xùn)練測(cè)試域的誤差累積，圖像質(zhì)量隨著時(shí)間迅速下降。

NSVF-W也可以產(chǎn)生與視圖一致的輸出，但是看起來色彩暗淡，且缺少細(xì)節(jié)。

而GANcraft生成的圖像，既保持了視圖一致性，同時(shí)具有高質(zhì)量。

這是怎么做到的？

原理概述

GANcraft中神經(jīng)渲染的使用保證了視圖的一致性，而創(chuàng)新的模型架構(gòu)和訓(xùn)練方案實(shí)現(xiàn)了空前的真實(shí)感。

具體而言，研究人員結(jié)合了3D體積渲染器和2D圖像空間渲染器，使用Hybird體素條件神經(jīng)渲染方法。

首先，定義一個(gè)以體素（即體積元素）為邊界的神經(jīng)輻射場(chǎng)，并且為塊的每個(gè)角，分配一個(gè)可學(xué)習(xí)的特征向量；

再使用三線性插值法，在體素內(nèi)的任意位置定義位置代碼，把世界表示為一個(gè)連續(xù)的體積函數(shù)；并且每個(gè)塊都被分配了一個(gè)語(yǔ)義標(biāo)簽，如泥土、草地或水。

然后，使用MLP隱式定義輻射場(chǎng)，將位置代碼、語(yǔ)義標(biāo)簽和共享的樣式代碼作為輸入，并生成點(diǎn)特征（類似于輻射）及其體積密度。

最后給定相機(jī)參數(shù)，通過渲染輻射場(chǎng)獲得2D特征圖，再利用CNN轉(zhuǎn)換為圖像。

雖然能夠建立體素條件神經(jīng)渲染模型，但是沒有圖像能用作ground truth，為此，研究人員采用了對(duì)抗訓(xùn)練方式。

但是「我的世界」不同于真實(shí)世界，其街區(qū)通常具有完全不同的標(biāo)簽分布，比如：場(chǎng)景完全被雪或水覆蓋，或是多個(gè)生物群落出現(xiàn)在一個(gè)區(qū)域。

在隨機(jī)采樣時(shí)，使用互聯(lián)網(wǎng)照片進(jìn)行對(duì)抗訓(xùn)練，會(huì)生成脫離實(shí)際的結(jié)果：

因此研究人員生成Pseudo-ground truth，用來進(jìn)行訓(xùn)練。

使用預(yù)訓(xùn)練的SPADE模型，通過2D語(yǔ)義分割蒙版，獲得具有相同語(yǔ)義的Pseudo-ground truth圖像。

這不僅減少了標(biāo)簽和圖像分配的不匹配，而且還能用更強(qiáng)的損失，來進(jìn)行更快、更穩(wěn)定的訓(xùn)練。生成效果得到了顯著改善：

此外，GANcraft還允許用戶控制場(chǎng)景語(yǔ)義和輸出風(fēng)格：

其介紹頁(yè)中提到：它將每個(gè)Minecraft玩家變成了3D藝術(shù)家！

并且，簡(jiǎn)化了復(fù)雜風(fēng)景場(chǎng)景的3D建模過程，無需多年的專業(yè)知識(shí)。

GANcraft即將開源，感興趣的讀者可戳鏈接了解詳情~

參考鏈接：
[1]https://nvlabs.github.io/GANcraft/
[2]https://arxiv.org/abs/2104.07659
[3]https://news.ycombinator.com/item?id=26833972