尼奧發(fā)現(xiàn)自己生活的世界并非真實(shí)存在，而是被精心設(shè)計(jì)的模擬現(xiàn)實(shí)。

而你，有沒有那么一瞬間，認(rèn)為我們生活的世界，就是模擬的矩陣世界。

而現(xiàn)在，矩陣正式開啟。

靜心感受，這個(gè)人類生存已久的地球，大自然的一切，都是虛幻世界。

北極冰川太陽升起。海底世界中的千奇百怪的魚群、五彩斑斕的珊瑚礁。

高山飛雪，老鷹在浩瀚無垠的天空中翱翔。熾熱沙漠，兇險(xiǎn)的蛇自由穿梭。

河邊小樹，燃起熊熊烈火，煙霧繚繞。

清澈見底的大海和小溪，海龜在沙灘慵懶地曬著太陽，許多蜻蜓在空中嬉戲。

巖洞中光與影的變幻。

嘩嘩墜落的雨滴、隨風(fēng)飄落的楓葉，時(shí)間瞬間戛然而止。

你所見皆是人工智能設(shè)計(jì)的。它們的模擬是如此逼真，甚至被所有人誤認(rèn)為是現(xiàn)實(shí)本身。

打開這扇矩陣大門的團(tuán)隊(duì)來自普林斯頓，研究一出瞬間在網(wǎng)上瞬間引起軒然大波。

網(wǎng)友紛紛表示，原來我們生活在矩陣中！

論文中，研究人員引入了一個(gè)自然世界的逼真3D場(chǎng)景程序生成器「Infinigen」。

Infinigen完全是程序化的，從形狀到紋理，都是通過隨機(jī)的數(shù)學(xué)規(guī)則從頭開始生成。

甚至，還能變換無窮，覆蓋了大自然界的植物、動(dòng)物、地形，還有火、云、雨和雪等自然現(xiàn)象。

最新論文已被CVPR 2023接收。

論文地址：https://arxiv.org/pdf/2306.09310.pdf

Infinigen建立在免費(fèi)和開源的圖形工具Blender上，同樣Infinigen也是開源的。

值得一提的是，3.5個(gè)小時(shí)就能生成一對(duì)1080p的圖像！

無限CV數(shù)據(jù)生成器

普林斯頓大學(xué)提出的Infinigen可以輕松定制，生成各種特定任務(wù)的真實(shí)情況。

如下，模擬大自然界中的多樣性。

而它最主要的作用就在于，能夠作為作為無限訓(xùn)練數(shù)據(jù)的生成器，用于廣泛的計(jì)算機(jī)視覺任務(wù)。

其中，包括 目標(biāo)檢測(cè)、語義分割、姿態(tài)估計(jì)、3D重建、視圖合成和視頻生成。

此外，它還可以用于構(gòu)建訓(xùn)練物理機(jī)器人，以及虛擬具身智能體的模擬環(huán)境。

當(dāng)然了，3D打印、游戲開發(fā)、虛擬現(xiàn)實(shí)、電影制作和一般的內(nèi)容創(chuàng)作都可用。

接下來，看看Infinigen系統(tǒng)是如何被設(shè)計(jì)出來的。

Blender的預(yù)演。

研究人員主要使用Blender開發(fā)程序化規(guī)則，Blender是一個(gè)開源的三維建模軟件，提供各種基元和實(shí)用工具。

Blender將場(chǎng)景表現(xiàn)為擺放對(duì)象的層次結(jié)構(gòu)。

而用戶通過轉(zhuǎn)換對(duì)象、添加基元和編輯網(wǎng)格來修改這一表示。

Blender提供了大多數(shù)常見3D文件格式的導(dǎo)入/導(dǎo)出。

最后，Blender中的所有操作都可以通過其Python API自動(dòng)完成，或者通過檢查其開源代碼。

節(jié)點(diǎn)轉(zhuǎn)譯器。

作為Infinigen的一部分，研究人員開發(fā)了一套新的工具來加速研究人員的程序化建模。

一個(gè)值得注意的例子是研究人員的節(jié)點(diǎn)轉(zhuǎn)換器，它可以自動(dòng)將節(jié)點(diǎn)圖轉(zhuǎn)換為Python代碼，如圖所示。

由此產(chǎn)生的代碼更加通用，并允許研究人員隨機(jī)化圖形結(jié)構(gòu)，而不僅僅是輸入?yún)?shù)。

這個(gè)工具使結(jié)點(diǎn)圖更具表現(xiàn)力，并允許與其他直接用Python或C++開發(fā)的程序化規(guī)則輕松整合。

它還允許非程序員通過制作節(jié)點(diǎn)圖為Infinigen貢獻(xiàn)Python代碼。

生成器子系統(tǒng)。Infinigen是由生成器組成的，生成器是概率程序，每個(gè)程序都專門用于生成一個(gè)子類的資產(chǎn)（如山或魚）。

每個(gè)發(fā)生器都有一套高級(jí)參數(shù)（如山的整體高度），反映了用戶可控制的外部自由度。

在默認(rèn)情況下，研究人員根據(jù)為反映自然界而調(diào)整的分布對(duì)這些參數(shù)進(jìn)行隨機(jī)抽樣，沒有用戶的輸入。

然而，用戶也可以使用研究人員的Python API覆蓋任何參數(shù)，以實(shí)現(xiàn)對(duì)數(shù)據(jù)生成的細(xì)粒度控制。

下圖是隨機(jī)的、且僅包含地形的場(chǎng)景。研究人員為各種自然場(chǎng)景類型選擇了13張圖片。

分別為：山脈、上漲的河水、雪山、海岸日出、水下、北極冰山、沙漠、洞穴、峽谷和浮島。

下圖則是隨機(jī)生成的模擬火焰的圖片，包括煙霧、瀑布，以及火山噴發(fā)的場(chǎng)景。

樹葉、鮮花、蘑菇、松果。

樹木、仙人掌、灌木。

海洋生物。

各種類型的地表。

下圖則是生物的生成。

研究人員自動(dòng)生成了不同基因組（a）、身體部位（b）、身體部位拼接（c）、毛發(fā)（d）和體態(tài)（e）。

圖片右側(cè)則是研究人員展示的隨機(jī)生成的食肉動(dòng)物、食草動(dòng)物、鳥類、甲蟲和魚類。

在下圖中，研究人員按程序組成一個(gè)隨機(jī)的場(chǎng)景布局（a）。

研究者生成所有必要的圖片內(nèi)容（b，用來顯示每個(gè)網(wǎng)格面的顏色），并應(yīng)用程序化材料和位移（c）。

最后再渲染一個(gè)真實(shí)的圖像（d）。

下圖展示的是動(dòng)態(tài)分辨率縮放。

研究人員展示了三個(gè)相機(jī)距離不同，但內(nèi)容相同的特寫網(wǎng)格可視化視圖。

盡管網(wǎng)格分辨率不同，但在最終的圖像中看不到任何變化。

實(shí)驗(yàn)結(jié)果

為了對(duì)Infinigen進(jìn)行評(píng)估，研究人員制作了30K的圖像對(duì)，這些圖像有用于矯正立體匹配的地面實(shí)景。

研究人員在這些圖像上開始訓(xùn)練RAFTStereo，并在Middlebury驗(yàn)證集和測(cè)試集上對(duì)結(jié)果進(jìn)行了比較。

這項(xiàng)研究代碼在今天剛剛公布，已經(jīng)收攬99顆星。

「西部世界」既視感

英偉達(dá)科學(xué)家Jim Fan表示，當(dāng)我們?cè)诂F(xiàn)實(shí)中沒有好的訓(xùn)練數(shù)據(jù)時(shí)，模擬是便下一個(gè)「金礦」。

這里，Infinigen便是一個(gè)開源的、程序化生成的、用于3D視覺的逼真數(shù)據(jù)集。其質(zhì)量是驚人的！沒有兩個(gè)世界是相同的。

? 每一個(gè)小細(xì)節(jié)都是隨機(jī)和可定制的，甚至是花瓣上的褶皺！

? 自然界的各種物體和場(chǎng)景：植物、動(dòng)物、地形；火、云、雨和雪。

? 基準(zhǔn)真實(shí)值自動(dòng)注釋：光流、三維場(chǎng)景流、深度、表面法向量、全景分割、封閉邊界。

? 用Blender編寫。

有網(wǎng)友表示，這真是讓我大開眼界。在Blender中程序化生成3D世界。不使用AI，就可以創(chuàng)建任何你能想象的世界。

結(jié)合像這樣的工具來創(chuàng)造世界，像Daz3D這樣的工具來創(chuàng)造角色，Blockade Labs來創(chuàng)造天空盒，Convai來創(chuàng)造NPC。

還有人表示Infinigen將在人工智能計(jì)算機(jī)視覺研究中發(fā)揮作用。

他認(rèn)為未來人工智能將handle所有一切。

比如，我們想在一個(gè)有霧的森林里面做一個(gè)有瀑布的村莊。

我們告訴一個(gè)人工智能寫一個(gè)關(guān)于森林的詳細(xì)描述，再發(fā)送到3D世界生成器。

世界生成后，就可以在村莊里添加人物角色。這些人將由人工智能控制，他們將有互動(dòng)、對(duì)話和記憶。

一種西部世界的趕腳。

另外，有網(wǎng)友稱程序生成已經(jīng)存在了20年（我已經(jīng)做了15年）?！窷o Man's SKy」是5年前技術(shù)的一個(gè)很好的例子。

Infinigen的亮點(diǎn)在于它生成標(biāo)記數(shù)據(jù)。這些數(shù)據(jù)可用于訓(xùn)練AI。這就很瘋狂。

還有網(wǎng)友暢想，在不遠(yuǎn)的將來，游戲會(huì)變得瘋狂……「獨(dú)立」游戲開發(fā)者將能夠推出一些瘋狂的高端內(nèi)容。

Infinigen生成太過逼真，以至于有人認(rèn)為這是虛幻引擎生成的。

作者介紹

Alexander Raistrick

Alexander Raistrick是普林斯頓大學(xué)計(jì)算機(jī)系的二年級(jí)博士生，導(dǎo)師是Jia Deng。

Lahav Lipson

Lahav Lipson是普林斯頓大學(xué)三年級(jí)博士生。

他研究重點(diǎn)是為三維視覺構(gòu)建深度網(wǎng)絡(luò)，利用關(guān)于極線幾何的強(qiáng)大假設(shè)來實(shí)現(xiàn)更好的泛化和測(cè)試準(zhǔn)確性。

Zeyu Ma

Zeyu Ma是普林斯頓大學(xué)視覺與學(xué)習(xí)實(shí)驗(yàn)室的三年級(jí)博士研究生。他曾于2020年獲得清華大學(xué)電子工程學(xué)士學(xué)位。目前的研究重點(diǎn)是多視圖3D重建和程序數(shù)據(jù)生成。