誰說生成圖像、視頻一定要靠AI？

普林斯頓大學新出的神器，可無限生成逼真3D世界，特別強調“No AI”。

淺淺感受一下這個效果：

不要以為生成的只是一段視頻，其實背后是一套完整的3D資產，基于建模軟件Blender打造。

此時所有blender用戶一起跟我：??？

如此一來，我們就能用參數(shù)來控制細節(jié)：

或者拿到相應的光流圖、3D場景光流圖、深度圖、全景分割圖等等，輕松hold住各種CV任務。

最最重要的是，它還免費、開源！

媽媽真的再也不用擔心我找不到高質量的3D數(shù)據(jù)投喂AI了……

100%基于隨機數(shù)學的3D數(shù)據(jù)生成器

盡管AI發(fā)展迅猛，但目前CV領域的許多任務仍然缺乏高質量的數(shù)據(jù)，3D尤甚。

一個解決辦法是用合成數(shù)據(jù)。事實證明，在這類數(shù)據(jù)上訓練的模型在零樣本的真實圖像上也可以表現(xiàn)得很好。

但問題是，現(xiàn)有的大多數(shù)免費3D合成數(shù)據(jù)工具基本局限于單一場景：要么是自動駕駛相關，要么就是那種位于室內環(huán)境中的人造物體。

因此，為了擴大覆蓋范圍，尤其是真實世界里的自然場景，作者基于Blender打造了這個基于隨機數(shù)學規(guī)則無限生成各種場景的Infinigen。

Infinigen主要利用Blender的“基元”（或原語），設計了一個程序規(guī)則庫，通過編碼完成真實自然場景各個對象的生成。

論文主要介紹了Infinigen的程序體系，包括：

• Node Transpiler（節(jié)點轉換器），可以自動將Blender節(jié)點圖轉化為Python代碼，方便非程序員用戶使用Infinigen。

如下圖所示，它生成的代碼更通用，既允許我們隨機化輸入?yún)?shù)，也允許隨機化圖結構。

• Generator Subsystems（生成器子系統(tǒng)），Infinigen的生成器是是一個個基于概率的程序，每個程序專門用于生成一個子對象（比如山脈或魚類）。每個對象都有一組高級參數(shù)（比如山的總高度），用戶可以使用Python API來調整這些參數(shù)，以實現(xiàn)對數(shù)據(jù)生成的細粒度控制。
• Material Generators（材料生成器），一共有50個，每個都由一個能指定顏色和反射率的隨機著色器和一個生成相應精細幾何細節(jié)的局部幾何生成器組成。

如下圖由所示，它能保證非常真實的幾何細節(jié)。

• Terrain Generators（地形生成器），如下圖所示，該生成器可以通過反復擠壓生成巨石，使用Blender的內置插件生成小石塊。

并幫助Infinigen通過使用FLIP模擬動力學流體，使用Blender的粒子系統(tǒng)模擬天氣。

• Plants & Underwater Object Generators（植物和水下物體發(fā)生器），包括使用用隨機游走等算法對樹木生長進行建模，從而形成一個覆蓋各種樹木、灌木甚至仙人掌的3D世界。

又或者是使用差異化生長、拉普拉斯生長和反應擴散制造各種珊瑚、使用幾何節(jié)點圖生成樹葉、花朵、海藻、海帶、軟體動物和水母。

還有各種子生成器（比如生物生成器）就不一一介紹了。

除了這些，Infinigen還包括一個圖像渲染與Ground Truth提取程序，主要用于生成下圖這些類型的圖像。

其中對于前者，系統(tǒng)使用了Blender基于自然規(guī)律的路徑跟蹤渲染器Cycles來渲染圖像。

作者介紹，雖然使用Blender開發(fā)了Infinigen的程序規(guī)則，不過程序生成的很大一部分是在Blender之外完成的。

另外，他們也表示，構建Infinigen是一項極大量的軟件工程，光是它代碼庫的主分支就囊括了40485行代碼。

最后，Infinigen在2個Intel Xeon Silver 4114 @ 2.20GHz CPU和1個NVidia GPU上進行了基準測試，生成一對1080p圖像的時間（wall time）為3.5小時。

下表是它與現(xiàn)有合成數(shù)據(jù)集或生成器的比較。

作者表示，從中可以看出，Infinigen最大的優(yōu)點就是不需要任何外部參考資源庫就能程序化地生成無限的自然3D數(shù)據(jù)，別的都不行。

團隊介紹

Infinigen將在本周三的CVPR會議上進行Poster展示。

它的作者全部來自普林斯頓大學Vision & Learning Lab。

三位共同一作，其中一位叫Ma Zeyu，普林斯頓大學博士三年級在讀，2020年本科畢業(yè)于清華大學電子工程專業(yè)。

通訊作者為普林斯頓大學計算機科學系副教授鄧嘉。

目前，Infinigen的代碼已經(jīng)上線GitHub，短短兩天已有850個標星。

論文地址：
https://arxiv.org/abs/2306.09310項目主頁：
https://infinigen.org/
GitHub地址：
https://github.com/princeton-vl/infinigen