「空間智能」和「世界模型」是最近學(xué)術(shù)界和產(chǎn)業(yè)界非常火熱的研究方向，走向虛實(shí)結(jié)合、模擬世界機(jī)理的關(guān)鍵一步，就是創(chuàng)造出一個(gè)生動的虛擬世界。

然而，想要打造豐富多樣、充滿細(xì)節(jié)，同時(shí)具備高度可編輯性和物理真實(shí)性的3D虛擬世界，仍然困難重重。

為了解決這些難題，來自中國科學(xué)院自動化研究所和北京科技大學(xué)的聯(lián)合團(tuán)隊(duì)，首次提出了一種全新的3D場景生成框架SceneX，只需簡單的文字描述，就能快速生成高質(zhì)量的3D虛擬場景。

不論是遼闊的自然風(fēng)景，還是充滿活力的城市街道，模型都能輕松應(yīng)對。

圖片

網(wǎng)站：https://zhouzq1.github.io/SceneX/

論文：https://arxiv.org/abs/2403.15698

更重要的是，SceneX還能根據(jù)需求靈活調(diào)整，讓場景更貼合用戶設(shè)想。

有了SceneX，虛擬世界的構(gòu)建也會更輕松，簡單且高效。

SceneX開啟高效、逼真場景生成新時(shí)代

SceneX以創(chuàng)新的方式打破傳統(tǒng)局限，全面提升效率與真實(shí)感，主要包括兩個(gè)核心模塊：

PCGHub：通過集成多種程序化生成模塊并封裝為標(biāo)準(zhǔn)化API，PCGHub提供了一個(gè)靈活的平臺，解決單一生成模塊因固有算法和規(guī)則受限而導(dǎo)致的局限性，大幅擴(kuò)展了資源生成的多樣性和靈活性。

PCGPlanner：作為智能規(guī)劃器，PCGPlanner高效協(xié)調(diào)PCGHub的資源完成場景生成。其全自動化流程包括場景分解、地形生成、資產(chǎn)生成與檢索、資產(chǎn)放置等階段。通過模塊化設(shè)計(jì)，確保生成結(jié)果的連貫性與幾何一致性。

相比傳統(tǒng)方法需要數(shù)周完成的大規(guī)模場景建模，SceneX將時(shí)間壓縮至數(shù)小時(shí)，同時(shí)支持通過簡單的文字指令精確控制場景的細(xì)節(jié)。SceneX的跨模態(tài)協(xié)同能力，賦予場景生成前所未有的靈活性與可控性。

圖片

圖1：SceneX可根據(jù)文本指令自動生成大規(guī)模3D自然場景或城市。生成的模型具備精細(xì)的幾何結(jié)構(gòu)、真實(shí)的材質(zhì)紋理和自然的光照效果，可無縫應(yīng)用于工業(yè)流程

PCGHub：多樣化程序化資產(chǎn)與布局生成平臺

場景的多樣性離不開資產(chǎn)的多樣性。

為此，PCGHub提供了一個(gè)集成豐富程序化生成模塊和3D資產(chǎn)的平臺，旨在解決傳統(tǒng)方法的局限性并提升內(nèi)容真實(shí)感。

PCGHub提供了172個(gè)涵蓋自然環(huán)境、建筑等多領(lǐng)域的程序化資產(chǎn)，并配備了散射、網(wǎng)格、線性等多種靈活的布局生成器，使開發(fā)者能夠輕松創(chuàng)建豐富多樣的3D場景。

表1：PCGHub中各元素功能概覽

這些資產(chǎn)可通過調(diào)整幾何和材質(zhì)參數(shù)實(shí)現(xiàn)多樣化變化。

從2,362個(gè)原始參數(shù)中提取了263個(gè)核心參數(shù)，并封裝為標(biāo)準(zhǔn)化API，每個(gè)API配有詳盡文檔，包括功能描述和參數(shù)規(guī)格，方便用戶調(diào)用和擴(kuò)展。

此外，PCGHub還包含11,284個(gè)高質(zhì)量3D靜態(tài)資產(chǎn)，極大地豐富了資源庫的多樣性。

PCGHub的推出，為生成多樣化且真實(shí)感強(qiáng)的場景提供了高效而靈活的解決方案。

圖2：某個(gè)樹木程序化生成模塊的API文檔、API功能及生成結(jié)果示例

PCGPlanner：智能場景生成與布局規(guī)劃

PCGPlanner利用PCGHub提供的資源，實(shí)現(xiàn)高效的自動化場景生成。整個(gè)生成過程包括四個(gè)關(guān)鍵階段：

（1）場景分解：根據(jù)用戶需求分析場景并列出所需資產(chǎn)；

（2）地形生成：構(gòu)建基礎(chǔ)地形并應(yīng)用適當(dāng)?shù)牟馁|(zhì)；

（3）物體生成與檢索：根據(jù)需求生成或?qū)雸鼍八璧馁Y產(chǎn)；

（4）資產(chǎn)放置：根據(jù)不同的布局類型和程序化生成器，在場景中安排資產(chǎn)。

圖片

圖3：SceneX框架通過四個(gè)階段將用戶文本輸入轉(zhuǎn)換為不同的3D場景：場景分解階段、地形生成階段、物體生成和檢索階段以及資產(chǎn)放置階段

一系列實(shí)驗(yàn)驗(yàn)證了SceneX在質(zhì)量、效率和場景編輯上的全方位優(yōu)勢。主要成果如下：

用戶與專家一致好評

在對場景質(zhì)量進(jìn)行評分時(shí)，邀請了用戶和專業(yè)設(shè)計(jì)師參與測試。

結(jié)果表明，SceneX生成的場景獲得了用戶和專家的一致認(rèn)可，評分結(jié)果幾乎持平。

這意味著，無論是普通用戶還是行業(yè)專家，都對SceneX生成的場景贊不絕口。

表2：美學(xué)平均得分（AS）和美學(xué)專家平均得分（AES）的比較分析

圖4：不同場景下個(gè)性化編輯結(jié)果的可視化

圖5：SceneX場景生成效果對比

所見即所得的精準(zhǔn)還原

通過提示詞與場景匹配度評估，SceneX展現(xiàn)了卓越的語義理解和生成能力。

無論是靜謐的河邊風(fēng)光，還是繁華的城市景象，SceneX都能完美復(fù)現(xiàn)用戶想象，實(shí)現(xiàn)「所見即所得」。

圖6：大規(guī)模場景和城市生成結(jié)果

效率無與倫比

時(shí)間就是一切，而SceneX讓場景生成變得又快又準(zhǔn)。

實(shí)驗(yàn)結(jié)果顯示，生成一片壯麗的自然景觀只需要短短幾分鐘，打造一座大型城市也快得令人驚訝。

圖片

結(jié)語

SceneX框架展示了程序化內(nèi)容生成與多Agent工作流結(jié)合的巨大潛力，為大規(guī)模場景生成提供了全新的解決方案。

通過其強(qiáng)大的可控性和高質(zhì)量的生成能力，SceneX為虛擬世界構(gòu)建、游戲開發(fā)、影視制作等領(lǐng)域開辟了新的可能性。

未來，SceneX將進(jìn)一步優(yōu)化生成過程，為用戶提供更加高效便捷的場景生成體驗(yàn)。

參考資料：https://arxiv.org/abs/2403.15698