?大數(shù)據(jù)文摘出品

作者：Caleb

最近，ChatGPT可以說是火得不要不要的。

11月30日，OpenAI發(fā)布聊天機器人ChatGPT，并免費向公眾開放進行測試以來，在國內(nèi)已經(jīng)被玩出了花。

和機器人對話，就是讓機器人去執(zhí)行某個指令，比如說輸入關(guān)鍵字讓AI生成相應(yīng)的畫面。

這好像也不是什么稀奇的事了，OpenAI在4月不是還更新了DALL-E的新版本嗎？

OpenAI，how old are you？（怎么老是你？）

要是文摘菌說生成的是3D畫面，還是HDR全景圖那種，或者是基于VR的圖像內(nèi)容呢？

最近，新加坡南洋理工大學(xué)的研究團隊就提出了這么一個AI，只要用戶用文字輸入一個描述得很清晰的場景，系統(tǒng)就能生成逼真的3D場景。

先來看看效果如何，比如輸入“白天湖上的棕色木碼頭被綠樹環(huán)繞”時，系統(tǒng)就給出了這樣的答案，這光線和細節(jié)效果直接拉滿。

該研究已經(jīng)以Text2Light: Zero-Shot Text-Driven HDR Panorama Generation為題進行了發(fā)表。

論文鏈接：https://arxiv.org/abs/2209.09898

無需訓(xùn)練，即可生成3D的HDRIs

高質(zhì)量的HDRI（高動態(tài)范圍圖像），也就是HDR全景圖，是目前創(chuàng)建逼真的360度3D場景的熱門方法。

考慮到捕捉HDRIs的難度，雖然現(xiàn)在有不少可利用AI生成3D場景的技術(shù)，但基本都需要進行一連串的參數(shù)設(shè)定，或是通過大量數(shù)據(jù)進行深度學(xué)習。

于是，研究人員提出了一個零拍攝文本驅(qū)動框架，即Text2Light，以生成4K+分辨率的HDRIs，并且整個過程不需要相應(yīng)的訓(xùn)練數(shù)據(jù)。

生成HDRIs的過程可以分為兩步。

第一步，基于雙代碼本的離散表示法將輸入文本翻譯成LDR全景圖。輸入文本首先被預(yù)訓(xùn)練的CLIP模型映射到文本嵌入；其次，一個文本條件的全局采樣器學(xué)習根據(jù)輸入文本從全局編碼簿中采樣整體語義；然后，一個結(jié)構(gòu)感知的局部采樣器合成局部補丁，并進行合成。

第二步，根據(jù)結(jié)構(gòu)化的潛伏編碼作為連續(xù)表示，對第一階段的LDR結(jié)果進行升級。研究人員提出的超級分辨率反色調(diào)映射運算器（SR-iTMO）能夠同時提高全景圖的空間分辨率和動態(tài)范圍。

如此一來，在無需進行訓(xùn)練之下就能生成具有4K分辨率的HDRIs，這也是迄今為止最先進的圖像生成模型，清除了從LDR到HDR轉(zhuǎn)換的不穩(wěn)定性，并創(chuàng)建了一對全景圖和文本供學(xué)習。

不過，目前此項技術(shù)仍處于早期研究階段，僅能產(chǎn)生低解析度的360度環(huán)景圖像內(nèi)容，但研究團隊計劃在未來，對現(xiàn)階段技術(shù)所產(chǎn)生環(huán)景圖像進行升級，同時加入HDR影像強化效果，讓生成的3D圖像或VR場景的觀看度更加流暢和有吸引力。

用文本驅(qū)動生成HDRI

接下來，我們就來看看一些操作過程。

先下載好checkpoints，注意團隊分別發(fā)布了室外（local sampler outdoor）和室內(nèi)（local sampler indoor）場景的模型。

從一個句子生成HDR全景圖：

python text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text "YOUR SCENE DESCRIPTION" --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

從系列文本描述中生成HDR全景圖：

# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

生成低分辨率（512x1024）LDR全景圖：

# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy

以此生成的HDR全景圖可以直接在任何現(xiàn)代圖形使用。以在三維計算機圖形軟件Blender進行對舊金山景觀進行渲染為例，當輸入landscape photography of mountain ranges under purple and pink skies后，我們會得到這樣的圖像：

為了便于批處理，例如使用多個hdri進行渲染，在命令行中也可以提供渲染3D的腳本。

解包，檢查檢查Blender的使用情況：

# assume your downloaded version is 3.1.2tar -xzvf blender-3.1.2-linux-x64.tar.xzcd blender-3.1.2-linux-x64./blender --help

添加別名：

# PATH_TO_DOWNLOADED_BLENDER indicates the parent directory where you save the downloaded blenderalias blender="/PATH_TO_DOWNLOADED_BLENDER/blender-3.1.2-linux-x64/blender"

然后回到Text2Light代碼庫，為不同的呈現(xiàn)設(shè)置運行以下命令：

blender --background --python rendering_shader_ball.py -- ./rendered_balls 100 1000 PATH_TO_HDRI

就能得到這樣的結(jié)果：

該項目也在GitHub上開源了：

GitHub鏈接：https://github.com/FrozenBurning/Text2Light

這個項目也得到了不少網(wǎng)友的好評。有網(wǎng)友就感嘆到，“人類的想象力是沒有邊界的”，照這個趨勢來看我們距離“輸入文字就能3D打印出一個真實物體”的時代也不遠了。

也有網(wǎng)友表示，當試圖輸入“一個四層半的榻榻米房間，房間內(nèi)有推拉門、拉門、餐桌、14寸黑白電視、黑色電話機”，仍然會擔心AI能否比較準確地再現(xiàn)這種場景。畢竟在想象中，“這應(yīng)該是一個有異國情調(diào)的房間”。

對這個速成HDR全景圖的AI，大家有什么看法呢？也歡迎小伙伴們在評論區(qū)分享自己的使用心得~

相關(guān)報道：https://www.itmedia.co.jp/news/articles/2210/11/news036.html