本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

這項(xiàng)研究主要是針對(duì)如何智能控制圖像中的光照，采用了一種不需要重新訓(xùn)練模型的新方法。簡(jiǎn)而言之，研究人員利用一種叫作Retinex理論的方法，先識(shí)別出圖像中的光照元素，然后用這些元素來指導(dǎo)圖像生成模型。具體來說，就是通過設(shè)定燈光的類型和位置，調(diào)整生成的圖像的亮度、陰影和光照方向，而這一切都無需額外的數(shù)據(jù)支持。這意味著無論是創(chuàng)造新的圖像還是修整現(xiàn)有的圖像，用戶都能快速實(shí)現(xiàn)想要的光照效果，而且過程簡(jiǎn)單易行。這種創(chuàng)新的做法大大提高了擴(kuò)散模型在圖像生成過程中的靈活性和實(shí)用性。

相關(guān)鏈接

論文地址：https://arxiv.org/pdf/2407.20785v1

論文閱讀

Retinex-Diffusion:利用Retinex理論控制擴(kuò)散模型中的光照條件

摘要

本文介紹了一種在擴(kuò)散模型中處理光照操作的新方法，著重解決了光照條件下的間隙條件圖像生成問題。我們將擴(kuò)散模型概念化為黑盒圖像渲染，并根據(jù)圖像形成模型有策略地分解其能量函數(shù)。該方法在生成過程中有效地分離和控制與光照相關(guān)的屬性。它生成具有逼真照明效果的圖像，包括投射陰影，軟陰影和相互反射。值得注意的是，它不需要學(xué)習(xí)內(nèi)在分解，在潛在空間中尋找方向，也不需要對(duì)新數(shù)據(jù)集進(jìn)行額外的訓(xùn)練。

方法

我們的方法執(zhí)行兩個(gè)任務(wù):

• 它可以控制生成圖像的照明條件
• 它可以在realimages上應(yīng)用新的照明條件。

為了完成這些任務(wù)，我們首先重新表述了擴(kuò)散過程中的能量函數(shù)。然后介紹了圖像合成中的照明制導(dǎo)。最后，我們提出了真實(shí)圖像的幾何保留重照明。值得注意的是，這個(gè)管道不需要進(jìn)一步訓(xùn)練，也不需要額外的數(shù)據(jù)標(biāo)簽或CGI技術(shù)。

效果

照明屬性引導(dǎo)圖像生成:每對(duì)列顯示生成的圖像及其相應(yīng)的照明特征。最初的兩列表示沒有照明引導(dǎo)的原始圖像及其照明特征。隨后的欄目展示了在各種特定照明條件下生成的圖像，照明方向由球體表示。

不可見光源的照明效果控制。給定相同的照明方向提示，我們的方法能夠產(chǎn)生與光源強(qiáng)度相關(guān)的多種照明效果。

照明屬性引導(dǎo)圖像生成:每對(duì)列顯示生成的圖像及其相應(yīng)的照明特征。由球體指示的照明方向。

在產(chǎn)生新的光照條件的背景下，最先進(jìn)圖像與圖像擴(kuò)散模型的視覺比較。

幾何保持圖像重光照:從左到右的順序顯示了原始輸入圖像、倒轉(zhuǎn)圖像和三種不同光照條件下的圖像重光照結(jié)果(分別表示為Relight 1、Relight 2和Relight 3)。這種順序證明了我們的方法在改變光照條件的同時(shí)保持幾何一致性的有效性。由球體指示的照明方向。

真實(shí)室內(nèi)圖像重新照明對(duì)比

真實(shí)人臉圖像重光照對(duì)比

結(jié)論

我們提出了一種新穎的、基于物理的、無需訓(xùn)練的方法，用于在擴(kuò)散生成和真實(shí)圖像中操縱照明。該方法在圖像形成模型的基礎(chǔ)上，通過對(duì)擴(kuò)散模型的能量函數(shù)進(jìn)行改造，實(shí)現(xiàn)了光照條件下圖像的精確生成。我們的方法不需要任何類型的額外培訓(xùn)或方向研究。它很容易嵌入到當(dāng)前的擴(kuò)散模型中。通過提示與照明相關(guān)的特征，擴(kuò)散模型能夠?yàn)檫m當(dāng)?shù)恼彰鳁l件(如打開燈和打開窗戶)生成/調(diào)整與照明相關(guān)的語義。

限制。 這種照明控制并不總是準(zhǔn)確的，它與預(yù)訓(xùn)練擴(kuò)散模型的學(xué)習(xí)數(shù)據(jù)分布一致。今后需要對(duì)擴(kuò)散模型的本征提取進(jìn)行更深入的研究。