CVPR 2024 Spotlight | 解鎖圖像編輯新境界, 北大、騰訊提出DiffEditor，讓精細(xì)編輯更簡(jiǎn)單！
本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
在圖像生成領(lǐng)域，大型文本到圖像（T2I）擴(kuò)散模型近年來(lái)取得了革命性的突破。然而，將這些強(qiáng)大的生成能力轉(zhuǎn)化為精細(xì)的圖像編輯任務(wù)，仍面臨諸多挑戰(zhàn)。CVPR 2024, 來(lái)自北京大學(xué)深圳研究生院與騰訊PCG的研究團(tuán)隊(duì)提出了一種創(chuàng)新的圖像編輯方法——DiffEditor，該方法不僅顯著提升了編輯的準(zhǔn)確性和靈活性，還拓寬了擴(kuò)散模型在圖像編輯領(lǐng)域的應(yīng)用邊界。
DiffEditor可以對(duì)一般圖像執(zhí)行各種細(xì)粒度的圖像編輯操作。給定一張圖片，用戶可以選擇一個(gè)對(duì)象進(jìn)行移動(dòng)或調(diào)整大小，也可以選擇多個(gè)像素點(diǎn)進(jìn)行更精確的內(nèi)容拖動(dòng)。此外，用戶還可以選擇參考圖像進(jìn)行跨圖像編輯，即對(duì)象粘貼和外觀替換。
相關(guān)鏈接
- 論文：https://arxiv.org/pdf/2402.02583
- 項(xiàng)目：https://github.com/MC-E/DragonDiffusion
背景與挑戰(zhàn)
現(xiàn)有的基于擴(kuò)散模型的圖像編輯方法，如DragDiff和DragonDiff，雖然在一定程度上實(shí)現(xiàn)了圖像的精細(xì)編輯，但仍存在局限性。DragDiff受限于GAN模型的容量，而DragonDiff則在編輯過(guò)程中犧牲了部分靈活性。此外，這些方法往往忽視了文本提示在精細(xì)編輯中的潛在作用，導(dǎo)致編輯結(jié)果在某些場(chǎng)景下缺乏細(xì)節(jié)和準(zhǔn)確性。
方法
DiffEditor 概述，它由可訓(xùn)練的圖像提示編碼器和帶有不需要訓(xùn)練的編輯指導(dǎo)的擴(kuò)散采樣組成。
- 引入圖像提示：DiffEditor首次嘗試將圖像提示引入精細(xì)圖像編輯任務(wù)中，與文本提示相結(jié)合，為編輯內(nèi)容提供了更詳細(xì)的描述，從而顯著提高了編輯質(zhì)量。
- 區(qū)域SDE策略：為了提升編輯的靈活性，DiffEditor提出了一種區(qū)域隨機(jī)微分方程（SDE）策略，該策略能夠在編輯區(qū)域注入隨機(jī)性，同時(shí)保持其他區(qū)域的內(nèi)容一致性。
- 時(shí)間旅行策略：為了進(jìn)一步改善編輯質(zhì)量，DiffEditor引入了時(shí)間旅行策略，在單個(gè)擴(kuò)散時(shí)間步內(nèi)建立循環(huán)指導(dǎo)，從而精煉編輯效果。
圖像提示編碼器設(shè)計(jì)說(shuō)明
實(shí)驗(yàn)與性能
DiffEditor與其他面部處理方法的定性比較。當(dāng)前點(diǎn)和目標(biāo)點(diǎn)用紅色和藍(lán)色標(biāo)記嗎，白線表示距離，結(jié)果和目標(biāo)之間的 MSE 距離用黃色標(biāo)記。
提出的方法與其他方法在外觀替換、對(duì)象粘貼和對(duì)象移動(dòng)任務(wù)上的視覺(jué)比較。
不同擴(kuò)散模型上的編輯結(jié)果可視化。
綜上所示，研究團(tuán)隊(duì)通過(guò)大量實(shí)驗(yàn)驗(yàn)證了DiffEditor在各種精細(xì)圖像編輯任務(wù)（如內(nèi)容拖動(dòng)、對(duì)象移動(dòng)、縮放、粘貼和外觀替換）中的優(yōu)越性能。與現(xiàn)有的基于擴(kuò)散和GAN的方法相比，DiffEditor不僅具有更高的編輯準(zhǔn)確性和內(nèi)容一致性，還保持了良好的靈活性。特別是在需要想象新內(nèi)容的場(chǎng)景中，DiffEditor能夠產(chǎn)生更自然的結(jié)果。
結(jié)論
DiffEditor是一種高效且靈活的圖像編輯方法，能夠無(wú)縫融入各種精細(xì)圖像編輯任務(wù)，無(wú)需針對(duì)特定任務(wù)進(jìn)行訓(xùn)練。盡管DiffEditor已經(jīng)取得了顯著成果，但在某些需要大量?jī)?nèi)容想象的場(chǎng)景中，如旋轉(zhuǎn)汽車的前部，仍存在一定的編輯難度。研究團(tuán)隊(duì)認(rèn)為，這主要?dú)w因于基礎(chǔ)模型SD的多樣性限制。未來(lái)，他們將繼續(xù)探索更先進(jìn)的模型架構(gòu)和訓(xùn)練策略，以進(jìn)一步拓展DiffEditor的應(yīng)用范圍和編輯能力。
