ScribbleDiff：使用涂鴉精細(xì)引導(dǎo)擴(kuò)散，實(shí)現(xiàn)無需訓(xùn)練的文本到圖像生成
ScribbleDiff可以通過簡單的涂鴉幫助計(jì)算機(jī)生成圖像。比如你在紙上隨意畫了一些線條，表示你想要的圖像的輪廓。ScribbleDiff會(huì)利用這些線條來指導(dǎo)圖像生成的過程。
首先，它會(huì)分析這些涂鴉，確保生成的圖像中的對(duì)象朝著你畫的方向。比如，如果你畫了一條向右的線，生成的貓就會(huì)朝右看，而不是朝左。其次，這個(gè)方法會(huì)將你的涂鴉進(jìn)行擴(kuò)展，使得生成的圖像更加完整和細(xì)致。
這樣，即使你的涂鴉很簡單，計(jì)算機(jī)也能理解并生成出你想要的圖像。通過這種方式，ScribbleDiff讓我們與計(jì)算機(jī)的互動(dòng)變得更加直觀和有效。
相關(guān)鏈接
論文鏈接：http://arxiv.org/abs/2409.08026v1
項(xiàng)目地址：https://github.com/kaist-cvml-lab/scribble-diffusion
論文閱讀
涂鴉引導(dǎo)擴(kuò)散：實(shí)現(xiàn)無需訓(xùn)練的文本到圖像生成
摘要
文本到圖像擴(kuò)散模型的最新進(jìn)展已顯示出顯著的成功，但它們往往難以完全捕捉用戶的意圖?，F(xiàn)有的使用文本輸入結(jié)合邊界框或區(qū)域蒙版的方法無法提供精確的空間引導(dǎo)，常常導(dǎo)致對(duì)象方向錯(cuò)位或非預(yù)期。為了解決這些限制，我們提出了涂鴉引導(dǎo)擴(kuò)散(ScribbleDiff)，這是一種無需訓(xùn)練的方法，它利用用戶提供的簡單涂鴉作為視覺提示來指導(dǎo)圖像生成。然而，將涂鴉納入擴(kuò)散模型會(huì)帶來挑戰(zhàn)，因?yàn)樗鼈兙哂邢∈韬捅∪醯男再|(zhì)，很難確保準(zhǔn)確的方向?qū)R。為了克服這些挑戰(zhàn)，我們引入了矩對(duì)齊和涂鴉傳播，這使得生成的圖像和涂鴉輸入之間可以更有效、更靈活地對(duì)齊。在 PASCAL-Scribble 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示空間控制和一致性有了顯著改善，展示了基于涂鴉的引導(dǎo)在擴(kuò)散模型中的有效性。
方法
整體架構(gòu)。 無需訓(xùn)練的 Scribble-Guided Diffusion (ScribbleDiff) 由兩個(gè)主要組件組成：矩對(duì)齊和涂鴉傳播。紅色箭頭表示分布的主要方向。相似度較高的錨點(diǎn)（紅色矩形）是根據(jù)涂鴉的錨點(diǎn)（黃色矩形）收集的。（文字提示：云朵在天空中飄浮，在平靜的河流上投下柔和、變幻的陰影。一座中世紀(jì)的橋梁橫跨水道的寬度。）
力矩?fù)p失對(duì)物體方向的影響。力矩?fù)p失可改善物體方向與涂鴉方向之間的對(duì)齊。如果沒有力矩?fù)p失，貓會(huì)面向涂鴉方向的反方向。
涂鴉傳播的效果。通過穩(wěn)定擴(kuò)散中的涂鴉傳播，涂鴉會(huì)隨時(shí)間顯著擴(kuò)大，從而改善物體形狀并增強(qiáng)視覺連貫性。
實(shí)驗(yàn)
使用涂鴉提示對(duì)文本到圖像生成方法進(jìn)行定性比較。ScribbleDiff 產(chǎn)生的結(jié)果與涂鴉輸入更加一致，特別是在對(duì)象的方向和抽象形狀方面。
PASCAL-Scribble 數(shù)據(jù)集的定性結(jié)果。各種文本到圖像生成方法的比較，包括在訓(xùn)練數(shù)據(jù)集上微調(diào)的 ControlNet。ScribbleDiff 表現(xiàn)出與輸入涂鴉的出色對(duì)齊效果，特別是在處理抽象形狀和對(duì)象方向時(shí)。
PASCAL-Scribble數(shù)據(jù)集的消融研究。 同一隨機(jī)種子加關(guān)鍵成分與不加關(guān)鍵成分定性結(jié)果的比較。
結(jié)論
ScribbleDiff方法克服了傳統(tǒng)邊界框和區(qū)域蒙版的局限性，這些局限性通常無法有效捕捉抽象形狀和物體方向。然而，涂鴉的稀疏和稀疏性質(zhì)可能會(huì)妨礙精確控制，通過引入兩個(gè)關(guān)鍵組件來緩解這種情況：
- 矩?fù)p失以使物體方向與涂鴉方向?qū)R
- 涂鴉傳播以增強(qiáng)稀疏涂鴉輸入到完整蒙版中。
實(shí)驗(yàn)結(jié)果表明，ScribbleDiffurpass 在各種指標(biāo)（包括新的涂鴉比率）中都通過了無訓(xùn)練和微調(diào)方法。我們的方法在保持對(duì)文本提示的保真度的同時(shí)，持續(xù)改進(jìn)了物體方向和空間對(duì)齊
