本文將介紹提升擴(kuò)散模型質(zhì)量的六種方法，從而幫助終端用戶達(dá)到畫家級的精準(zhǔn)作圖水平。

簡介

Stable Diffusion模型1.5/2.0/2.1/XL 1.0版本、DALL-E模型、Imagen模型……在過去幾年中，擴(kuò)散模型在圖像生成方面展現(xiàn)出了驚人的質(zhì)量。然而，雖然這些模型在通用概念上產(chǎn)生了高質(zhì)量的圖像，但它們卻難以為更專業(yè)的查詢生成高質(zhì)量的圖像，例如生成訓(xùn)練數(shù)據(jù)集中不常見的特定風(fēng)格的圖像。

我們可以在大量圖像上重新訓(xùn)練整個模型，從頭開始解釋解決問題所需的概念。這聽起來并不實用。首先，我們需要大量的圖像來實現(xiàn)這個想法；其次，這實在是太昂貴和耗時了。

然而，有一些解決方案，只要有少量圖像和一個小時的微調(diào)，擴(kuò)散模型就能在新的概念上產(chǎn)生合理的質(zhì)量。

接下來，我將介紹Dreambooth、Lora、超網(wǎng)絡(luò)、文本反轉(zhuǎn)、IP適配器和ControlNets等廣泛用于定制和條件擴(kuò)散模型的方法。

擴(kuò)散架構(gòu)

在深入研究有助于調(diào)節(jié)擴(kuò)散模型的各種方法之前，讓我們首先回顧一下什么是擴(kuò)散模型。

擴(kuò)散過程可視化示意圖（圖片由作者本人提供）

擴(kuò)散模型的最初想法是訓(xùn)練一個模型，以便從噪聲中重建連貫圖像。在訓(xùn)練階段，我們逐漸添加少量高斯噪聲（正向過程），然后通過優(yōu)化模型來預(yù)測噪聲，從而迭代地重建圖像，減去噪聲，最終達(dá)到更接近目標(biāo)圖像（反向過程）。

圖像損壞（Image Corruption）的原始想法已經(jīng)演變成一種更實用、更輕量的架構(gòu)，其中首先將圖像壓縮到潛在空間，并在低維空間中執(zhí)行所有添加噪聲的操作。

為了將文本信息添加到擴(kuò)散模型中，我們首先將其通過文本編碼器（通常是?CLIP??）以便產(chǎn)生潛在嵌入，然后將其注入具有交叉注意層的模型中。

1.Dreambooth與相關(guān)論文和代碼實現(xiàn)

Dreambooth可視化（可訓(xùn)練塊用紅色標(biāo)記，圖片由作者本人提供）

這個想法是取一個罕見的單詞；通常使用{SKS}單詞，然后教模型將單詞{SKS}映射到我們想要學(xué)習(xí)的特征。例如，這可能是模型從未見過的風(fēng)格，如梵高。我們會展示他的十幾幅畫作，并微調(diào)到短語“一幅{SKS}風(fēng)格的靴子畫”。我們可以類似地個性化生成，例如，學(xué)習(xí)如何在一組自拍照中生成特定人的圖像，例如“山中的{SKS}”。

為了保持在預(yù)訓(xùn)練階段學(xué)到的信息，Dreambooth通過將原始模型生成的文本圖像對添加到微調(diào)集，以便鼓勵模型不要偏離原始的預(yù)訓(xùn)練版本太多。

何時使用，何時不使用

Dreambooth在所有方法中都能產(chǎn)生最佳質(zhì)量；但是，由于整個模型都已更新，該技術(shù)可能會影響已學(xué)過的概念。訓(xùn)練計劃還限制了模型可以理解的概念數(shù)量。這種訓(xùn)練方法比較耗時，差不多需要1-2小時。如果我們決定一次引入幾個新概念，那么我們需要存儲兩個模型檢查點（【譯者注】模型檢查點是指在模型訓(xùn)練過程中定期保存的模型狀態(tài)快照，包括模型的權(quán)重、配置和優(yōu)化器的狀態(tài)等信息），這會浪費大量空間。

2.文本反轉(zhuǎn)與相關(guān)論文和代碼實現(xiàn)

文本反轉(zhuǎn)可視化（可訓(xùn)練塊用紅色標(biāo)記，圖片由作者本人提供）

文本反轉(zhuǎn)方法背后的假設(shè)是，存儲在擴(kuò)散模型的潛在空間中的知識非常龐大。因此，我們想要用擴(kuò)散模型重現(xiàn)的風(fēng)格或條件已經(jīng)為它所知，但我們沒有訪問它的符號（token）。因此，我們不是微調(diào)模型以便在輸入“{SKS}風(fēng)格”的稀有詞時重現(xiàn)所需的輸出，而是優(yōu)化文本嵌入以產(chǎn)生所需的輸出。

何時使用，何時不使用

文本反轉(zhuǎn)方法占用的空間非常小，因為只會存儲符號。訓(xùn)練速度也相對較快，平均訓(xùn)練時間為20-30分鐘。然而，它也有缺點——因為我們正在微調(diào)一個引導(dǎo)模型產(chǎn)生特定風(fēng)格的特定向量，所以它不會超越這種風(fēng)格。

3.LoRA與相關(guān)論文和代碼實現(xiàn)

LoRA可視化（可訓(xùn)練塊標(biāo)記為紅色，圖片由作者本人提供）

低秩自適應(yīng)（Low-Rank Adaptions：LoRA）方法是為大型語言模型提出的，并首先??由SimoRyu改編為擴(kuò)散模型??。LoRA的最初想法是，我們可以將一小部分新權(quán)重與原始模型混合，這些權(quán)重將使用類似的稀有符號（token）方法針對任務(wù)進(jìn)行微調(diào)，而不是對整個模型進(jìn)行微調(diào)，這可能相當(dāng)昂貴。

在擴(kuò)散模型中，秩分解應(yīng)用于交叉注意層，負(fù)責(zé)合并提示和圖像信息。這些層中的權(quán)重矩陣WO、WQ、WK和WV均應(yīng)用了LoRA。

何時使用，何時不使用

LoRA方法的訓(xùn)練時間非常短（5-15分鐘）——與整個模型相比，我們只更新了少量參數(shù)，而且與Dreambooth不同，它們占用的空間要小得多。然而，使用LoRA進(jìn)行微調(diào)的小型模型與DreamBooth相比質(zhì)量較差。

4.超網(wǎng)絡(luò)與相關(guān)論文和代碼實現(xiàn)

超網(wǎng)絡(luò)可視化（訓(xùn)練塊用紅色標(biāo)記，圖片由作者本人提供）

從某種意義上說，超網(wǎng)絡(luò)方法是LoRA的擴(kuò)展。我們不是學(xué)習(xí)會直接改變模型輸出的相對較小的嵌入，而是訓(xùn)練一個能夠預(yù)測這些新注入的嵌入權(quán)重的單獨網(wǎng)絡(luò)。

讓模型預(yù)測特定概念的嵌入，我們可以教超網(wǎng)絡(luò)幾個概念——將同一模型重復(fù)用于多個任務(wù)。

何時使用和不使用

超網(wǎng)絡(luò)方法不專注于單一風(fēng)格，而是能夠產(chǎn)生大量內(nèi)容，通常不會產(chǎn)生像其他方法那樣好的質(zhì)量，并且可能需要大量時間來訓(xùn)練。從優(yōu)點方面來看，它們可以比其他單概念微調(diào)方法存儲更多的概念。

5.IP適配器與相關(guān)論文和代碼實現(xiàn)

IP適配器可視化（可訓(xùn)練塊標(biāo)記為紅色，圖片由作者本人提供）

IP適配器方法不是用文本提示來控制圖像生成，而是提出了一種使用圖像來控制生成的方法，而無需對底層模型進(jìn)行任何更改。

IP適配器方法背后的核心思想是，使用一種解耦的交叉注意機(jī)制，允許將源圖像與文本和生成的圖像特征相結(jié)合。這是通過添加單獨的交叉注意層來實現(xiàn)的，允許模型學(xué)習(xí)特定于圖像的特征。

何時使用，何時不使用

IP適配器方法屬于輕量級的，適應(yīng)性強(qiáng)且速度快。然而，它們的性能在很大程度上取決于訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性。IP適配器通常更適合提供我們希望在生成的圖像中看到的風(fēng)格屬性（例如Mark Chagall的畫作圖像），但可能無法控制精確的細(xì)節(jié)，例如姿勢。

6.ControlNets與相關(guān)論文和代碼實現(xiàn)

ControlNet可視化（可訓(xùn)練塊用紅色標(biāo)記，圖片由作者本人提供）

ControlNet論文提出了一種將文本到圖像模型的輸入擴(kuò)展到任何模態(tài)的方法，從而可以對生成的圖像進(jìn)行細(xì)粒度控制。

在原始公式中，ControlNet是預(yù)訓(xùn)練擴(kuò)散模型的編碼器，它將提示、噪聲和控制數(shù)據(jù)（例如深度圖、地標(biāo)等）作為輸入。為了指導(dǎo)生成，ControlNet的中間級別隨后被添加到凍結(jié)擴(kuò)散模型的激活中。

注入是通過零卷積實現(xiàn)的，其中1×1卷積的權(quán)重和偏差被初始化為零，并在訓(xùn)練過程中逐漸學(xué)習(xí)有意義的變換。這類似于LoRA的訓(xùn)練方式——以0初始化，從恒等函數(shù)開始學(xué)習(xí)。

何時使用，何時不使用

當(dāng)我們想要控制輸出結(jié)構(gòu)時，例如通過地標(biāo)、深度圖或邊緣圖，ControlNets方法是首選方案。由于需要更新整個模型權(quán)重，訓(xùn)練可能很耗時；但是，這些方法也允許通過剛性控制信號進(jìn)行最佳的細(xì)粒度控制。

總結(jié)

• DreamBooth技術(shù)：針對自定義風(fēng)格的主題對模型進(jìn)行全面微調(diào)，控制水平高；但是，訓(xùn)練需要很長時間，并且僅適用于一種目的。
• 文本反轉(zhuǎn)技術(shù)：基于嵌入的新概念學(xué)習(xí)，控制水平低，但訓(xùn)練速度快。
• LoRA技術(shù)：針對新風(fēng)格/角色的輕量級模型微調(diào)，控制水平中等，但訓(xùn)練速度快。
• 超網(wǎng)絡(luò)技術(shù)：單獨的模型來預(yù)測給定控制請求的LoRA權(quán)重。更多風(fēng)格的控制水平較低，需要時間訓(xùn)練。
• IP適配器技術(shù)：通過參考圖像進(jìn)行柔和的風(fēng)格/內(nèi)容指導(dǎo)，中等水平的風(fēng)格控制，輕量級且高效。
• ControlNet技術(shù)：通過姿勢、深度和邊緣進(jìn)行控制非常精確；但是，需要更長的訓(xùn)練時間。
• 最佳實踐推薦：為了獲得最佳效果，結(jié)合使用IP適配器及其更柔和的風(fēng)格指導(dǎo)和用于姿勢和對象排列的ControlNet方法可產(chǎn)生最佳效果。

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計算機(jī)教師，自由編程界老兵一枚。

原文標(biāo)題：?Six Ways to Control Style and Content in Diffusion Models??，作者：Aliaksei Mikhailiuk