超越ControlNet++，讓文生圖更可控的新框架來了！

騰訊優(yōu)圖、南洋理工、浙大等研究機(jī)構(gòu)聯(lián)合推出DynamicControl，直接將多模態(tài)大語言模型（MLLM）的推理能力集成到文本生成圖像（T2I)）任務(wù)中。

而且還提出了一種新穎、高效的多控制適配器，可以自適應(yīng)地選擇不同的條件，從而實(shí)現(xiàn)動(dòng)態(tài)多控制對(duì)齊。

實(shí)驗(yàn)結(jié)果顯示，DynamicControl大大增強(qiáng)了可控性，且不會(huì)犧牲圖像質(zhì)量或圖像文本對(duì)齊。

話不多說，下面來看具體內(nèi)容。

DynamicControl：動(dòng)態(tài)條件選擇新架構(gòu)

基于ControlNet類模型，之前的工作探索了各種控制信號(hào)，例如布局約束、分割圖和深度圖，以決定生成的圖像中的空間排列、物體形狀和景深。

此外，該領(lǐng)域還見證了使用快速工程和交叉注意約束來進(jìn)一步完善圖像生成的調(diào)節(jié)。

不過現(xiàn)有方式均存在各自的局限性。

比如，考慮到一個(gè)對(duì)象的多種條件，一條線路（例如UniControl、UniControlNet）在訓(xùn)練過程中隨機(jī)選擇一次激活一種條件，如圖1(a) 所示。

這種處理不同視覺條件的能力非常低效，將大大增加訓(xùn)練的計(jì)算負(fù)擔(dān)和時(shí)間成本。

另一類方法（例如AnyControl、ControlNet++）使用固定數(shù)量（通常為2或4）的條件，并采用MoE設(shè)計(jì)或多控制編碼器來解決條件數(shù)量變化的問題，如圖1(b) 所示。

然而，這種固定數(shù)量方案并沒有從根本上解決多條件問題，也沒有考慮多條件是否與生成結(jié)果相沖突。

雖然這些方法擴(kuò)展了受控圖像生成的可行性和應(yīng)用，但在不同條件下增強(qiáng)可控性的清晰而全面的方法仍然是一個(gè)正在進(jìn)行的研究和開發(fā)領(lǐng)域。這凸顯了在T2I擴(kuò)散模型中集成和優(yōu)化控制機(jī)制以實(shí)現(xiàn)更可靠和更詳細(xì)的圖像合成方面需要不斷創(chuàng)新。

給定來自同一主題的多個(gè)條件，對(duì)于相同的文本提示，不同的條件在顏色、紋理、布局，合理性等方面產(chǎn)生不同的結(jié)果。

此外，從與源圖像的相似度SSIM得分來看，不同的條件難以準(zhǔn)確生成與輸入源圖像一致的圖像。這也表明不同條件對(duì)生成更好圖像的貢獻(xiàn)不同，有些條件甚至?xí)a(chǎn)生負(fù)面影響。

因此，在先前的方法中，僅選擇一個(gè)或固定數(shù)量的條件而不考慮它們?cè)谏筛咏磮D像的圖像方面的重要性以及每個(gè)條件之間的內(nèi)部關(guān)系是次優(yōu)的。

為了解決這個(gè)問題，研究提出了DynamicControl，這是一個(gè)支持多種控制信號(hào)動(dòng)態(tài)組合的新框架，它可以自適應(yīng)地選擇不同數(shù)量和類型的條件，如圖1（c）所示。

具體咋做到的

算法的整體流程如下圖所示。

給定多種條件，研究首先引入雙循環(huán)控制器來產(chǎn)生真實(shí)的排名分?jǐn)?shù)，作為與MLLM結(jié)合訓(xùn)練條件評(píng)估器的監(jiān)督信號(hào)。

然后，這些排名的條件與來自預(yù)訓(xùn)練條件評(píng)估器的選擇分?jǐn)?shù)由多控制適配器動(dòng)態(tài)編碼，以實(shí)現(xiàn)可控的圖像生成。

Double-Cycle Controlle

鑒于研究將多條件可控性概念化為輸入條件之間的動(dòng)態(tài)選擇，因此使用判別獎(jiǎng)勵(lì)模型來衡量這種選擇是可行的。

通過量化生成模型的輸出，研究能夠依靠這些定量評(píng)估來集體增強(qiáng)各種條件控制的優(yōu)化，以促進(jìn)更可控的生成過程。

具體來說，給定多個(gè)條件和文本提示，研究首先利用預(yù)訓(xùn)練的條件生成模型為每個(gè)條件生成圖像。

然后通過不同的預(yù)訓(xùn)練判別模型提取相應(yīng)的反向條件。

基于這些生成的圖像和反向條件，研究設(shè)計(jì)了一個(gè)雙循環(huán)控制器，對(duì)輸入的多個(gè)控制條件進(jìn)行初始重要性評(píng)估。該雙循環(huán)控制器由兩個(gè)一致性分?jǐn)?shù)組成，即條件一致性和圖像一致性。

（1）條件一致性。對(duì)于每個(gè)輸入條件和生成圖像的相應(yīng)輸出條件，研究?jī)?yōu)化了條件循環(huán)一致性損失以獲得更好的可控性，其公式為：

這里研究對(duì)擾動(dòng)圖像執(zhí)行單步采樣，其中D是判別獎(jiǎng)勵(lì)模型，用于優(yōu)化G的可控性。L表示抽象度量函數(shù)，可根據(jù)特定的視覺條件適應(yīng)各種具體形式。

這種靈活性使其能夠根據(jù)不同視覺分析任務(wù)的獨(dú)特要求進(jìn)行定制，從而增強(qiáng)模型在不同場(chǎng)景中的適用性和有效性。

（2）反向圖像一致性。除了條件一致性之外，研究還采用反向圖像一致性損失來保證原始圖像與生成的圖像相似。

研究通過最小化生成的圖像和源圖像之間的像素和語義差異來實(shí)現(xiàn)這一點(diǎn)。給定源圖像和生成的圖像的CLIP嵌入，損失定義為：

這種損失確保模型在應(yīng)用條件和文本指令時(shí)能夠忠實(shí)地反轉(zhuǎn)條件并返回到源圖像，通過最小化源圖像和生成的圖像之間的差異來強(qiáng)制執(zhí)行模型。

Condition Evaluator

雖然雙循環(huán)控制器可以對(duì)各種控制條件進(jìn)行綜合評(píng)分，但仍然面臨兩個(gè)挑戰(zhàn)：

（i）使用預(yù)先訓(xùn)練的生成模型進(jìn)行圖像合成都會(huì)給結(jié)果帶來較高的不確定性，這意味著對(duì)所采用的基礎(chǔ)生成模型的依賴性很高。

（ii）源圖像在測(cè)試過程中不可用，尤其是在用戶指定的任務(wù)中。為了解決這個(gè)問題，研究在網(wǎng)絡(luò)架構(gòu)中引入了多模態(tài)大語言模型（MLLM）。

如圖3所示，給定條件c₁、c₂、…、c_N和指令τ，研究的主要目標(biāo)是利用雙周期控制器的得分排序來優(yōu)化條件的最佳排序。

研究用N個(gè)新標(biāo)記“<con⁰>、…、<con^N>”，擴(kuò)展了LLaVA的原始LLM詞匯表以表示生成信息，并將這些標(biāo)記附加到指令τ的末尾。

然后，將條件c₁、c₂、…、c_N和重新組織的指令τ^’輸入到大語言模型 (VLLM) LLaV A(·; ω) 中以獲得對(duì)標(biāo)記的響應(yīng)，這些標(biāo)記被處理以提取相應(yīng)的隱藏狀態(tài)hi ∈ H，從VLLM對(duì)輸入的表示中捕獲更深層的語義信息。

然而，這些隱藏狀態(tài)主要存在于LLM的文本向量空間中，在與擴(kuò)散模型（尤其是基于CLIP文本嵌入訓(xùn)練的模型）交互時(shí)會(huì)出現(xiàn)兼容性問題。這種差異可能會(huì)阻礙模型之間的有效集成。

考慮到這一點(diǎn)，研究遷移了Q-Former，以將隱藏狀態(tài)細(xì)化為與擴(kuò)散模型兼容的嵌入f_c。

轉(zhuǎn)換過程表示為：

循環(huán)優(yōu)化過程可以表述為：

隨后，每個(gè)條件的LLM預(yù)測(cè)結(jié)果由雙循環(huán)控制器的相應(yīng)排序分?jǐn)?shù)進(jìn)行監(jiān)督，從而優(yōu)化最終的排序排名。該過程表示為：

多控制適配器動(dòng)態(tài)編碼

為了適應(yīng)多種動(dòng)態(tài)控制條件的同時(shí)應(yīng)用，作者們創(chuàng)新性地設(shè)計(jì)了一個(gè)多控制適配器。該適配器用于自適應(yīng)地解釋復(fù)雜的控制信號(hào)，從而能夠從文本提示和動(dòng)態(tài)空間條件中提取全面的多控制嵌入。

在獲得經(jīng)過良好預(yù)訓(xùn)練的條件評(píng)估器后，可以利用其強(qiáng)大的理解能力對(duì)所有輸入條件進(jìn)行評(píng)分。

從評(píng)分條件池中，只有那些達(dá)到或超過預(yù)定義閾值的條件才會(huì)被選中參與后續(xù)的T2I模型優(yōu)化。

這種選擇性方法確保只有最相關(guān)和最高質(zhì)量的條件才能參與訓(xùn)練過程，從而有可能提高T2I模型的有效性和效率。

關(guān)于閾值設(shè)置，它不是手動(dòng)預(yù)定義的，也不是在訓(xùn)練集內(nèi)的所有數(shù)據(jù)對(duì)中保持一致的。相反，它被配置為一個(gè)可學(xué)習(xí)的參數(shù)，允許模型自適應(yīng)地確定和調(diào)整各種數(shù)據(jù)集的閾值。

因此，這種自適應(yīng)機(jī)制導(dǎo)致動(dòng)態(tài)和多樣化的控制條件在數(shù)量和類型上都沒有沖突。

這些條件在訓(xùn)練過程中的使用取決于每個(gè)數(shù)據(jù)集的具體特征。這種方法確保訓(xùn)練能夠根據(jù)各種數(shù)據(jù)輸入的獨(dú)特需求和細(xì)微差別進(jìn)行量身定制。

實(shí)驗(yàn)結(jié)果

概括而言，來自各種條件控制的實(shí)驗(yàn)結(jié)果表明，DynamicControl大大增強(qiáng)了可控性，而不會(huì)犧牲圖像質(zhì)量或圖像文本對(duì)齊。

其中，不同條件控制和數(shù)據(jù)集下的可控性比較如下。

不同條件控制和數(shù)據(jù)集下的FID（↓）/ CLIP 分?jǐn)?shù)（↑）比較如下。

可視化結(jié)果也出來了。

總結(jié)

在論文中，研究從定量和定性的角度證明了現(xiàn)有的專注于可控生成的研究仍然未能充分利用多種控制條件的潛力，導(dǎo)致生成的圖像與輸入條件不一致。

為了解決這個(gè)問題，研究引入了DynamicControl ，它使用高效的條件評(píng)估器對(duì)條件進(jìn)行排序，明確優(yōu)化了多個(gè)輸入條件和生成的圖像之間的一致性，從而將MLLM的推理能力集成到T2I生成任務(wù)中。

此外，研究還提出了一種新穎而高效的多控制適配器，可以自適應(yīng)地選擇不同的條件，從而實(shí)現(xiàn)動(dòng)態(tài)多控制對(duì)齊。

來自各種條件控制的實(shí)驗(yàn)結(jié)果表明，DynamicControl大大增強(qiáng)了可控性，而不會(huì)犧牲圖像質(zhì)量或圖像文本對(duì)齊。

這為可控視覺生成提供了新的視角。

論文：https://arxiv.org/abs/2412.03255

項(xiàng)目主頁：https://hithqd.github.io/projects/Dynamiccontrol/