AI圖像生成，已經(jīng)進(jìn)入了秒速級(jí)別，只要4步推理就能完成繪制，最快更是能在1秒之內(nèi)完成。

現(xiàn)在，清華大學(xué)聯(lián)合HuggingFace的研究人員，推出了全新的繪圖模型加速模塊。

作者給出的體驗(yàn)版當(dāng)中，點(diǎn)擊生成按鈕后，模型只用了幾秒鐘就繪制出了4張清晰的圖像。

這個(gè)加速模塊叫做LCM-LoRA，發(fā)布后不久就斬獲了2k+次GitHub星標(biāo)。

它不僅加速能力強(qiáng)、泛化性能好，適配的模型也很廣泛，SD系和LoRA模型都能用它來加速。

團(tuán)隊(duì)基于LCM-LoRA自行優(yōu)化的文生圖模型已在HuggingFace上開放體驗(yàn)，圖生圖模型也推出了CoLab等版本。

AI繪圖工具迅速接入

LCM-LoRA開源后不久，就有AI繪圖工具廠商Scenario宣布將基于它推出“實(shí)時(shí)繪圖”功能。

Scenario的CEO還在??上親自展示了即將上線的實(shí)時(shí)繪圖功能DEMO。

只見一邊在繪制草圖，另一邊AI就把相應(yīng)的畫作繪制好了，時(shí)間上幾乎同步。

調(diào)整提示詞和有關(guān)參數(shù)，模型響應(yīng)得也是干脆利落。

這些DEMO發(fā)布后，引發(fā)了眾人的一致贊嘆。

那么，LCM-LoRA這個(gè)加速模塊到底有多強(qiáng)，又是怎樣實(shí)現(xiàn)的呢？

“跳步”降低內(nèi)存開銷

LCM-LoRA將LoRA引入潛在一致性模型（LCM）的蒸餾過程，顯著減少了訓(xùn)練內(nèi)存開銷，從而提高性能。

而LCM是從潛擴(kuò)散模型（LDM）中蒸餾出來的，“蒸餾”的過程也可以看做是對(duì)擴(kuò)散模型的微調(diào)。

它的核心思想是在圖像的隱變量空間中學(xué)習(xí)一致性映射函數(shù)，該函數(shù)可以直接將擴(kuò)散過程中的任意點(diǎn)映射到終點(diǎn)，即微分方程的解。

通過這種一致性映射，LCM可以跳過迭代采樣過程，直接進(jìn)行少步甚至一步采樣，從而極大地加速了圖像的生成。

而隱變量空間操作相比基于像素空間的方法，計(jì)算復(fù)雜度和內(nèi)存需求也更低。

結(jié)合LoRA后，只需要訓(xùn)練低秩分解矩陣，可訓(xùn)練參數(shù)量和內(nèi)存開銷進(jìn)一步減少，應(yīng)用范圍也從單純的文生圖擴(kuò)展到了圖生圖和視頻生成。

最直觀體現(xiàn)的就是我們看到的秒速出圖，而訓(xùn)練時(shí)間上，LCM-LoRA優(yōu)化后的模型在A100上訓(xùn)練只需32個(gè)GPU時(shí)。

訓(xùn)練時(shí)間縮短的背后，也于訓(xùn)練參數(shù)量大幅減少密切相關(guān)：

• SD-V1.5全量參數(shù)為980億，使用LoRA后可訓(xùn)練參數(shù)減少到6750萬，約減少了99.9%。
• SSD-1B參數(shù)從130億減少到1.05億，約減少了99%。
• SDXL參數(shù)從350億減少到1.97億，約減少了99.4%。

不僅是訓(xùn)練消耗的降低，推理過程中的步數(shù)也大幅減少，一般只需要4步推理就能繪制出質(zhì)量不錯(cuò)的圖像。

有時(shí)甚至只要一步就能完成，用時(shí)還不到1秒，F(xiàn)ID分?jǐn)?shù)（越低越好）在50以下。

不僅加速性能優(yōu)異，LCM-LoRA的適配性也十分廣泛。

LCM-LoRA訓(xùn)練得到的LoRA參數(shù)又稱為加速向量，可以數(shù)據(jù)集上微調(diào)得到的LoRA參數(shù)直接線性組合，不需要額外訓(xùn)練。

這種組合方式使得LCM-LoRA成為一個(gè)可直接插接到各種微調(diào)模型中的通用圖像生成加速模塊。

作者簡介

LCM和LCM-LoRA論文的兩位主要作者是來自清華大學(xué)交叉信息研究院的研究生駱?biāo)济悖⊿imian Luo）和Yiqin Tan。

清華叉院的黃隆波副教授、李建副教授和趙行助理教授也參與了這兩項(xiàng)研究。

在LCM-LoRA的工作中，來自HuggingFace的研究人員亦有貢獻(xiàn)。

論文地址：
[1]https://arxiv.org/abs/2310.04378
[2]https://arxiv.org/abs/2311.05556