傳統(tǒng)擴(kuò)散模型要過(guò)時(shí)了？OpenAI找到一種新方法，直接把生成速度提高50倍！

擴(kuò)散模型在生成式 AI 領(lǐng)域的重要性不言而喻，把生成逼真的圖像、3D 模型、音頻和視頻變?yōu)榱爽F(xiàn)實(shí)。

但是，擴(kuò)散模型依然有個(gè)致命bug——采樣速度太慢。

OpenAI研究的新方法，被稱為 sCM（連續(xù)時(shí)間一致性模型）。

sCM 在僅使用兩個(gè)采樣步驟的情況下，實(shí)現(xiàn)了與領(lǐng)先擴(kuò)散模型相當(dāng)?shù)臉颖举|(zhì)量。

來(lái)感受下 sCM 的速度：

那么sCM為什么這么快呢，我們一起看看。

1.提速50倍：Scaling Law 再次出奇跡

在剛才的實(shí)例里，右側(cè)蝴蝶逐步清晰，展示了當(dāng)前擴(kuò)散模型的能力。

該方法的采樣通常需要數(shù)十到數(shù)百個(gè)連續(xù)步驟來(lái)生成單個(gè)樣本，這限制了它們?cè)趯?shí)時(shí)應(yīng)用中的效率和可擴(kuò)展性。

雖然，此前已經(jīng)開發(fā)了各種蒸餾技術(shù)來(lái)加速采樣，但它們往往伴隨著一些限制，例如高計(jì)算成本、復(fù)雜的訓(xùn)練過(guò)程和降低的樣本質(zhì)量。

而sCM則不同，在此前一致性模型的研究基礎(chǔ)上，OpenAI簡(jiǎn)化了公式，并進(jìn)一步穩(wěn)定了連續(xù)時(shí)間一致性模型的訓(xùn)練過(guò)程。

不得不說(shuō)，Scaling Law 還是大力出奇跡。

這個(gè)方法一下使得OpenAI研究人員能將連續(xù)時(shí)間一致性模型的訓(xùn)練擴(kuò)展到前所未有的規(guī)模！

具體有多大呢？——在 ImageNet 數(shù)據(jù)集上以 512×512 分辨率處理 15 億參數(shù)的模型。

sCM 僅使用兩個(gè)采樣步驟就能生成與擴(kuò)散模型相當(dāng)?shù)臉颖举|(zhì)量，實(shí)現(xiàn)了大約 50 倍的時(shí)間加速。例如，OpenAI的最大模型（15 億參數(shù)）在一塊 A100 GPU 上只需 0.11 秒即可生成一個(gè)樣本，而無(wú)需任何推理優(yōu)化。

OpenAI這波太牛了，通過(guò)系統(tǒng)優(yōu)化，這個(gè)提速來(lái)得迅猛又輕松，感覺再升級(jí)的DALL-E 4已經(jīng)不遠(yuǎn)了！

報(bào)告還提到，為了進(jìn)行嚴(yán)格的評(píng)估，OpenAI研究者通過(guò)比較樣本質(zhì)量（使用標(biāo)準(zhǔn)的 FID 得分，分?jǐn)?shù)越低越好）和有效采樣計(jì)算（估算生成每個(gè)樣本所需的總計(jì)算成本）來(lái)對(duì) sCM 與其他最先進(jìn)的生成模型進(jìn)行了基準(zhǔn)測(cè)試。

結(jié)果如下所示，兩步 sCM 生成的樣本質(zhì)量可與最佳的先前方法相媲美，而其有效采樣計(jì)算成本不到 10%，大大加快了采樣過(guò)程。

圖片

2.工作原理揭秘：為什么一致性模型能提速？

一致性模型與擴(kuò)散模型不同：擴(kuò)散模型需要通過(guò)大量去噪步驟逐步生成樣本；而一致性模型的目標(biāo)是在一步中將噪聲直接轉(zhuǎn)換為無(wú)噪聲的樣本。

看圖表會(huì)更加直觀，下圖中：藍(lán)線代表擴(kuò)散模型逐步采樣的過(guò)程，而紅線則展示了一致性模型更直接、加速的采樣路徑。

通過(guò)使用一致性訓(xùn)練或一致性蒸餾等技術(shù)，一致性模型可以被訓(xùn)練成在顯著減少步驟的情況下生成高質(zhì)量樣本，這使它們?cè)谛枰焖偕傻膶?shí)際應(yīng)用中極具吸引力。

圖片

在研究中，OpenAI團(tuán)隊(duì)在ImageNet 512x512上訓(xùn)練了一個(gè)具有15億參數(shù)的連續(xù)時(shí)間一致性模型，以下是一些兩步采樣結(jié)果。

圖片

sCM的訓(xùn)練方式也很有趣，——偷師擴(kuò)散模型，即通過(guò)從一個(gè)預(yù)訓(xùn)練的擴(kuò)散模型中提取知識(shí)得以訓(xùn)練。

一個(gè)重要的發(fā)現(xiàn)是，隨著sCM和教師擴(kuò)散模型的共同擴(kuò)展，sCM的性能按比例提高。具體來(lái)說(shuō)，樣本質(zhì)量的相對(duì)差異（通過(guò)FID分?jǐn)?shù)比率來(lái)衡量）在不同規(guī)模的模型中保持一致，這導(dǎo)致樣本質(zhì)量的絕對(duì)差異在模型擴(kuò)展時(shí)逐漸減小。此外，增加sCM的采樣步驟進(jìn)一步縮小了質(zhì)量差距。值得注意的是，sCM的兩步采樣已經(jīng)與教師擴(kuò)散模型的采樣質(zhì)量相當(dāng)（相對(duì)差異不到10%），而教師擴(kuò)散模型需要數(shù)百步才能生成樣本。

圖片

3.寫在最后：仍有缺陷，仍需探索

從上圖也可以看出，目前最好的sCM仍然依賴于預(yù)訓(xùn)練的擴(kuò)散模型進(jìn)行初始化和蒸餾，因此與教師擴(kuò)散模型相比，樣本質(zhì)量仍存在小而持續(xù)的差距。

此外，報(bào)告中寫道，F(xiàn)ID作為衡量樣本質(zhì)量的指標(biāo)本身也有局限性；接近的FID分?jǐn)?shù)并不總是反映實(shí)際的樣本質(zhì)量，反之亦然。因此，sCM的質(zhì)量可能需要根據(jù)特定應(yīng)用的需求以不同方式進(jìn)行評(píng)估。

OpenAI表示，將繼續(xù)致力于開發(fā)具有更快推理速度和更高樣本質(zhì)量的生成模型，相信這些進(jìn)展將為實(shí)時(shí)、高質(zhì)量生成式AI在廣泛領(lǐng)域中的應(yīng)用開啟新的可能性。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??????