已經(jīng)紅遍半邊天的擴(kuò)散模型，將被淘汰了？

當(dāng)前，生成式AI模型，比如GAN、擴(kuò)散模型或一致性模型，通過將輸入映射到對(duì)應(yīng)目標(biāo)數(shù)據(jù)分布的輸出，來生成圖像。

通常情況下，這種模型需要學(xué)習(xí)很多真實(shí)的圖片，然后才能盡量保證生成圖片的真實(shí)特征。

最近，來自UC伯克利和谷歌的研究人員提出了一種全新生成模型——冪等生成網(wǎng)絡(luò)（IGN）。

圖片

論文地址：https://arxiv.org/abs/2311.01462

IGNs可以從各種各樣的輸入，比如隨機(jī)噪聲、簡(jiǎn)單的圖形等，通過單步生成逼真的圖像，并且不需要多步迭代。

這一模型旨在成為一個(gè)「全局映射器」（global projector），可以把任何輸入數(shù)據(jù)映射到目標(biāo)數(shù)據(jù)分布。

簡(jiǎn)言之，通用圖像生成模型未來一定是這樣的。

有趣的是，《宋飛正傳》中一個(gè)高效的場(chǎng)景竟成為作者的靈感來源。

圖片

這個(gè)場(chǎng)景很好地總結(jié)了「冪等運(yùn)算符」（idempotent operator）這一概念，是指在運(yùn)算過程中，對(duì)同一個(gè)輸入重復(fù)進(jìn)行運(yùn)算，得到的結(jié)果總是一樣的。

即

圖片

。

正如Jerry Seinfeld幽默地指出的那樣，一些現(xiàn)實(shí)生活中的行為也可以被認(rèn)為是冪等的。

冪等生成網(wǎng)絡(luò)

IGN與GAN、擴(kuò)散模型有兩點(diǎn)重要的不同之處：

- 與GAN不同的是，IGN無需單獨(dú)的生成器和判別器，它是一個(gè)「自對(duì)抗」的模型，同時(shí)完成生成和判別。

- 與執(zhí)行增量步驟的擴(kuò)散模型不同，IGN嘗試在單個(gè)步中將輸入映射到數(shù)據(jù)分布。

那么，冪等生成模型（IGN）怎么來的？

它被訓(xùn)練為從源分布給定輸入樣本的目標(biāo)分布，生成樣本。

給定示例數(shù)據(jù)集，每個(gè)示例均取自。然后，研究人員訓(xùn)練模型將映射到。

假設(shè)分布和位于同一空間，即它們的實(shí)例具有相同的維度。這允許將應(yīng)用于兩種類型的實(shí)例和。

如圖展示了IGN背后的基本思想：真實(shí)示例 (x) 對(duì)于模型 f 是不變的。其他輸入 (z) 被映射到f通過優(yōu)化映射到自身的實(shí)例流上。

圖片

IGN訓(xùn)練例程PyTorch代碼的一部分示例。

圖片

實(shí)驗(yàn)結(jié)果

得到IGN后，效果如何呢？

作者承認(rèn)，現(xiàn)階段，IGN的生成結(jié)果無法與最先進(jìn)的模型相競(jìng)爭(zhēng)。

在實(shí)驗(yàn)中，使用的較小的模型和較低分辨率的數(shù)據(jù)集，并在探索中主要關(guān)注簡(jiǎn)化方法。

當(dāng)然了，基礎(chǔ)生成建模技術(shù)，如GAN、擴(kuò)散模型，也是花了相當(dāng)長的時(shí)間才達(dá)到成熟、規(guī)?；男阅堋?/span>

實(shí)驗(yàn)設(shè)置

研究人員在MNIST（灰度手寫數(shù)字?jǐn)?shù)據(jù)集）和 CelebA（人臉圖像數(shù)據(jù)集）上評(píng)估IGN，分別使用28×28和64×64的圖像分辨率。

作者采用了簡(jiǎn)單的自動(dòng)編碼器架構(gòu)，其中編碼器是來自DCGAN的簡(jiǎn)單五層鑒別器主干，解碼器是生成器。訓(xùn)練和網(wǎng)絡(luò)超參數(shù)如表1所示。

圖片

生成結(jié)果

圖4顯示了應(yīng)用模型一次和連續(xù)兩次后兩個(gè)數(shù)據(jù)集的定性結(jié)果。

如圖所示，應(yīng)用IGN 一次 (f (z)) 會(huì)產(chǎn)生相干生成結(jié)果。然而，可能會(huì)出現(xiàn)偽影，例如MNIST數(shù)字中的孔洞，或者面部圖像中頭頂和頭發(fā)的扭曲像素。

再次應(yīng)用 f (f (f (z))) 可以糾正這些問題，填充孔洞，或減少面部噪聲斑塊周圍的總變化。

圖片

圖7顯示了附加結(jié)果以及應(yīng)用f三次的結(jié)果。

圖片

比較和表明，當(dāng)圖像接近學(xué)習(xí)流形時(shí)，再次應(yīng)用f會(huì)導(dǎo)致最小的變化，因?yàn)閳D像被認(rèn)為是分布的。

潛在空間操縱

作者通過執(zhí)行操作證明IGN具有一致的潛在空間，與GAN所示的類似，圖6顯示了潛在空間算法。

圖片

分布外映射

作者還驗(yàn)證通過將來自各種分布的圖像輸入到模型中以生成其等效的「自然圖像」，來驗(yàn)證IGN「全局映射」的潛力。

研究人員通過對(duì)噪聲圖像x+n 進(jìn)行去噪、對(duì)灰度圖像進(jìn)行著色，以及將草圖轉(zhuǎn)換為圖5中的真實(shí)圖像來證明這一點(diǎn)。

原始圖像x，這些逆任務(wù)是不適定的。IGN能夠創(chuàng)建符合原始圖像結(jié)構(gòu)的自然映射。

如圖所示，連續(xù)應(yīng)用f可以提高圖像質(zhì)量（例如，它消除了投影草圖中的黑暗和煙霧偽影）。

圖片

谷歌下一步？

通過以上結(jié)果可以看出，IGN在推理方面更加有效，在訓(xùn)練后只需單步即可生成結(jié)果。

它們還可以輸出更一致的結(jié)果，這可能推廣到更多的應(yīng)用中，比如醫(yī)學(xué)圖像修復(fù)。

論文作者表示：

我們認(rèn)為這項(xiàng)工作是邁向模型的第一步，該模型學(xué)習(xí)將任意輸入映射到目標(biāo)分布，這是生成建模的新范式。

接下來，研究團(tuán)隊(duì)計(jì)劃用更多的數(shù)據(jù)來擴(kuò)大IGN的規(guī)模，希望挖掘新的生成式AI模型的全部潛力。

最新研究的代碼，未來將在GitHub上公開。

參考資料：

https://assafshocher.github.io/IGN/

https://the-decoder.com/inspired-by-seinfeld-google-unveils-new-ai-model-for-image-generation/