香港大學(xué)和Adobe聯(lián)合提出了一種直接在原始像素空間中運(yùn)行的圖像生成模型PixelFlow，這種方法簡化了圖像生成過程，無需預(yù)先訓(xùn)練的變分自編碼器 (VAE)，并使整個模型能夠端到端訓(xùn)練。通過高效的級聯(lián)流建模，PixelFlow 在像素空間中實(shí)現(xiàn)了可承受的計(jì)算成本。它在 256x256 ImageNet 類條件圖像生成基準(zhǔn)上實(shí)現(xiàn)了 1.98 的 FID。

• 論文：https://arxiv.org/pdf/2504.07963
• 代碼：https://gihub.com/ShoufaChen/PixelFlow
• 試用：https://huggingface.co/spaces/ShoufaChen/PixelFlow

論文介紹

PixelFlow是一系列直接在原始像素空間中運(yùn)行的圖像生成模型，與主流的潛在空間模型形成對比。這種方法簡化了圖像生成過程，無需預(yù)先訓(xùn)練的變分自編碼器 (VAE)，并使整個模型能夠端到端訓(xùn)練。通過高效的級聯(lián)流建模，PixelFlow 在像素空間中實(shí)現(xiàn)了可承受的計(jì)算成本。它在 256x256 ImageNet 類條件圖像生成基準(zhǔn)上實(shí)現(xiàn)了 1.98 的 FID。定性的文本轉(zhuǎn)圖像結(jié)果顯示，PixelFlow 在圖像質(zhì)量、藝術(shù)性和語義控制方面表現(xiàn)出色。

方法概述

基于潛伏層的擴(kuò)散模型 (LDM)、基于像素的擴(kuò)散模型 (PDM) 和 PixelFlow 的設(shè)計(jì)范式比較：(a) LDM 將訓(xùn)練分為兩個獨(dú)立的階段——首先獨(dú)立訓(xùn)練現(xiàn)成的 VAE，然后基于從預(yù)訓(xùn)練 VAE 中提取的 token 訓(xùn)練擴(kuò)散模型；(b) 之前的 PDM 通常訓(xùn)練兩個獨(dú)立的模型：一個用于低分辨率圖像的擴(kuò)散模型和一個用于高分辨率合成的上采樣器；(c) 相比之下，PixelFlow 為基于像素的生成提供了端到端的解決方案，兼具高效率和強(qiáng)大的生成性能。

PixelFlow 用于從像素空間進(jìn)行級聯(lián)圖像生成。將整個生成過程劃分為一系列分辨率階段。在每個分辨率階段開始時，我們都會將前一階段中相對嘈雜的結(jié)果進(jìn)行放大，并將其作為當(dāng)前階段的起點(diǎn)。因此，隨著分辨率的提高，可以獲得更精細(xì)的樣本。

級聯(lián)階段中間結(jié)果的可視化。從四個階段中提取中間結(jié)果進(jìn)行直接可視化。我們在各個分辨率階段觀察到清晰的去噪過程。

實(shí)驗(yàn)結(jié)果

PixelFlow 類條件圖像生成的定性結(jié)果。所有圖像均為 256×256 分辨率。

PixelFlow 文本條件生成的定性結(jié)果。所有圖像均為 512×512 分辨率。題目的關(guān)鍵部分以紅色突出顯示。

PixelFlow 的定性樣本。展示了 1024×1024 分辨率的生成圖像。關(guān)鍵詞以紅色突出顯示。

結(jié)論

論文推出了一種全新的圖像生成模型 PixelFlow，它通過直接在原始像素空間上進(jìn)行操作，重新思考了基于潛在空間的模型的優(yōu)勢。通過直接在不同分辨率階段之間進(jìn)行轉(zhuǎn)換，該模型在簡潔性和端到端可訓(xùn)練性方面展現(xiàn)出顯著優(yōu)勢。在類條件圖像生成和文本到圖像生成基準(zhǔn)測試中，PixelFlow 已被證明能夠比主流的基于潛在空間的方法展現(xiàn)出更強(qiáng)大的圖像生成能力。