最近，正處于評議階段的 ICLR 2025 論文真是看點連連，比如前些天爆出的 ICLR 低分論文作者硬剛審稿人的事件以及今天我們要介紹的這個通過 rebuttal（反駁）硬是將自己的平均分拉高 2 分，直接晉升第 9 名的論文。

ICLR 2025 論文評分分布圖，圖源：https://papercopilot.com/statistics/iclr-statistics/iclr-2025-statistics/

順帶一提，不知道是不是因為 ICLR 2025 審稿過程狀況連連，官方此前還決定將論文討論過程延長 6 天。

下面我們就來看看這篇「咸魚翻身」的論文究竟研究了什么以及它的評審和反駁之路。

• 論文標題：SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers
• 論文地址：https://arxiv.org/abs/2410.10629
• OpenReview：https://openreview.net/forum?id=N8Oj1XhtYZ
• 項目地址：https://nvlabs.github.io/Sana/
• 代碼地址：https://github.com/NVlabs/Sana

論文主要內(nèi)容

這篇論文提出的 Sana 是一種高效且經(jīng)濟地訓練和合成高質(zhì)量圖像的工作流程，并且支持 1024×1024 到 4096×4096 的分辨率。下圖展示了 Sana 生成的一些圖像樣本及其推理延遲情況。

作者表示：「據(jù)我們所知，除了 PixArt-Σ 之外，還沒有直接探索 4K 分辨率圖像生成的已發(fā)表研究成果。然而，PixArt-Σ 僅能生成接近 4K 分辨率（3840×2160）的圖像，并且生成這種高分辨率圖像的速度相對較慢?！?/span>

那么，這個來自英偉達、MIT 和清華大學的研究團隊是如何做到這一點的呢？

具體來說，他們提出了多項核心設計。

深度壓縮自動編碼器

該團隊提出了一種新的自動編碼器（AE），可將縮放因子（scaling factor）大幅提升至 32！

過去，主流的 AE 僅能將圖像的長度和寬度壓縮 8 倍（AE-F8）。與 AE-F8 相比，新提出的 AE-F32 輸出的潛在 token 量可減少 16 倍。這對高效訓練和生成超高分辨率圖像（例如 4K 分辨率）至關(guān)重要。

下表 1 展示了不同 AE 的重建能力。

圖 3 則展示了對新提出的深度壓縮自動編碼器進行消融實驗的結(jié)果。該結(jié)果證明了新 AE 各項設計的重要性。

高效的線性 DiT

該團隊還提出使用一種新型的線性 DiT 來替代原生的二次注意力模塊，如上右圖所示。

原始 DiT 的自注意力的計算復雜度為 O (N2)—— 在處理高分辨率圖像時，這個復雜度會二次級增長。該團隊將原生注意力替換成線性注意力后，計算復雜度便從 O (N2) 降至 O (N)。

該團隊表示：「我們認為，通過適當?shù)脑O計，線性注意力可以實現(xiàn)與原生注意力相當?shù)慕Y(jié)果，并且還能更高效地生成高分辨率圖像（例如，在 4K 時加速 1.7 倍）。

同時，他們還提出了 Mix-FFN，其作用是將 3×3 深度卷積集成到 MLP 中以聚合 token 的局部信息。

Mix-FFN 的直接好處是不再需要位置編碼（NoPE）。該團隊表示：「我們首次刪除了 DiT 中的位置嵌入，并且沒有發(fā)現(xiàn)質(zhì)量損失?！?/span>

使用僅解碼器小 LLM 來作為文本編碼器

為了提升對用戶提示詞的理解和推理能力，該團隊使用了最新版的 Gemma 作為文本編碼器。

盡管這些年來文生圖模型進步很大，但大多數(shù)現(xiàn)有模型仍然依賴 CLIP 或 T5 進行文本編碼，而這些模型通常缺乏強大的文本理解和指令遵從能力。僅解碼器 LLM（例如 Gemma）表現(xiàn)出的文本理解和推理能力很強大，還能有效遵從人類指令。

下表比較了不同文本編碼器的效果。

通過直接采用 LLM 作為文本解碼器，訓練不穩(wěn)定的問題得到了解決。

另外，他們還設計了復雜人類指令（CHI），以充分理解 LLM 那強大的指令遵從、上下文學習和推理能力，進而更好地對齊圖像與文本。從下圖可以看到，有無 CHI 的輸出結(jié)果差異非常明顯。

高效的訓練和推理策略

為了提升文本和圖像的一致性，該團隊提出了一套自動標注和訓練策略。

首先，對于每張圖像，使用多個 VLM 來重新生成描述。雖然這些 VLM 的能力各不相同，但它們的互補優(yōu)勢可提高描述的多樣性。

他們還提出了一種基于 Clip Score 的訓練策略，即對于一張圖像的多個描述，根據(jù)概率動態(tài)選擇具有高 Clip Score 的描述。實驗表明，這種方法可以提高訓練收斂性和文本圖像對齊程度。下表比較了訓練期間不同的圖像 - 文本對采樣策略的效果。

此外，他們也提出了一種 Flow-DPM-Solver，相比于廣泛使用的 Flow-Euler-Solver，這種新的求解器可將推理采樣步驟從 28-50 步減少到 14-20 步，同時還能實現(xiàn)更好的結(jié)果。見下圖。

實驗結(jié)果

總體實驗下來，該團隊的新模型 Sana-0.6B 表現(xiàn)可謂極佳。在生成 4K 圖像時，速度比當前最佳（SOTA）的 FLUX 方法快 100 多倍（見下圖 2）。在生成 1K 分辨率圖像時，也快 40 倍（見下圖 4）。同時，Sana-0.6B 的效果在許多基準上都能與 FLUX 比肩！

不僅如此，他們還訓練了一個參數(shù)量更大的 Sana-1.6B 模型。下表更詳細地展示了這兩個模型的性能表現(xiàn)，可以看到，對于 512 × 512 分辨率，Sana-0.6 的吞吐量比大小相近的 PixArt-Σ 快 5 倍，并且在 FID、Clip Score、GenEval 和 DPG-Bench 方面表現(xiàn)明顯優(yōu)于后者。對于 1024 × 1024 分辨率，Sana 比大多數(shù)模型強得多。這些結(jié)果說明 Sana 確實實現(xiàn)了低延遲、高性能的圖像生成。

此外，他們還為 Sana 打造量化版本，并將其部署到了邊緣設備上。

在單臺消費級 4090 GPU 上，該模型生成 1024×1024 分辨率圖像只需 0.37 秒，是一個非常強大的實時圖像生成模型。

下面展示了 Sana-1.6B 模型的一些輸出結(jié)果以及部署量化版模型的筆記本電腦。

rebuttal 真的有用？

很多時候，在審稿人的第一印象已經(jīng)確定的情況下，rebuttal 能夠改變的不多。

正如知名長文《審稿 CVPR 而致的傷痕文學（續(xù)）：關(guān)于 Rebuttal 的形而上學》所說，從審稿人的角度來看，收到 rebuttal 時，可能早就已經(jīng)忘了當時為什么會給這個審稿意見，對這篇文章的唯一記憶就是「我要拒掉它」。

引自 https://zhuanlan.zhihu.com/p/679556511 作者 @Minogame

那么，SANA 到底拿出了一份怎樣的 rebuttal，四個審稿人看過后不再「已讀不回」，反倒不約而同地加了 2 分呢？

第一位審稿人和第三位審稿人的意見比較相似，他們認為 SANA 的原創(chuàng)性有些不足。具體來說，第一位審稿人在缺點部分寫道：

• SANA 的三個主要組件在文獻中已有探討：深度自編碼器在 [1] 中有涉及，線性 DiT 在 [2] 中已有研究，[3, 4] 中已經(jīng)使用了 LLM 作為文本編碼器。將這些組件結(jié)合起來并不構(gòu)成一個真正具有創(chuàng)新性的想法。
• 作者沒有充分解釋他們的 CHI 流程是否與 [5] 中的相同。如果相似，那么這甚至會進一步削弱該工作的創(chuàng)新性。

第三位審稿人則希望作者們補一些消融實驗，逐個組件分析，明確 SANA 相較于 PixArt-Σ 和 Playground v3 等類似的模型有什么創(chuàng)新之處。

SANA 的研究團隊首先詳細地說明了站巨人的肩膀上創(chuàng)新和做學術(shù)裁縫的區(qū)別。

比如，LinFusion 中的線性注意力是蒸餾策略的一部分，而作者們把 SANA 作為一個基礎(chǔ)生成模型，從頭開始設計、訓練。為了讓線性注意力在所有層中代替原來的自注意力，他們做出了 Mix-FFN 解碼器。

這樣，相比其他方法將所有 token 映射到一個低秩的 NxN 狀態(tài)中，SANA 更接近于直接的 O (N) 注意力計算，這是以前的研究未能有效解決的問題。

對比同樣提交給 ICLR 2025 的「DC-AE」，SANA 解決了未涉及的獨特問題，比如簡單地在潛在空間中增大通道（F8C4→F32C32）會使得訓練收斂速度大大減慢，他們設計了線性注意力 + Mix-FFN 塊加速收斂。

而此前 LLM 作為文本編碼器的方法，更多只是簡單地用 LLM 替代了 T5/Clip，并未像 SANA 一樣深入研究了如何激發(fā) LLM 的推理能力。

針對審稿人的問題，作者補充了一系列消融實驗，比較了 LiDiT 和 SANA 的 CHI 效果，并逐個組件地展示了 SANA 在 PixArt-Σ 基礎(chǔ)上的進展。

這兩位審稿人也是給出了一個提分的大動作：

第二位審稿人更在意技術(shù)細節(jié)，他覺得 SANA 如何搭建的線性注意力模塊還可以說得更清楚。

具體來說，需要明確一下，他們是如何實現(xiàn)線性注意力能全局替代傳統(tǒng)自注意力，同時保持足夠的上下文信息和依賴關(guān)系建模的，還要補 4096*4096 分辨率的圖像與其他方法的實驗對比。

在一通極其詳細的解釋之下，這位（可能不清楚目前沒有 4K 版本 InceptionNet 的）審稿人也把分數(shù)也提了 2 分。

第四位審稿人則給出了 10 分的最高分評價。

一開始，該審稿人指出了這篇論文的一些缺點，包括表 9 中的 Gemma2-2B-IT 模型需要解釋、需要進一步比較 Gemma2 和 T5-XXL 以及缺乏對 UltraPixel 等引用等等。

然后，作者對該審稿人的四個問題逐一進行了詳細解答，并為論文內(nèi)容做了進一步的補充。此后，又是關(guān)于 ClipScore 的幾個來回討論。

最后，審稿人被作者說服，表示：「我再也看不到這篇論文中任何明顯的缺點了。因此，我提高了我的評分。這項工作確實應該作為會議的亮點！很出色的工作！」

從這些審稿人與作者的互動可以看到，建設性的討論和修正確實可以幫助改善審稿人對一篇論文的看法。

在多次交流中，審稿人對論文中不清晰或薄弱的部分提出了具體改進建議，而作者也根據(jù)反饋進行了細致的修改。這種積極的互動不僅使論文的質(zhì)量得到了提升，也促進了審稿人與作者之間的理解與信任。最終，審稿人對論文的評審意見變得更加正面，并愿意為作者提供更多的指導。

對此，你有什么看法？