北大字節(jié)開辟圖像生成新范式！超越Sora核心組件DiT，不再預(yù)測(cè)下一個(gè)token
北大和字節(jié)聯(lián)手搞了個(gè)大的：
提出圖像生成新范式，從預(yù)測(cè)下一個(gè)token變成預(yù)測(cè)下一級(jí)分辨率，效果超越Sora核心組件Diffusion Transformer（DiT）。
并且代碼開源，短短幾天已經(jīng)攬下1.3k標(biāo)星，登上GitHub趨勢(shì)榜。
具體是個(gè)什么效果？
實(shí)驗(yàn)數(shù)據(jù)上，這個(gè)名為VAR（Visual Autoregressive Modeling）的新方法不僅圖像生成質(zhì)量超過DiT等傳統(tǒng)SOTA，推理速度也提高了20+倍。
這也是自回歸模型首次在圖像生成領(lǐng)域擊敗DiT。
?
直觀感受上，話不多說，直接看圖：
值得一提的是，研究人員還在VAR上，觀察到了大語言模型同款的Scaling Laws和零樣本任務(wù)泛化。
論文代碼上線，已經(jīng)引發(fā)不少專業(yè)討論。
有網(wǎng)友表示有被驚到，頓時(shí)覺得其他擴(kuò)散架構(gòu)的論文有點(diǎn)索然無味。
還有人認(rèn)為，這是一種通向Sora的更便宜的潛在途徑，計(jì)算成本可降低一個(gè)乃至多個(gè)數(shù)量級(jí)。
預(yù)測(cè)下一級(jí)分辨率
簡(jiǎn)單來說，VAR的核心創(chuàng)新，就是用預(yù)測(cè)下一級(jí)分辨率，替代了預(yù)測(cè)下一個(gè)token的傳統(tǒng)自回歸方法。
VAR的訓(xùn)練分為兩個(gè)階段。
第一階段，VAR引入了多尺度離散表示，使用VQ-VAE將連續(xù)圖像編碼為一系列離散的token map，每個(gè)token map有不同的分辨率。
第二階段，主要是對(duì)VAR Transformer的訓(xùn)練，通過預(yù)測(cè)更高分辨率的圖像，來進(jìn)一步優(yōu)化模型。具體過程是這樣的：
從最低分辨率（比如1×1）的token map開始，預(yù)測(cè)下一級(jí)分辨率（比如4×4）的完整token map，并以此類推，直到生成最高分辨率的token map（比如256×256）。在預(yù)測(cè)每個(gè)尺度的token map時(shí)，基于Transformer，模型會(huì)考慮之前所有步驟生成的映射信息。
在第二階段中，之前訓(xùn)練好的VQ-VAE模型發(fā)揮了重要作用：為VAR提供了“參考答案”。這能幫助VAR更準(zhǔn)確地學(xué)習(xí)和預(yù)測(cè)圖像。
另外，在每個(gè)尺度內(nèi)，VAR是并行地預(yù)測(cè)所有位置的token，而不是線性逐個(gè)預(yù)測(cè)，這大大提高了生成效率。
研究人員指出，采用這樣的方法，VAR更符合人類視覺感知從整體到局部的特點(diǎn)，并能保留圖像的空間局部性。
符合Scaling Laws
從實(shí)驗(yàn)結(jié)果來看，在圖像生成質(zhì)量、推理速度、數(shù)據(jù)效率和可擴(kuò)展性等方面，VAR都超過了DiT。
在ImageNet 256×256上，VAR將FID從18.65降到了1.8，IS從80.4提高到356.4，顯著改善了自回歸模型基線。
注：FID越低，說明生成圖像的質(zhì)量和多樣性越接近真實(shí)圖像。
推理速度方面，相較于傳統(tǒng)自回歸模型，VAR實(shí)現(xiàn)了約20倍的效率提升。而DiT消耗的時(shí)間是VAR的45倍。
數(shù)據(jù)效率方面，VAR只需要350個(gè)訓(xùn)練周期（epoch），遠(yuǎn)少于DiT-XL/2的1400個(gè)。
可擴(kuò)展性方面，研究人員觀察到VAR有類似于大語言模型的Scaling Laws：隨著模型尺寸和計(jì)算資源的增加，模型性能持續(xù)提升。
另外，在圖像修補(bǔ)、擴(kuò)展和編輯等下游任務(wù)的零樣本評(píng)估中，VAR表現(xiàn)出了出色的泛化能力。
目前，在GitHub倉(cāng)庫(kù)中，推理示例、demo、模型權(quán)重和訓(xùn)練代碼均已上線。
不過，在更多討論之中，也有網(wǎng)友提出了一些問題：
VAR不如擴(kuò)散模型靈活，并且在分辨率上存在擴(kuò)展問題。
北大字節(jié)聯(lián)合出品
VAR的作者們，來自字節(jié)跳動(dòng)AI Lab和北大王立威團(tuán)隊(duì)。
一作田柯宇，本科畢業(yè)自北航，目前是北大CS研究生，師從北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授王立威。2021年開始在字節(jié)AI Lab實(shí)習(xí)。
論文通訊作者，是字節(jié)跳動(dòng)AI Lab研究員袁澤寰和王立威。
袁澤寰2017年博士畢業(yè)于南京大學(xué)，目前專注于計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)研究。王立威從事機(jī)器學(xué)習(xí)研究20余年，是首屆“優(yōu)青”獲得者。
該項(xiàng)目的項(xiàng)目主管，是字節(jié)跳動(dòng)廣告生成AI研究主管Yi jiang。他碩士畢業(yè)于浙江大學(xué)，目前的研究重點(diǎn)是視覺基礎(chǔ)模型、深度生成模型和大語言模型。
本文轉(zhuǎn)自 量子位 ，作者：量子位
