大佬何愷明還未正式入職MIT，但和MIT的第一篇合作研究已經(jīng)出來了：

他和MIT師生一起開發(fā)了一個自條件圖像生成框架，名叫RCG（代碼已開源）。

這個框架結(jié)構(gòu)非常簡單但效果拔群，直接在ImageNet-1K數(shù)據(jù)集上實現(xiàn)了無條件圖像生成的新SOTA。

它生成的圖像不需要任何人類注釋（也就是提示詞、類標(biāo)簽什么的），就能做到既保真又具有多樣性。

這樣的它不僅顯著提高了無條件圖像生成的水平，還能跟當(dāng)前最好的條件生成方法一較高下。

用何愷明團(tuán)隊自己的話來說：

有條件和無條件生成任務(wù)之間長期存在的性能差距，終于在這一刻被彌補(bǔ)了。

那么，它究竟是如何做到的呢？

類似自監(jiān)督學(xué)習(xí)的自條件生成

首先，所謂無條件生成，就是模型在沒有輸入信號幫助的情況下直接捕獲數(shù)據(jù)分布生成內(nèi)容。

這種方式比較難以訓(xùn)練，所以一直和條件生成有很大性能差距——就像無監(jiān)督學(xué)習(xí)比不過監(jiān)督學(xué)習(xí)一樣。

但就像自監(jiān)督學(xué)習(xí)的出現(xiàn)，扭轉(zhuǎn)了這一局面一樣。

在無條件圖像生成領(lǐng)域，也有一個類似于自監(jiān)督學(xué)習(xí)概念的自條件生成方法。

相比傳統(tǒng)的無條件生成簡單地將噪聲分布映射到圖像分布，這種方法主要將像素生成過程設(shè)置在從數(shù)據(jù)分布本身導(dǎo)出的表示分布上。

它有望超越條件圖像生成，并推動諸如分子設(shè)計或藥物發(fā)現(xiàn)這種不需要人類給注釋的應(yīng)用往前發(fā)展（這也是為什么條件生成圖像發(fā)展得這么好，我們還要重視無條件生成）。

現(xiàn)在，基于這個自條件生成概念，何愷明團(tuán)隊首先開發(fā)了一個表示擴(kuò)散模型RDM。

它主要用于生成低維自監(jiān)督圖像表示，方法是通過自監(jiān)督圖像編碼器從圖像中截?。?/p>

它的核心架構(gòu)如下：

首先是輸入層，它負(fù)責(zé)將表征投射到隱藏維度C，接著是N個全連接塊，最后是一個輸出層，負(fù)責(zé)把隱藏層的潛在特征重新投射（轉(zhuǎn)換）到原始表征維度。

其中每一層都包含一個LayerNorm層、一個SiLU層以及一個線性層。

這樣的RDM具有兩個優(yōu)點：

一是多樣性強(qiáng)，二是計算開銷小。

接著，利用RDM，團(tuán)隊就提出了今天的主角：表示條件圖像生成架構(gòu)RCG。

它是一個簡單的自條件生成框架，由三個組件組成：

一個是SSL圖像編碼器，用于將圖像分布轉(zhuǎn)換為緊湊的表示分布。

一個是RDM，用于對該分布進(jìn)行建模和采樣。

最后是一個像素生成器MAGE，用于根據(jù)表示來處理圖像像。

MAGE的工作方式主要是向token化的圖像中添加隨機(jī)掩碼，并要求網(wǎng)絡(luò)以從同一圖像中提取的表示為條件來重建丟失的token。

最終，測試表明，這個自條件生成框架雖結(jié)構(gòu)簡單但效果非凡：

在ImageNet 256×256上，RCG實現(xiàn)了3.56的FID和186.9的IS（Inception Score）得分。

相比之下，在它之前最厲害的無條件生成方法FID分?jǐn)?shù)為7.04，IS得分為123.5。

以及，相比條件生成，RCG也絲毫不遜色，可以達(dá)到相當(dāng)甚至超過該領(lǐng)域基準(zhǔn)模型的水平。

最后，在無分類器引導(dǎo)的情況下，RCG的成績還能進(jìn)一步提高到3.31（FID）和253.4（IS）。

團(tuán)隊表示：

這些結(jié)果表明，自條件圖像生成模型擁有巨大潛力，可能預(yù)示這一領(lǐng)域新時代的到來。

團(tuán)隊介紹

本文一共三位作者：

一作是MIT博士生黎天鴻，本科畢業(yè)于清華姚班，研究方向為跨模態(tài)集成傳感技術(shù)。

他的主頁很有意思，還專門放了一個菜譜合集——做研究和做飯是他最熱愛的兩件事。

另一位作者是MIT電氣工程與計算機(jī)科學(xué)系（EECS）教授、MIT無線網(wǎng)絡(luò)和移動計算中心主任Dina Katabi，她是今年斯隆獎的獲得者，并已當(dāng)選美國國家科學(xué)院院士。

最后，通訊作者為何愷明，他將在明年正式回歸學(xué)界、離開Meta加入MIT電氣工程和計算機(jī)科學(xué)系，與Dina Katabi成為同事。

論文地址：https://arxiv.org/abs/2312.03701