本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

?一個(gè)文本-圖像對(duì)數(shù)據(jù)都不用，也能讓AI學(xué)會(huì)看文作圖？

來(lái)自字節(jié)的最新text2image模型，就做到了。

實(shí)驗(yàn)數(shù)據(jù)顯示，它的效果比VQGAN-CLIP要真實(shí)，尤其是泛化能力還比不少用大量文本-圖像數(shù)據(jù)對(duì)訓(xùn)練出來(lái)的模型要好很多。

嗯？不給文字注釋AI怎么知道每一張圖片代表什么？

這個(gè)模型到底咋訓(xùn)練出來(lái)的？

不用文字訓(xùn)練也能根據(jù)文本生成圖像

首先，之所以選擇這樣一種方式，作者表示，是因?yàn)槭占罅繋淖值膱D像數(shù)據(jù)集的成本太高了。

而一旦擺脫對(duì)文本-圖像對(duì)數(shù)據(jù)的需求，我們就可以直接用大型無(wú)文本圖像數(shù)據(jù)集 （比如ImageNet）來(lái)訓(xùn)練強(qiáng)大且通用的text2image生成器。

字節(jié)實(shí)現(xiàn)的這個(gè)模型叫做CLIP-GEN，它具體是怎么操作的？

一共分三大步。

首先，對(duì)于一幅沒(méi)有文本標(biāo)簽的圖像，使用CLIP的圖像編碼器，在語(yǔ)言-視覺(jué)（language-vision）聯(lián)合嵌入空間（embedding space）中提取圖像的embedding。

接著，將圖像轉(zhuǎn)換為VQGAN碼本空間（codebook space）中的一系列離散標(biāo)記（token）。

也就是將圖像以與自然語(yǔ)言相同的方式進(jìn)行表示，方便后續(xù)使用Transformer進(jìn)行處理。

其中，充當(dāng)image tokenizer角色的VQGAN模型，可以使用手里的無(wú)標(biāo)記圖像數(shù)據(jù)集進(jìn)行訓(xùn)練。

最后，再訓(xùn)練一個(gè)自回歸Transformer，用它來(lái)將圖像標(biāo)記從Transformer的語(yǔ)言-視覺(jué)統(tǒng)一表示中映射出對(duì)應(yīng)圖像。

經(jīng)過(guò)這樣的訓(xùn)練后，面對(duì)一串文本描述，Transformer就可以根據(jù)從CLIP的文本編碼器中提取的文本嵌入（text embedding）生成對(duì)應(yīng)的圖像標(biāo)記（image tokens）了。

那這樣全程沒(méi)有文本數(shù)據(jù)參與訓(xùn)練的文本-圖像生成器，效果到底行不行？

性能與清華CogView相當(dāng)

作者分別在ImageNe和MSCOCO數(shù)據(jù)集上對(duì)CLIP-GEN進(jìn)行訓(xùn)練和評(píng)估。

首先，用MS-COCO驗(yàn)證集中的六個(gè)文本描述生成樣本。

CLIP-GEN和其他通過(guò)大量文本-圖像對(duì)訓(xùn)練的text2image生成模型的效果對(duì)比如下：

其中，VQGAN-CLIP的結(jié)果比較不真實(shí)，并且伴隨嚴(yán)重的形狀扭曲。

來(lái)自清華的CogView號(hào)稱比DALL-E更優(yōu)秀，在這里的實(shí)驗(yàn)中，它確實(shí)可以生成良好的圖像結(jié)構(gòu)，但在紋理細(xì)節(jié)上差點(diǎn)兒事兒。

DF-GAN可以生成具有豐富細(xì)節(jié)的合理圖像，但也容易產(chǎn)生局部偽影。

作者認(rèn)為，與這些對(duì)比模型相比，CLIP-GEN的圖像細(xì)節(jié)更豐富，質(zhì)量更高一些，比如它就很好地詮釋了第二組文字中要求的“水中倒影”（不過(guò)不太能理解“三只毛絨熊“中的數(shù)字概念）。

定量實(shí)驗(yàn)結(jié)果基本證明了這一結(jié)論：

CLIP-GEN拿到了最高的FID-0、FID-1分?jǐn)?shù)；CapS得分（衡量輸入文本和生成圖像之間的語(yǔ)義相似性）除了比CogView低4%，比其他模型都高很多。

此外，作者還發(fā)現(xiàn)，CLIP-GEN的泛化能力似乎也不錯(cuò)。

在下面這組非常規(guī)的文字描述中，比如生成“一只會(huì)飛的企鵝”，“叼雪茄的狗”、“有臉和頭發(fā)的檸檬”……CLIP-GEN基本都可以實(shí)現(xiàn)，別的模型卻不太能理解。

作者介紹

本模型的五位作者全部來(lái)自字節(jié)。

一作Wang Zihao本科畢業(yè)于北京理工大學(xué)，博士畢業(yè)于UC伯克利，曾在谷歌擔(dān)任3年軟件開(kāi)發(fā)工程師，現(xiàn)就職于TikTok。

通訊作者名叫易子立，本科畢業(yè)于南京大學(xué)，博士畢業(yè)于加拿大紐芬蘭紀(jì)念大學(xué)，目前在字節(jié)擔(dān)任人工智能專家（主要研究多模態(tài)、超分辨率、人臉特效），在此之前，他曾在華為工作。

論文地址：

https://arxiv.org/abs/2203.00386