本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

2021年一開始，OpenAI在GPT-3方向上的又一重要突破，讓吳恩達等大佬激動了。

之前給GPT-3一段話，就能寫出一段小說。

現(xiàn)在它成功跨界——可以按照文字描述、生成對應(yīng)圖片！

簡直就是“甲方克星、乙方福音”，提需求愛描述的甲方老板，現(xiàn)在直接嗶嗶就能立竿見影得到效果圖。

比如你輸入“OpenAI公司門面”，它就能給出設(shè)計圖：

這個新的AI，叫做DALL·E（Dali + Wall-E）。

除了生成現(xiàn)實中的圖片外，DALL·E還能按要求設(shè)計出“一顆白菜穿著芭蕾舞裙在遛狗”，妥妥的漫畫風(fēng)。

從“五邊形鬧鐘”到“牛油果形狀的座椅”，只要你的想象力夠豐富，DALL·E全都能畫出來。

技術(shù)上更厲害的是，OpenAI透露這個AI是基于GPT-3而構(gòu)建，僅使用了120億個參數(shù)樣本，相當(dāng)于GPT-3參數(shù)量的十四分之一。

于是效果一出，吳恩達、Keras之父等紛紛轉(zhuǎn)發(fā)、點贊。堪稱2021年第一個令人興奮的AI技術(shù)突破。

看吳恩達老師pick的這個demo效果，以后是想直接描述生成自己想要的藍工裝？

“圖像版”GPT-3，還自帶排名

生成這些優(yōu)秀作品的，是一個名為DALL·E的結(jié)構(gòu)。

DALL·E的名字，來源于大藝術(shù)家達利（Dalí）和皮克斯動畫《機器人總動員》中的主角“瓦力”（WALL·E）。

本質(zhì)上，它就是一個被重新訓(xùn)練過的“120億參數(shù)版”GPT-3，能根據(jù)一段文字描述，生成對應(yīng)的圖像。

為了讓DALL·E能“識字畫圖”，研究者們用包含各種“文本-圖像”組合的數(shù)據(jù)集，來訓(xùn)練DALL·E。

這其中，DALL·E以單數(shù)據(jù)流的形式，一次性接收1280個字符（token），其中256個字符分配給文字，其余的1024個則分配給圖像。

DALL·E將對這些輸入信息進行建模，利用自注意力層的注意力遮罩，確保每一個輸入的圖像字符，都與所有輸入的文字字符關(guān)聯(lián)。

然后DALL·E將根據(jù)文本，通過最大似然估計，逐個字符生成圖像。它不僅能從文字中，生成一整幅草圖，還能重新生成圖像中的任何一塊矩形區(qū)域。

這就完了？

當(dāng)然沒有，我們最終看到的作品，其實只是DALL·E創(chuàng)作的一部分，即“優(yōu)秀作品選”。

也就是說，還需要一個網(wǎng)絡(luò)CLIP，來對它生成的這些作品進行排名、打分。

越是CLIP看得懂、匹配度最高的作品，分數(shù)就會越高，排名也會越靠前。

這種結(jié)構(gòu)，有點像是利用生成對抗文本，以合成圖像的GAN。不過，相比于利用GAN擴大圖像分辨率、匹配圖像-文本特征等方法，CLIP則選擇了直接對輸出進行排名。

據(jù)研究人員表示，CLIP網(wǎng)絡(luò)的最大意義在于，它緩解了深度學(xué)習(xí)在視覺任務(wù)中，最大的兩個問題。

首先，它降低了深度學(xué)習(xí)需要的數(shù)據(jù)標(biāo)注量。相比于手動在ImageNet上，用文字描述1400萬張圖像，CLIP直接從網(wǎng)上已有的“文字描述圖像”數(shù)據(jù)中進行學(xué)習(xí)。

此外，CLIP還能“身兼多職”，在各種數(shù)據(jù)集上的表現(xiàn)都很好（包括沒見過的數(shù)據(jù)集）。但此前的大部分視覺神經(jīng)網(wǎng)絡(luò)，只能在訓(xùn)練的數(shù)據(jù)集上有不錯的表現(xiàn)。

例如，CLIP與ResNet101相比，在各項數(shù)據(jù)集上都有不錯的檢測精度，然而ResNet101在除了ImageNet以外的檢測精度上，表現(xiàn)都不太好。

具體來說，CLIP用到了零樣本學(xué)習(xí)（zero-shot learning）、自然語言理解和多模態(tài)學(xué)習(xí)等技術(shù)，來完成圖像的理解。

例如，描述一只斑馬，可以用“馬的輪廓+虎的皮毛+熊貓的黑白”。這樣，網(wǎng)絡(luò)就能從沒見過的數(shù)據(jù)中，找出“斑馬”的圖像。

最后，CLIP將文本和圖像理解結(jié)合起來，預(yù)測哪些圖像，與數(shù)據(jù)集中的哪些文本能完成最好的配對。

此次生成的Demo圖像，正是從512個樣本中，用CLIP選出的前32個樣本。研究人員強調(diào)，整個過程他們?nèi)虥]有參與。

有哪些初步效果？

此次上線的Demo，大致分成這幾類效果。

控制變量，修改物體的屬性（數(shù)量、顏色）。

甚至，還可以加上個年代屬性。輸入文字：電話。

那這個電話放在未來呢？竟然會是這個亞子。

同時控制多個對象。比如，戴紅色帽子，黃色手套，藍色襯衫和綠色褲子的企鵝。

說實話，要換成是我，我一個也畫不出來。（手動裂開）

推斷細節(jié)。正如上文舉的例子，“沐浴在朝陽中的田間水豚”。

單從文字上看，還有很多細節(jié)需要考究：水豚位置，陰影有無，繪畫風(fēng)格。但這些，似乎都沒有難到DALL·E。

大佬們紛紛給出好評

對于OpenAI這個新鮮出爐的DALL·E，大佬們也紛紛發(fā)表了自己的看法。

Keras創(chuàng)始人@François Chollet表示，這看起來非?？幔绕涫?ldquo;圖像生成”部分。

從原理上來看，應(yīng)該就是GPT-3在文本合成圖像方向上的擴展版。

OpenAI的CTO Greg Brockman在轉(zhuǎn)發(fā)DALL·E后，更是立刻獲得了1.4k的贊。

英偉達的機器學(xué)習(xí)專家Ming-Yu Liu，也送上了自己的祝福。

他表示，這樣的模型在文本轉(zhuǎn)圖像的能力上，簡直超乎想象。

當(dāng)然，也有對這種方法的限制感到困惑的學(xué)者。

來自哈佛的助理教授Tomer Ullman，在對DALL·E的能力表示驚嘆時，也提出了對于模型泛化能力限制的疑惑。

他認為，如果能生成“綠方塊上的紅方塊”，模型理應(yīng)也能生成“藍方塊上的綠方塊上的紅方塊”？

希望這樣的模型，能在提升泛化等能力后，真正被用來減輕設(shè)計師們的負擔(dān)。

當(dāng)然，如果再開一開腦洞的話，應(yīng)用前景可能不止于減輕負擔(dān)。

如果效果足夠好，還要什么乙方設(shè)計師？

以及像動畫、影視等領(lǐng)域，是不是未來劇本一放，AI就能給你出成果了？