本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。

2021剛剛開啟，OpenAI又來放大招了！

能寫小說、哲學(xué)語錄的GPT-3已經(jīng)不足為奇？那就來一個(gè)多模態(tài)『圖像版GPT-3』。

今天，OpenAI重磅推出了最新語言模型—DALL·E，它是GPT-3的120億參數(shù)版本，可以魔法一般按照自然語言文字描述直接生成對應(yīng)圖片！

比如，在DALL·E模型中輸入“穿芭蕾舞短裙、正在遛狗的蘿卜寶寶”，它就可以生成這樣一張圖片：

輸入“鱷梨形狀的扶手椅”，就是這樣：

 

甚至輸入“含OpenAI字樣的店鋪”，它也能成生成多種設(shè)計(jì)圖：

DALL·E這項(xiàng)神技能沖上了各大社交平臺的熱搜。

Keras創(chuàng)始人François Chollet特意發(fā)文稱：

這看起來非?？幔绕涫?ldquo;圖像生成”的部分。從原理上來看，它應(yīng)該就是GPT-3在文本合成圖像方向上的擴(kuò)展版本。

AI大神吳恩達(dá)也第一時(shí)間轉(zhuǎn)推點(diǎn)贊，還順帶挑選了一張滿意的藍(lán)色襯衫 + 黑色長褲的AI 生成圖。

OpenAI 聯(lián)合創(chuàng)始人、首席科學(xué)家 Ilya Sutskever 在推特上發(fā)文表道：人工智能的長期目標(biāo)是構(gòu)建多模態(tài)神經(jīng)網(wǎng)絡(luò)，即AI能夠?qū)W習(xí)不同模態(tài)之間的概念（文本和視覺領(lǐng)域?yàn)橹鳎?，從而更好地理解世界。?DALL·E 和 CLIP 使我們更接近“多模態(tài) AI 系統(tǒng)”這一目標(biāo)。

值得一提的是，DALL·E的命名也很特別。這個(gè)善于繪畫創(chuàng)作的模型名稱來源于人類藝術(shù)家薩爾瓦多·達(dá)利（Salvador Dalí）和皮克斯（Pixar）機(jī)器人WALL·E名稱的結(jié)合。

接下來，我們來詳細(xì)介紹一下它還有哪些硬核能力。

DALL·E的能力

DALL·E能夠?yàn)槎嗾Z言成分結(jié)構(gòu)的各種句子創(chuàng)造似是而非的圖像。研究人員通過一些交互視覺效果舉例說明了這一點(diǎn)。在下面的案例中，每個(gè)視覺效果的文本提示都是通過CLIP重新排序后，從512個(gè)文本提示中的前32個(gè)獲得的，不采取任何手動(dòng)選?。╟herry-picking）。

控制屬性

研究人員測試了DALL·E修改目標(biāo)物體的能力，包括修改相應(yīng)的屬性以及出現(xiàn)的次數(shù)。

文本提示：五邊形的綠色鐘。

 

繪制多個(gè)目標(biāo)

同時(shí)控制多個(gè)目標(biāo)物體、以及它們的屬性、空間關(guān)系是一個(gè)全新的挑戰(zhàn)。

例如，“一只戴著紅帽子、黃手套、藍(lán)襯衫和綠褲子的刺猬”。要正確地解釋這句話，DALL·E 不僅要正確地將每件衣服與動(dòng)物組合在一起，還要將（帽子、紅色）、（手套、黃色）、（襯衫、藍(lán)色）和（褲子，綠色）形成各種聯(lián)想，而且不能混淆它們。

文本提示：一堆三維立方體：紅色的立方體在綠色立方體的頂部；綠色立方體在中間；藍(lán)色立方體在底部。

雖然DALL·E確實(shí)為少量目標(biāo)的屬性和位置提供了某種程度的可控性，但成功率取決于標(biāo)題文本的語言措辭。

隨著目標(biāo)的增多，DALL·E容易混淆目標(biāo)與顏色之間的關(guān)聯(lián)，成功率會(huì)急劇降低。研究人員注意到，在這些場景中，DALL·E對于標(biāo)題文本的重新表述是脆弱的、可替代的，語義上等價(jià)的標(biāo)題文本通常不會(huì)產(chǎn)生正確的解釋。

可視化透視與三維

研究人員發(fā)現(xiàn)DALL·E還能夠控制場景的視點(diǎn)和渲染場景的3D樣式。

文本提示：坐在田野上的體素化模型水豚。

為了進(jìn)一步驗(yàn)證DALL·E的這個(gè)能力，研究人員測試了DALL·E在同等視角下重復(fù)繪制知名人物頭部的能力，并發(fā)現(xiàn)DALL·E可以成功恢復(fù)旋轉(zhuǎn)頭部的平滑動(dòng)畫。

文本提示： 荷馬半身像。

DALL·E能夠?qū)⒛承╊愋偷墓鈱W(xué)畸變（Optical Distortions）應(yīng)用到具體場景中，正如我們在“魚眼透鏡視圖（Fisheye Lens View）”和“球形全景圖（Spherical Panorama.）”等場景中看到的那樣。它促使研究人員探索其產(chǎn)生光學(xué)反射的能力。

文本提示：一個(gè)白色的立方體看著自己在鏡子里的倒影；一個(gè)白色的立方體看著鏡子里的自己。

可視化內(nèi)部和外部結(jié)構(gòu)

“特寫鏡頭（Extreme Close-up View）”和“x射線（X-Ray）”風(fēng)格的案例使研究人員進(jìn)一步探索了DALL·E運(yùn)用橫截面視角繪制內(nèi)部結(jié)構(gòu)和用宏觀圖像繪制外部結(jié)構(gòu)的能力。

文本提示：核桃的橫截面圖。

推斷上下文細(xì)節(jié)

將文本翻譯成圖像的任務(wù)是不明確的：一個(gè)標(biāo)題文本通?？梢詫?yīng)無限多種圖像，換句話說，圖像不是唯一確定的。例如，假如標(biāo)題文本是“日出時(shí)，坐在田野上的水豚的繪畫像。根據(jù)水豚的方位，可能需要畫一個(gè)陰影，但這個(gè)細(xì)節(jié)沒有被明確提及。

研究人員探討了DALL·E在以下三種情況下解決無規(guī)范標(biāo)準(zhǔn)問題的能力：改變風(fēng)格、設(shè)置和時(shí)間；在各種不同的情況下繪制同一目標(biāo)圖像；在生成目標(biāo)圖像上書寫指定文本。

文本提示：帶有藍(lán)色草莓的彩色玻璃窗。

利用不同程度的可靠性，DALL·E為通過自然語言實(shí)現(xiàn)3D渲染引擎功能提供了一種途徑。它可以獨(dú)立地控制少量目標(biāo)的屬性，并在有限的范圍內(nèi)控制目標(biāo)的數(shù)量以及它們之間的排列方式。它還可以控制渲染場景的位置和角度，并且根據(jù)角度和照明條件生成精確且規(guī)范的已知目標(biāo)。

與3D渲染引擎不同，3D渲染引擎的輸入必須明確且完整，當(dāng)標(biāo)題文本暗示圖像必須包含未明確的特定細(xì)節(jié)時(shí)，DALL·E通常能夠“填補(bǔ)空白”。

應(yīng)用案例

研究人員探討了上述功能在時(shí)尚設(shè)計(jì)和室內(nèi)設(shè)計(jì)中的應(yīng)用。

文本提示：一位穿著橘色和黑色相間襯衫的男性人體模特。

文本提示：客廳中有兩個(gè)白色的扶手椅和一幅斗獸場的畫，這幅畫掛在現(xiàn)代樣式壁爐的上方。AI生成的圖像：

組合不相關(guān)的概念

語言的構(gòu)成本質(zhì)使人們能夠?qū)⒏拍蠲枋黾稍谝黄?，用以描述真?shí)和虛構(gòu)的事物。 OpenAI發(fā)現(xiàn)，DALL·E還具有將完全不同的idea結(jié)合起來以合成物體的能力，其中有些物體不可能在現(xiàn)實(shí)世界中存在。

OpenA在兩種情況下探索這種能力：將各種概念的特質(zhì)傳遞給動(dòng)物，以及從不相關(guān)的概念中汲取靈感來設(shè)計(jì)產(chǎn)品。

文本提示：豎琴狀的蝸牛。

在上一部分中探討了DALL·E在生成真實(shí)物體的圖像時(shí)結(jié)合無關(guān)概念的能力。 接下來，OpenAI通過在藝術(shù)的背景下的三種插圖探索這種能力：動(dòng)物和物體的擬人化版本、動(dòng)物嵌合體、表情符號。

文本提示：長頸鹿烏龜合體的專業(yè)高質(zhì)量插圖，模仿烏龜?shù)拈L頸鹿，由烏龜變成的長頸鹿。

零樣本視覺推理

可以僅根據(jù)說明和提示來指示GPT-3執(zhí)行多種任務(wù)，而無需任何額外訓(xùn)練。例如，當(dāng)提示短語“將‘在公園里walking狗的人’被翻譯成法語：”時(shí)，GPT-3會(huì)回答“un homme quipromèneson chien dans le parc。此功能稱為零樣本推理。

OpenAI發(fā)現(xiàn)DALL·E將此功能擴(kuò)展到了視覺領(lǐng)域，并且在以正確的方式提示時(shí)，能夠執(zhí)行多種圖像到圖像的翻譯任務(wù)。

文本+圖像提示：參照上面的貓?jiān)谙旅嫔刹輬D。

OpenAI驚訝地發(fā)現(xiàn)DALL·E居然有這種神奇的能力，因?yàn)樗麄儧]有對神經(jīng)網(wǎng)絡(luò)或訓(xùn)練程序進(jìn)行任何修改。

受這些結(jié)果的啟發(fā)，OpenAI通過在Raven的漸進(jìn)矩陣上進(jìn)行測試來衡量DALL·E對于解決類推推理問題的能力，這是一種視覺智商測試，在20世紀(jì)得到了廣泛應(yīng)用。

 文本+圖像提示：一個(gè)幾何形狀序列。

地理知識

OpenAI 發(fā)現(xiàn)DALL·E了解地理事實(shí)、地標(biāo)和街區(qū)。 它對這些概念的了解在某些方面出奇地精確，而在另一些方面卻有缺陷。

文本提示：中國食物的圖片。

時(shí)間知識

除了探索DALL·E關(guān)于隨空間變化的概念的知識外，OpenAI還探索了其隨時(shí)間變化的概念的知識。

 文本+圖像提示：20年代發(fā)明的電話。

總結(jié)：方法和先前工作

DALL·E是一個(gè)僅有解碼器的Transformer架構(gòu)，它可以接收1280個(gè)token的文本和圖像作為單個(gè)流（文本為256個(gè)token，圖像為1024個(gè)token），并對它們?nèi)窟M(jìn)行自動(dòng)回歸建模。

它的64個(gè)自注意力層中的每一個(gè)都具有注意力mask，使每個(gè)圖像token都可以匹配所有文本token。DALL·E對文本token使用標(biāo)準(zhǔn)的因果mask，以行、列或卷積注意模式對圖像token使用稀疏注意，具體取決于層數(shù)。

OpenAI計(jì)劃在下一篇論文中提供有關(guān)DALL·E架構(gòu)和訓(xùn)練過程的詳細(xì)信息。

與VQVAE-2中使用的rejection sampling類似，OpenAI使用CLIP對每個(gè)文本生成的512個(gè)采樣中的前32個(gè)進(jìn)行排名。此過程也可以看作是一種語言指導(dǎo)的搜索，會(huì)對樣本質(zhì)量產(chǎn)生巨大影響。

GPT-3已經(jīng)向我們展示，可以用語言來指示大型神經(jīng)網(wǎng)絡(luò)執(zhí)行各種文本生成任務(wù)。Image GPT則表明，同樣類型的神經(jīng)網(wǎng)絡(luò)也可以用來生成高保真的圖像。OpenAI進(jìn)一步擴(kuò)展了這些發(fā)現(xiàn)，以表明通過語言操縱視覺概念是觸手可及的。

與GPT-3一樣，DALL·E是一種Transformer語言模型。OpenAI認(rèn)為，涉及生成模型的工作可能會(huì)產(chǎn)生重大而廣泛的社會(huì)影響。因此未來，OpenAI會(huì)計(jì)劃分析像DALL·E這樣的模型如何與社會(huì)問題聯(lián)系起來，例如對某些工作流程和專業(yè)的經(jīng)濟(jì)影響，模型輸出中可能存在的偏見以及該技術(shù)所隱含的長期道德挑戰(zhàn)。

最后，Henry AI Labs在YouTube上分享了一個(gè)視頻，簡要介紹了OpenAI的DALL-E模型，并表示“希望可以清楚說明深度神經(jīng)網(wǎng)絡(luò)中文本和圖像是如何作為張量統(tǒng)一的。”

由于是非官方解釋，僅供參考。

最后，大家對DALL·E 這個(gè)的神經(jīng)網(wǎng)絡(luò)模型有什么應(yīng)用上的期待呢？二維設(shè)計(jì)師？

又會(huì)覺得它會(huì)引導(dǎo)什么AI革命嗎？又或者覺得它會(huì)存在很多不可避免的限制？