本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

小明隨意地涂鴉了一個頭部，再簡單地畫了個翅膀，加上一個大尾巴……再單擊「轉(zhuǎn)換」鍵。

一只面目猙獰、皮膚粗糙、紋理細(xì)致的大怪獸就創(chuàng)造出來了。

這是Google研究人員制作的AI工具奇美拉畫家（Chimera Painter）。

這是個線上繪畫工具，可以將涂鴉變成一個栩栩如生的怪物。

奇美拉的條件型GAN

研究人員建立了一個生物混合體的概念，就像是一個紙牌游戲。

比如你拿到一張「鯨」卡，通過組合，可以變成一個「鯨VS大象」的嵌合體怪獸。

這個組合而成藝術(shù)作品，還能保留原始圖像的視覺特征。

在此之前生成式對抗網(wǎng)絡(luò) （GAN, Generative Adversarial Networks ）被廣泛用于圖像創(chuàng)作上。GAN一般包含兩個模塊：

• 生成模型（Generative Model）
• 判別模型（Discriminative Model）

兩個模塊互相博弈學(xué)習(xí)產(chǎn)生相當(dāng)好的輸出。一個優(yōu)秀的GAN應(yīng)用需要有良好的訓(xùn)練方法，否則可能由于神經(jīng)網(wǎng)絡(luò)模型的自由性而導(dǎo)致輸出不理想。

例如，麻省理工學(xué)院和IBM合作，開發(fā)出了“GAN繪畫工作室”。

允許用戶上傳自選圖像以從多種角度修改其外觀，從更改對象的大小到添加全新的物體，例如如樹木、窗戶、建筑物、桌子……等等。

再有，英偉達(dá)（Nvidia）最新的AI軟件將粗糙的涂鴉變成真實的風(fēng)景。

而在奇美拉畫家中，與前兩者注重照片寫實的GAN不一樣，他們采用了一種稱作條件型GAN的方法。

這種方法與一般的GAN不一樣，一般的GAN是在一系列圖片基礎(chǔ)上，生成器和判別器相互對抗磨合，形成全新的圖。

奇美拉畫家則是需要在生成器中輸入一張創(chuàng)作圖，在此基礎(chǔ)上，再通過GAN生成新圖。

將怪獸肢解建模，再組合渲染

為了訓(xùn)練GAN，研究人員創(chuàng)建了10000多個全彩色圖像的數(shù)據(jù)集，包含不同生物的3D模型。

在這個生物模型的數(shù)據(jù)庫中，不僅描繪了每個生物整體的大小和形狀，還提供了肢體、器官、軀干的分割圖。

藝術(shù)家就在這些“肢解”模型的基礎(chǔ)上，重新組合出新的“生物”?？梢赃x擇頭、牙齒、軀干、翅膀等不同部分進(jìn)行繪畫。

可以看到左側(cè)有各種肢體部分選項按鈕。

然后經(jīng)過GAN，選出組合得最好的模型，將之合并，輸出到Chimera Painter中。

得先制作生物紋理

在GAN模型中，在渲染對比度低的圖像部分時，會有跳格，使圖像失去空間連貫性。

例如這張圖的腿和眼睛的識別界限不清晰，導(dǎo)致輸出來的圖像奇奇怪怪。

為了解決這個問題，奇美拉畫家的研究人員開發(fā)了一種新的半自動化方法。

奇美拉畫家對每種所需的生物類型（例如鬣狗或獅子）都會建立一個模型。

然后，藝術(shù)家使用虛幻引擎制作了疊加在3D模型上的彩色紋理。

再將「分割圖」的單色（例如頭，耳，頸等部分）套用到模型上，確保GAN了解到藝術(shù)家指定的的結(jié)構(gòu)，形狀，紋理和比例。

再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。

為了增加數(shù)據(jù)庫的模型數(shù)量，一個自動化腳本會主動采用這個3D場景。在10000張生物模型的基礎(chǔ)上，繼續(xù)補(bǔ)充，生成了10000+張圖像+分割圖。

根據(jù)生物的不同姿勢，在視點和縮放級別之間進(jìn)行插值，創(chuàng)建出全色圖像和分割圖，形成GAN新的訓(xùn)練數(shù)據(jù)集。

而每次手動創(chuàng)建這些數(shù)據(jù)，需要20多分鐘。

谷歌表示，奇美拉畫家為藝術(shù)家節(jié)省了數(shù)百萬小時的時間。