[[425382]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

現(xiàn)在，給AI一個(gè)短語(yǔ)和50個(gè)三角形，它就能創(chuàng)作一副極簡(jiǎn)風(fēng)格的抽象畫(huà)了。

只需輸入“a drawing of cat（一張貓的畫(huà)像）”，一只棱角分明、散發(fā)著冷酷氣息的抽象貓就生成了。

不只是這種泛泛的概念，給出特定詞匯，這個(gè)AI也能指定作畫(huà)。

比如輸入“Walt Disney World（迪士尼樂(lè)園）”，50個(gè)三角形立刻重新排布，一個(gè)風(fēng)格完全不同的抽象版迪士尼城堡就出現(xiàn)在了眼前。

可以說(shuō)是完完全全抓住了迪士尼城堡的精髓。

以上這些“大作”，其實(shí)都是進(jìn)化策略 （ES）和CLIP結(jié)合后生成的效果，由谷歌大腦團(tuán)隊(duì)出品。

他們讓兩個(gè)AI相互配合，根據(jù)文字提示及具體圖像，用一堆三角形創(chuàng)作出了一幅幅極具特色的抽象畫(huà)。

抽象后的谷歌大樓，大概長(zhǎng)這樣：

不能說(shuō)毫無(wú)關(guān)系，只能說(shuō)一模一樣啊。

這回，真的有點(diǎn)后現(xiàn)代藝術(shù)的feel了。

只用三角形創(chuàng)作的抽象畫(huà)

從生成的效果可以看到，ES算法+CLIP其實(shí)就是把一堆隨機(jī)的三角形重新排布，通過(guò)調(diào)整它們的大小、位置、顏色，逐漸將其構(gòu)建成一個(gè)與給出詞匯所吻合的圖像。

具體來(lái)看，在最初始時(shí)，ES算法會(huì)以三角形的坐標(biāo)、RGBA值作為參數(shù)，在畫(huà)布上隨機(jī)給出一些三角形。

進(jìn)化策略（ES）算法的原理則像進(jìn)化論一樣，它可以根據(jù)給出的信息不斷優(yōu)化，直到得到一個(gè)最優(yōu)解。

CLIP則是OpenAI開(kāi)發(fā)的一個(gè)負(fù)責(zé)給圖像重排序的模型。

它會(huì)對(duì)ES算法給出的三角形圖像與文字描述的相似度進(jìn)行打分，然后將結(jié)果反饋給ES算法，ES算法就會(huì)為了提升分?jǐn)?shù)而不斷迭代，最后得到一副藝術(shù)畫(huà)。

除了給出文字指令外，直接給一張圖作為初始信息，只用ES算法也能進(jìn)行作畫(huà)。

這不，用50個(gè)三角形、迭代10000次后，后現(xiàn)代抽象版蒙娜麗莎誕生了。

如果增加更多的三角形，算法給出的效果也會(huì)更好。

在下面的對(duì)比中，當(dāng)三角形數(shù)量達(dá)到200時(shí)，生成的圖像立刻增加了億點(diǎn)點(diǎn)細(xì)節(jié)。

其中達(dá)爾文和蒙娜麗莎的例子，fitness幾近達(dá)到了100%。

此外，為了實(shí)現(xiàn)更好的效果，研究人員還采用了ClipUp優(yōu)化器。

從對(duì)比中可以看到，使用優(yōu)化器后迭代1萬(wàn)次后的效果比基本算法迭代56萬(wàn)次后的還要好。

同時(shí)，與基于梯度的渲染方法對(duì)比，ES算法的表現(xiàn)也可圈可點(diǎn)。

渲染方法會(huì)更側(cè)重于紋理和顏色上的細(xì)化，而ES算法會(huì)更加側(cè)重于如何布局這些三角形。

那么給出文本指令生成的效果如何呢？

在“Self”、“Human”、“Walt Disney World（迪士尼樂(lè)園）”幾個(gè)案例中，算法的表現(xiàn)依舊很優(yōu)秀。

在體現(xiàn)關(guān)鍵字主題精髓的情況下，隨著構(gòu)圖三角形數(shù)量的增多，算法給出的結(jié)果細(xì)節(jié)也就更為豐富。

但是在“ picture of Tokyo”這個(gè)例子中，它的表現(xiàn)就不那么好了。

研究人員認(rèn)為這是由于算法在生成陰影較深的三角形上還存在困難，所以造成了這一結(jié)果。

而且面對(duì)命題作業(yè)，算法也會(huì)盡可能給出不同的答案。

在這幾個(gè)案例的重復(fù)4次測(cè)試中，我們可以看到生成的圖像都存在明顯的區(qū)別。

Demo可試玩

其實(shí)這并不是CLIP第一次“指揮”別的AI作畫(huà)了。

此前與GAN配合，就讓圖像變成了CG藝術(shù)風(fēng)。

事實(shí)上，這一次的抽象畫(huà)效果，你也可以體驗(yàn)。

團(tuán)隊(duì)已經(jīng)將代碼開(kāi)源，在Colab上也能進(jìn)行試玩（鏈接已附在文末）。

這是有網(wǎng)友上傳的生成圖像，效果真的還不錯(cuò)，你能猜出來(lái)這是誰(shuí)嗎？

論文鏈接：
https://arxiv.org/abs/2109.08857

GitHub開(kāi)源地址：
https://github.com/google/brain-tokyo-workshop/

試玩鏈接：
https://colab.research.google.com/drive/1DGNxs8E4cA_ZUwPQdusxDArCWj-JX5TG#scrollTo=7AkoGodQw8kr&uniqifier=4