用GAN創(chuàng)作似乎已經(jīng)不是新鮮事了。

2019，英偉達(dá)在GTC大會(huì)上推出了一個(gè)人工智能圖像生成器“GauGAN”。用戶只需要簡(jiǎn)單的勾畫(huà)幾條線條輪廓，便會(huì)自動(dòng)生成美麗的風(fēng)景圖片。

這款A(yù)I使用的技術(shù)是生成對(duì)抗網(wǎng)絡(luò)（GAN），也是一種深度學(xué)習(xí)模型，現(xiàn)在被廣泛用于圖像生成。

包括去年MIT和IBM沃森聯(lián)合實(shí)驗(yàn)室聯(lián)合發(fā)布的AI Portraits Ars，用戶可以在線將自己的照片轉(zhuǎn)變?yōu)橹惺兰o(jì)的優(yōu)化風(fēng)格，這個(gè)在線工具一度火爆到網(wǎng)站宕機(jī)。

你可能會(huì)說(shuō)，“這不就是風(fēng)格遷移么？”

不，團(tuán)隊(duì)人員專門(mén)強(qiáng)調(diào)，這不是風(fēng)格遷移，這是AI自己創(chuàng)作的，從線條到色調(diào)，都和人類畫(huà)師一樣，照著真人的樣子自行創(chuàng)作。

但是正如東西方巨大的文化溝壑一樣，在藝術(shù)和技術(shù)結(jié)合的領(lǐng)域，AI似乎也更偏向西方，我們看到不少AI生成寫(xiě)實(shí)主義、后現(xiàn)代，甚至是抽象主義的作品，但是卻很少能看到AI在傳統(tǒng)東方藝術(shù)上的表現(xiàn)。

終于，一位普林斯頓大學(xué)的本科學(xué)生Alice Xue將目光投向了中國(guó)山水畫(huà)。

在她的畢業(yè)論文中，她開(kāi)發(fā)了一款名為SAPGAN（Sketch-And-Paint GAN)的AI模型，該模型可以生成傳統(tǒng)的中國(guó)山水畫(huà)，為此她也獲得了普林斯頓2020優(yōu)秀畢業(yè)論文獎(jiǎng)。

論文鏈接：

https://arxiv.org/pdf/2011.05552.pdf

論文提到，在一項(xiàng)242人的圖靈視覺(jué)測(cè)試研究表明，SAPGAN創(chuàng)作出的畫(huà)作被誤認(rèn)為人類藝術(shù)品的頻率高達(dá)55%，顯著高于基線GAN模型創(chuàng)作的畫(huà)作。

和人類一樣，先畫(huà)草圖后著色

傳統(tǒng)中國(guó)山水畫(huà)在繪制過(guò)程中，一般有勾、皴、點(diǎn)、染等步驟，顧名思義，就是先勾畫(huà)出大致輪廓，再進(jìn)行渲染。

AIice提出的端到端生成中國(guó)山水畫(huà)無(wú)條件輸入模型遵循的也是這個(gè)步驟。為了實(shí)現(xiàn)這一過(guò)程，AIice構(gòu)建了兩個(gè)模型：

•  Stage I: SketchGAN
•  Stage II: PaintGAN

SketchGAN從樣本圖像中采集高分辨率的邊緣圖，而PaintGAN是根據(jù)SketchGAN進(jìn)行“翻譯”創(chuàng)作，從而生成一幅完整的山水畫(huà)。

中國(guó)人反而更容易誤判

實(shí)驗(yàn)的結(jié)果也很驚人。

在最后進(jìn)行測(cè)評(píng)時(shí)，242名參與者中，模型生成的畫(huà)有一半以上（55%）被誤認(rèn)為是人類作品。

視覺(jué)圖靈測(cè)試的分?jǐn)?shù)分布，要求參與者判斷藝術(shù)品是由人類還是計(jì)算機(jī)制作的(平均值= 70.5%)

在“審美愉悅”、“藝術(shù)構(gòu)圖”、“清晰”和“創(chuàng)造力”方面，SAPGAN模型在所有藝術(shù)類別中的評(píng)分始終高于基線。SAPGAN與人類繪畫(huà)最大的區(qū)別是“清晰”。

讓人匪夷所思的是，中國(guó)人可能更容易被SAPGAN欺騙。作為母語(yǔ)為漢語(yǔ)的人，多少是見(jiàn)過(guò)幾幅山水畫(huà)的，但是在判別一幅山水畫(huà)是否為SAPGAN所作時(shí)，中國(guó)人可能更容易被欺騙。

作者比較了母語(yǔ)為漢語(yǔ)和英語(yǔ)的參與者的結(jié)果，看看文化接觸是否能讓中國(guó)參與者正確判斷這些畫(huà)。然而，說(shuō)漢語(yǔ)的參與者平均得分為49.2%，明顯低于說(shuō)英語(yǔ)的考生的73.5%。

也就是說(shuō)，說(shuō)中文的人70%的時(shí)候還會(huì)把SAPGAN的畫(huà)誤認(rèn)為是人，而整體水平是55%。顯然，不管對(duì)中國(guó)文化的熟悉程度如何，參與者都很難區(qū)分繪畫(huà)的來(lái)源。

自己收集兩千多張山水畫(huà)數(shù)據(jù)，GitHub上公開(kāi)

文章提出的模型是在一個(gè)新的中國(guó)傳統(tǒng)山水畫(huà)數(shù)據(jù)集上訓(xùn)練的，這一數(shù)據(jù)集不是來(lái)自百度或者谷歌，而是由作者本人收集。

AIice表示，目前的山水畫(huà)數(shù)據(jù)集存在不唯一性和圖像質(zhì)量和數(shù)量不足的問(wèn)題，為了促進(jìn)這一領(lǐng)域的發(fā)展，Alice本人建立了2192幅高質(zhì)量中國(guó)傳統(tǒng)山水畫(huà)組成的新數(shù)據(jù)集，這些山水畫(huà)來(lái)自普林斯頓藝術(shù)博物館藏品。

目前，這些有價(jià)值的繪畫(huà)在很大程度上還沒(méi)有被生成創(chuàng)作研究觸及，作者也在GitHub上發(fā)布了這一數(shù)據(jù)集供公眾使用。

Alice在接受學(xué)校采訪時(shí)說(shuō)，普林斯頓大學(xué)美術(shù)館有一個(gè)令人驚異的開(kāi)放式數(shù)字收藏中國(guó)畫(huà)，這對(duì)我的數(shù)據(jù)集很有價(jià)值，但不幸的是，大多數(shù)研究人員沒(méi)有充分利用它。

數(shù)據(jù)集鏈接

https://github.com/Alice x 2020/Chinese-landscape painting-Dataset

寫(xiě)論文之前從沒(méi)上過(guò)機(jī)器學(xué)習(xí)課，準(zhǔn)備去Facebook工作

看到這里，你可能覺(jué)得Alice是一位“資深程序員”了。但是她表示，“我寫(xiě)這篇論文的時(shí)候從來(lái)沒(méi)有上過(guò)機(jī)器學(xué)習(xí)課程，所以我經(jīng)常被這樣一個(gè)問(wèn)題弄得不知所措: 像我這樣的新手能為已經(jīng)存在的創(chuàng)新研究做些什么。但是我發(fā)現(xiàn)總是有一個(gè)有趣的角度來(lái)處理一個(gè)問(wèn)題，因?yàn)橐粋€(gè)人的興趣和技能是他們獨(dú)一無(wú)二的。”

在談到對(duì)其他的學(xué)生建議時(shí)，Alice說(shuō)，將數(shù)字化人文融入你的工作中是自然而然的事。找到你感興趣的東西——無(wú)論是19世紀(jì)的文學(xué)作品還是爵士樂(lè)——總有一種方法可以從中收集數(shù)據(jù)，用來(lái)分析或制作與之相關(guān)的技術(shù)工具。

談到自己未來(lái)的規(guī)劃，Alice表示自己準(zhǔn)備去Facebook工作，成為一名軟件工程師。