[[417713]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

AI已經(jīng)能教你畫(huà)油畫(huà)了。

隨便給一張圖，筆畫(huà)序列秒秒鐘呈現(xiàn)。

比如世界名畫(huà)蒙娜麗莎。

亦或是寫(xiě)實(shí)類的小鳥(niǎo)。

還有極具氛圍感的河燈。

總之什么風(fēng)格都可以駕馭。

這項(xiàng)技術(shù)在Reddit上21小時(shí)內(nèi)就已經(jīng)有600+的點(diǎn)贊量。

究竟是如何打造的呢？

用前饋網(wǎng)絡(luò)預(yù)測(cè)筆畫(huà)

神經(jīng)繪畫(huà)，就是為給定的圖像生成一系列筆畫(huà)，并使用神經(jīng)網(wǎng)絡(luò)進(jìn)行繪畫(huà)式的真實(shí)再現(xiàn)過(guò)程。

研究團(tuán)隊(duì)提出了一個(gè)基于Transformer的框架，叫做Paint Transformer，用前饋網(wǎng)絡(luò)來(lái)預(yù)測(cè)筆畫(huà)的參數(shù)。

由于當(dāng)前沒(méi)有可用的數(shù)據(jù)集來(lái)訓(xùn)練Paint Transformer，受物體檢測(cè)啟發(fā)，研究人員設(shè)計(jì)了一個(gè)自訓(xùn)練Pipeline。

整個(gè)模型由兩個(gè)模塊組成：筆畫(huà)預(yù)測(cè)器和筆畫(huà)渲染器。

給定目標(biāo)圖像和中間畫(huà)布圖像，筆畫(huà)預(yù)測(cè)器，生成一組參數(shù)以確定當(dāng)前筆畫(huà)集。

預(yù)測(cè)器包含了兩個(gè)用于特征嵌入的CNN網(wǎng)路和一個(gè)用于參數(shù)預(yù)測(cè)的Transformer。

隨后，筆畫(huà)渲染器為筆畫(huà)集匯總的每個(gè)筆畫(huà)，生成筆畫(huà)圖像，并將它們繪制到畫(huà)，產(chǎn)生結(jié)果圖像，大小為512*512。

在DETR（用Transformer進(jìn)行對(duì)象檢測(cè)）的基礎(chǔ)上，增加了二進(jìn)制神經(jīng)元來(lái)預(yù)測(cè)筆畫(huà)是否應(yīng)該被保留。

這樣它就可以在沒(méi)有任何現(xiàn)成的數(shù)據(jù)集的情況下進(jìn)行訓(xùn)練，同時(shí)還能實(shí)現(xiàn)出色的泛化能力。

實(shí)驗(yàn)表明，這一方法比以前的方法取得了更好的繪畫(huà)性能，而且訓(xùn)練和推理成本更低。

百度南大團(tuán)隊(duì)打造

這項(xiàng)技術(shù)由百度、南京大學(xué)、羅格斯大學(xué)共同打造。

目前代碼已經(jīng)開(kāi)源，并在一刻相冊(cè)App上應(yīng)用。

論文地址：
https://arxiv.org/abs/2108.03798
GitHub網(wǎng)址：
https://github.com/wzmsltw/PaintTransformer