英偉達年底放大招!發(fā)布超強圖像生成器StyleGAN2
今年年初,英偉達(NVIDIA)的研究工程師們公開了StyleGAN的源代碼,并將其作為生成對抗網絡的基于Style的生成器架構。
比如可以生成無數逼真的人臉:
還能讓你看到從蘿莉到御姐的變換過程是怎樣的:
雖說功能強大,但畢竟是初代版本,難免有些瑕疵,現如今,升級版StyleGAN2誕生了,英偉達近日公開最新論文《Analyzing and Improving the Image Quality of StyleGAN》,通過對 StyleGAN 的生成效果分析,對不完美的工作設計了改進和優(yōu)化方法,下面一起來看看都有哪些升級:
1、消除特征偽影
就如上圖所示,StyleGAN圖像中會出現類似水滴的偽影,這些在生成的時候雖然說沒有很明顯,但是問題總歸是存在的,而且從生成64×64的圖像開始就有了,分辨率越高,水滴現象就越嚴重。在StyleGAN2里面這個問題已經不存在了。
英偉達的研究人員重新設計了StyleGAN架構,研究了常見的斑點狀artifacts的起源,并發(fā)現生成器創(chuàng)建它們是為了規(guī)避其架構中的設計缺陷。英偉達重新設計了生成器中使用的normalization,從而刪除了artifacts。
如上圖所示,(a)是原始StyleGAN架構,(b)展示了原始StyleGAN架構的細節(jié),(c)是在原始架構里做了些許改動,(d)是修改后的架構。
改進完之后的效果如下:
已經沒有了前面所說的偽影,同時保留了完全的可控性。
2、生成細節(jié)改進
再來看看StyleGAN中采用的是Progressive Growing的訓練方法,細節(jié)對位置有強偏好,特征發(fā)生移動時,位置不能隨之發(fā)生相應的變化移動。
StyleGAN 2研究人員對其進行了優(yōu)化,如上圖所示,up和down分別表示雙線性上、下采樣。當牙齒或者眼睛等特征在圖像上平滑移動時,它們可能會停留在原位,然后跳到下一個首選位置,下圖顯示了相關的偽像,生成人臉的五官特征可以同時變化。
總的來說,StyleGAN 2的改進如下:
生成的圖像質量明顯更好(FID分數更高、artifacts減少)
提出替代progressive growing的新方法,牙齒、眼睛等細節(jié)更完美
改善了Style-mixing
更平滑的插值(額外的正則化)
訓練速度更快
是不是覺得很強大呢?想不想自己體驗一番,最后附上相關地址:
論文地址:https://arxiv.org/pdf/1912.04958.pdf
Github地址:https://github.com/NVlabs/stylegan2