生活中，我們都會(huì)遇到圖片模糊狀態(tài)下，很早之前我們是不可能恢復(fù)；之后通過PS進(jìn)行修復(fù)，也會(huì)有畸形或者差異的表現(xiàn)；但是，現(xiàn)在AI可以準(zhǔn)確完整的恢復(fù)出blind face。

一、簡(jiǎn)要

B lind face 通常依賴于facial priors，如facial geometry prior或reference prior，來恢復(fù)現(xiàn)實(shí)和真實(shí)的細(xì)節(jié)。然而，當(dāng)高質(zhì)量的參考無法訪問時(shí)，非常低質(zhì)量的輸入不能提供精確的幾何先驗(yàn)，這限制了在現(xiàn)實(shí)場(chǎng)景中的適用性。

所以，有研究者提出了GFP-GAN，它利用封裝在預(yù)先訓(xùn)練好的人臉GAN中的豐富多樣的先驗(yàn)來進(jìn)行blind face恢復(fù)。該Generative Facial Prior(GFP)通過新的信道分裂空間特征變換層融入到人臉修復(fù)過程中，使新方法能夠?qū)崿F(xiàn)真實(shí)度和保真度的良好平衡。由于強(qiáng)大的 GFP 和精細(xì)的設(shè)計(jì)，GFP-GAN可以通過一次共同恢復(fù)面部細(xì)節(jié)和增強(qiáng)顏色，而GAN inversion methods在推理時(shí)需要昂貴的特定圖像優(yōu)化。大量的實(shí)驗(yàn)表明，新方法在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上都取得了優(yōu)于現(xiàn)有技術(shù)的性能。

二、效果先知道

HiFaceGAN [ 69 ]： Lingbo Yang, Chang Liu, Pan Wang, Shanshe Wang, Peiran Ren, Siwei Ma, and Wen Gao. Hifacegan: Face renovation via collaborative suppression and replenishment. ACM Multimedia, 2020

DFDNet [ 46 ]： Xiaoming Li, Chaofeng Chen, Shangchen Zhou, Xianhui Lin, Wangmeng Zuo, and Lei Zhang. Blind face restoration via deep multi-scale component dictionaries. In ECCV, 2020

Wan et al. [ 63 ]： Ziyu Wan, Bo Zhang, Dongdong Chen, Pan Zhang, Dong Chen, Jing Liao, and Fang Wen. Bringing old photos back to life. In CVPR, 2020

PULSE [ 54 ]： Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, and Cynthia Rudin. Pulse: Self-supervised photo upsampling via latent space exploration of generative models. In CVPR, 2020

在本研究中，研究者利用GFP來進(jìn)行現(xiàn)實(shí)世界的盲臉恢復(fù)，即先驗(yàn)隱式封裝在預(yù)先訓(xùn)練的人臉生成對(duì)抗網(wǎng)絡(luò)(GAN)模型中，如StyleGAN。這些face GANs能夠產(chǎn)生具有高度變化的 faithful faces，從而提供豐富多樣的先驗(yàn)，如幾何，面部紋理和顏色，使它能夠共同恢復(fù)面部細(xì)節(jié)和增強(qiáng)顏色（如上圖)。

然而，將這種生成先驗(yàn)納入恢復(fù)過程中是具有挑戰(zhàn)性的。以前的嘗試通常使用GAN inversion。他們首先將降級(jí)的圖像“倒置”回預(yù)先訓(xùn)練好的GAN的 latent code，然后進(jìn)行昂貴的特定于圖像的優(yōu)化來重建圖像。盡管在視覺上有真實(shí)的輸出，但它們通常會(huì)產(chǎn)生低保真度的圖像，因?yàn)榈途S的 latent code不足以引導(dǎo)精確的恢復(fù)。

三、新框架

GFP-GAN 框架的概述：它包括一個(gè)degradation removal模塊和一個(gè)預(yù)先訓(xùn)練好的face GAN作為 facial prior。它們由latent code映射和幾個(gè)Channel-Split Spatial Feature Transform(CSSFT)層。所提出的CS-SFT調(diào)制實(shí)現(xiàn)了良好的保真度和保真度平衡。在訓(xùn)練過程中，使用1）Pyramid restoration引導(dǎo)來消除現(xiàn)實(shí)世界中復(fù)雜的退化，2）Facial component損失和識(shí)別器來增強(qiáng)面部細(xì)節(jié)，3） identity preserving損失以保持面部身份。

Adversarial Loss

Facial Component Loss

Identity Preserving Loss

總體模型目標(biāo)是上述損失的組合：

訓(xùn)練數(shù)據(jù)

和之前大部分工作類似，GFP-GAN采用了Synthetic數(shù)據(jù)的訓(xùn)練方式。研究者們發(fā)現(xiàn)在合理范圍的Synthetic數(shù)據(jù)上訓(xùn)練, 能夠涵蓋大部分的實(shí)際中的人臉。GFP-GAN的訓(xùn)練采用了經(jīng)典的降質(zhì)模型, 即先高斯模糊, 再降采樣 , 然后加噪聲, 最后使用JPEG壓縮。

四、實(shí)驗(yàn)及效果可視化

在Synthetic的量化 指標(biāo)上, 該研究提出的方法在LPIPS、FID、 NIQE都能夠取得最好的結(jié)果，Deg.是指人臉識(shí)別 模型ArcFace的Cosine距離, 較小的值說明identity也保持的很好。