定「睛」一看，就能區(qū)分照片真假？近日，來自紐約州立大學(xué)的華人研究員提出了一種全新的檢測方法，可以根據(jù)眼睛形狀判斷人像的真假。不過，前提是你能把圖放得了這么大才行。

現(xiàn)在，利用GAN生成的人臉幾乎真實(shí)到讓「肉眼」檢測都達(dá)到了瓶頸。

比如說，
https://thispersondoesnotexist.com/，在這上每刷新一次都會(huì)生成一幅讓你真假難辨的人臉。

不過，既然這些人臉是基于深度學(xué)習(xí)生成的，那我們就用魔法去打敗魔法！

真實(shí)的人像（左），GAN生成的人像（右）

最近的研究表明，基于深度學(xué)習(xí)模型的檢測方法確實(shí)可以提供了不少可行的方案。

然而，這些方法通常面臨兩個(gè)挑戰(zhàn)：

1. 檢測結(jié)果缺乏可解釋性；
2. 由于過擬合導(dǎo)致在不同的合成方法中，泛化的穩(wěn)健性很低。

為了消除這些限制并探索一個(gè)更穩(wěn)健的模型，來自紐約州立大學(xué)奧爾巴尼和布法羅分校的華人研究員提出了一種全新的方法，通過不規(guī)則的瞳孔形狀檢測出GAN生成的人臉。

論文地址：https://arxiv.org/pdf/2109.00162.pdf

結(jié)果表明，從兩只眼睛中提取瞳孔并分析它們的形狀，可以有效區(qū)分GAN生成的人臉和真實(shí)的人像照片。

真實(shí)的人眼（左4），GAN生成的人眼（右4）

論文的主要貢獻(xiàn)有三個(gè)方面：

1. 發(fā)現(xiàn)不規(guī)則的瞳孔形狀廣泛存在于高質(zhì)量的StyleGAN生成的人臉中，這與真實(shí)的人類瞳孔不同。

2. 提出了一種新的基于生理學(xué)的方法，可以使用不規(guī)則的瞳孔形狀作為檢測GAN生成的人臉的依據(jù)，并且簡單而有效。

3. 提出的方法不僅可以用于設(shè)計(jì)自動(dòng)檢測方法，而且也給利用「肉眼」區(qū)分GAN生成的人臉提供了一個(gè)新的線索。

眼睛不會(huì)騙人

作者從人眼的主要解剖部位著手進(jìn)行研究，眼睛的中心是虹膜和瞳孔，而白色區(qū)域是鞏膜。

對(duì)于一個(gè)普遍意義上健全的人來說，瞳孔的形狀是近乎圓形的。然而，在GAN生成的眼睛部分，可以觀察到明顯的偽影和不一致，如瞳孔的邊界不是橢圓形的。

人眼的解剖結(jié)構(gòu)

真實(shí)的眼睛（左），瞳孔為明顯的圓形或橢圓形（黃色）；GAN生成的眼睛（右），瞳孔為不規(guī)則的形狀（紅色）

這種現(xiàn)象普遍存在于GAN生成的人臉上，其中一個(gè)根本原因是，目前的GAN模型缺乏對(duì)人眼解剖學(xué)的理解，特別是瞳孔的幾何形狀。

方法實(shí)現(xiàn)

作者利用模型對(duì)兩只眼睛的瞳孔進(jìn)行自動(dòng)提取，并在之后評(píng)估這些瞳孔的形狀是否為橢圓形。

1. 瞳孔分割和邊界檢測

首先通過人臉檢測器來定位人臉，然后用提取器獲得人臉的landmark。

在對(duì)兩只眼睛對(duì)應(yīng)的區(qū)域進(jìn)行適當(dāng)裁剪之后，使用EyeCool提取瞳孔的掩碼及其邊界。

(a)輸入的高分辨率人臉圖像；(b)裁剪的眼睛圖像；(c)圖像(b)的預(yù)測瞳孔掩碼；(d)對(duì)(c)進(jìn)行橢圓擬合后的瞳孔掩碼

EyeCool是一個(gè)改進(jìn)的基于U-Net的模型，可以同時(shí)對(duì)瞳孔和虹膜、內(nèi)部和外部邊界進(jìn)行分割。

其中EfficientNet-B5被用作編碼器，并在解碼器中添加了一個(gè)邊界注意塊，以提高模型關(guān)注物體邊界的能力。

此外，Dice損失和MSE損失都被用來訓(xùn)練模型，其中Dice損失被用來評(píng)估分割部分，MSE被用來計(jì)算邊界熱圖的回歸損失。

2. 橢圓擬合的瞳孔

利用基于最小平方的橢圓擬合方法可用于預(yù)測瞳孔掩碼的外部邊界，以估計(jì)橢圓擬合的瞳孔邊界。

u為預(yù)測的瞳孔掩碼的外邊界上的點(diǎn)的坐標(biāo)，利用最小二乘法找到一組參數(shù)θ，使數(shù)據(jù)點(diǎn)和橢圓之間的距離測量最小：

并通過最小化N個(gè)數(shù)據(jù)點(diǎn)上的代數(shù)距離平方之和來確定橢圓的大小：

3. 測量不規(guī)則瞳孔的形狀

Boundary IoU（BIoU）可以用來對(duì)邊界質(zhì)量敏感的圖像分割。

相比于平等對(duì)待所有像素的Mask IoU，BIoU計(jì)算的是預(yù)測和基準(zhǔn)真相之間的邊界輪廓在一定距離內(nèi)掩碼像素的IoU。

因此，作者使用BIoU來評(píng)估距離瞳孔外邊界d像素范圍內(nèi)的瞳孔掩碼像素。

其中P表示預(yù)測的瞳孔掩碼，F(xiàn)表示橢圓的瞳孔掩碼，參數(shù)d是距離邊界的距離，控制測量對(duì)邊界的敏感性。

左：預(yù)測的瞳孔掩碼P和橢圓的瞳孔掩碼F；

中：Pd和Fd是距離邊界d以內(nèi)的掩碼像素（藍(lán)色和黃色）；

右：預(yù)測的瞳孔掩碼和橢圓修正的瞳孔掩碼的距離參數(shù)d之間的邊界IoU計(jì)算。

此外，當(dāng)把d放大到足以包括掩碼內(nèi)的所有像素時(shí)，BIoU就等于掩碼IoU。為了使BIoU對(duì)邊界質(zhì)量更加敏感，可以減少參數(shù)d以忽略掩碼內(nèi)部像素。

預(yù)測的瞳孔掩碼和橢圓的瞳孔掩碼之間的BIoU得分的范圍是[0, 1]，較大的值表明瞳孔的邊界與橢圓的形狀更相似，那么人臉也更可能是真實(shí)的；否則就是用GAN模型生成的。

結(jié)果分析

數(shù)據(jù)集

真實(shí)人臉圖像來自FlickrFaces-HQ（FFHQ）數(shù)據(jù)集，GAN生成的人臉由StyleGAN2創(chuàng)建。每個(gè)類別有1000張圖像，分辨率為1024×1024。

結(jié)果

真實(shí)的人的瞳孔是清晰的橢圓形，這可以從預(yù)測的瞳孔掩碼和橢圓的瞳孔掩碼之間較高的BIoU分?jǐn)?shù)中反映出來。然而，不規(guī)則瞳孔形狀的偽影導(dǎo)致BIoU得分明顯降低。

真實(shí)的人眼

GAN生成的人眼

此外，真實(shí)的人臉和GAN生成的人臉在BIoU得分的分布上有明顯的區(qū)別。

真實(shí)的人臉和GAN生成的人臉在邊界IoU上得分的分布情況

接收者操作特征（ROC）曲線，對(duì)應(yīng)的AUC（ROC曲線下的面積）為0.94。

ROC曲線是基于邊界IoU的得分，d=4

由此表明，不規(guī)則的瞳孔形狀能有效地識(shí)別GAN生成的人臉，并用來與真實(shí)的人臉進(jìn)行區(qū)分。

超參數(shù)分析

BIoU測量法有一個(gè)基本參數(shù)d，它表示與邊界的距離。當(dāng)d足夠大時(shí)，BIoU將減少到Mask IoU，從而對(duì)邊界不那么敏感，這就是為什么AUC分?jǐn)?shù)隨著d的增加而減少。

x軸表示超參數(shù)d的變化，y軸為AUC得分

局限性

1. 當(dāng)真實(shí)面孔的形狀為非橢圓形時(shí)，可能會(huì)出現(xiàn)假陽性。例如瞳孔和虹膜區(qū)域的疾病。

由于瞳孔和虹膜區(qū)域的疾病和感染，導(dǎo)致的非橢圓形異常瞳孔

2. 瞳孔上的遮擋或瞳孔分割失敗也可能導(dǎo)致錯(cuò)誤的預(yù)測。

遮擋和瞳孔周圍的噪聲以及瞳孔分割失敗

整體而言，論文提出利用瞳孔進(jìn)行區(qū)分的方法是非常有效的。

不過，前提是圖像的分辨率足夠高……