人臉識(shí)別的“利矛與堅(jiān)盾”同時(shí)出爐！微軟亞洲研究院和北京大學(xué)最近聯(lián)合發(fā)表 2 篇重量級(jí)學(xué)術(shù)論文，提出了 FaceShifter 和 FaceX-Ray——前者是一種高保真、能夠感知遮擋的 AI“換臉工具”，后者則是針對(duì)偽造人臉圖像的通用檢測(cè)工具，在取得業(yè)界領(lǐng)先的性能的同時(shí)，所需數(shù)據(jù)量也少得多。　　

　　最先進(jìn)的 AI 和機(jī)器學(xué)習(xí)算法不僅可以生成栩栩如生的位置和物體的圖像，還擅長將人臉頭像從一個(gè)人換成另一個(gè)人的。另一方面，研究人員也在不斷開發(fā)能夠檢測(cè) deepfake 假圖像的識(shí)別工具。這場(chǎng)在機(jī)器學(xué)習(xí)圖像識(shí)別領(lǐng)域的“矛與盾”之爭(zhēng)愈演愈烈。

　　最近，微軟研究院和北京大學(xué)的研究團(tuán)隊(duì)就同時(shí)造出了一對(duì)“利矛”和“堅(jiān)盾”，他們發(fā)表的兩篇論文分別提出了 FaceShifter 和 Face X-Ray——前者是一種高保真度、可識(shí)別遮擋的換臉工具，后者則是能夠檢測(cè)偽造人臉圖像的工具。

　　研究人員表示，與多個(gè)現(xiàn)行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得業(yè)界領(lǐng)先的結(jié)果，而且所需的數(shù)據(jù)比以前的方法少得多。

　　一、利矛：高保真度換臉工具 FaceShifter

　　這個(gè)新工具采用兩層框架結(jié)構(gòu)。過去換臉應(yīng)用的主要困難在于提取面部特征，然后將兩張圖的特征和屬性組合在一張圖中，最近基于 GAN 的工作取得了明顯進(jìn)步，但仍然在合成高精度、真實(shí)圖像結(jié)果上面臨挑戰(zhàn)。

　　研究人員提出了一個(gè)新的兩部分架構(gòu)，稱為 FaceShifter，可以實(shí)現(xiàn)高精度和遮擋條件下的換臉。第一部分通過充分，自適應(yīng)對(duì)目標(biāo)屬性進(jìn)行挖掘和集成，生成高清換臉圖片。使用新的屬性編碼器，提取多級(jí)目標(biāo)的人臉屬性，利用自適應(yīng)注意力非正規(guī)化（AAD）層的新生成器整合人臉合成圖片的特征和屬性。

　　架構(gòu)的第二部分主要解決面部遮擋問題，這部分包括一個(gè)新的啟發(fā)式錯(cuò)誤確認(rèn)細(xì)化網(wǎng)絡(luò)（HEAR-Net）。訓(xùn)練后，可以以自監(jiān)督的方式恢復(fù)圖像的異常區(qū)域，無需任何手動(dòng)注釋。在新面部圖像上進(jìn)行的大量實(shí)驗(yàn)表明，與其他方法相比，本文模型生成的換臉圖片結(jié)果不僅在感觀上更真實(shí)、更具吸引力，而且還保留了原圖像更多的特征。

　　第一階段的 AEI-Net 結(jié)構(gòu)。AEI-Net 由身份編碼器，多級(jí)屬性編碼器和 AAD 生成器組成。AAD 生成器使用在 AAD 層上構(gòu)建的級(jí)聯(lián) AAD ResBlk，可在多個(gè)功能級(jí)別中集成圖像特征和屬性的信息

第二階段的 HEAR-Net 和生成效果

　　與 FaceSwap、Nirkin、FaceForensics ++、DeepFake、IPGAN 等模型生成效果的比較。我們的模型更好地保留了源圖像的臉部形狀，也更忠實(shí)于目標(biāo)屬性（照明，圖像分辨率）　　

與現(xiàn)有其他換臉模型的性能效果對(duì)比

　　二、堅(jiān)盾：面部假圖像檢測(cè)工具 Face X-ray

　　典型的換臉合成方法包括三個(gè)階段：1）檢測(cè)面部區(qū)域；2）合成期望的目標(biāo)面部 3）將目標(biāo)面部融合到原始圖像中?，F(xiàn)有的對(duì)面部合成圖像檢測(cè)通常面向第二階段，并基于數(shù)據(jù)集訓(xùn)練有監(jiān)督的每幀二進(jìn)制分類器。這種方法可以測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)近乎完美的檢測(cè)精度，如果遇見訓(xùn)練時(shí)沒見過的假圖像，性能會(huì)出現(xiàn)明顯下降。

　　與現(xiàn)有方法不同的是，F(xiàn)ace X-Ray 不需要事先知道操作方法或人工監(jiān)督，而是生成灰度圖像，顯示給定的輸入圖像是否可以分解為來自不同來源的兩個(gè)圖像的混合。研究人員聲稱，這種方法是可行的，因?yàn)榇蠖鄶?shù)方法在將已改變的面部混合到現(xiàn)有背景圖像的過程中，有一個(gè)步驟是相同的。每個(gè)圖像都會(huì)從硬件（如傳感器和鏡頭）或軟件（如壓縮和合成算法）中引入的自己獨(dú)特的標(biāo)記，并且這些標(biāo)記在整個(gè)圖像中趨向于類似呈現(xiàn)。

　　Face X-Ray 不需要依賴于與特定人臉操作技術(shù)相關(guān)的偽影知識(shí)，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進(jìn)行訓(xùn)練。

　　在一系列實(shí)驗(yàn)中，研究人員在 Face Forensics++（一個(gè)包含 1000 多個(gè)用四種最先進(jìn)的面部操作方法操作的原始剪輯的大型視頻語料庫）和另一個(gè)包含由真實(shí)圖像構(gòu)建的混合圖像的訓(xùn)練數(shù)據(jù)集上訓(xùn)練了 Face X-Ray。他們?cè)u(píng)估了 FaceX-Ray 使用四個(gè)數(shù)據(jù)集進(jìn)行概括的能力：

　　上述 FaceForensics++ 語料庫的一個(gè)子集；Google 發(fā)布的數(shù)千個(gè)視覺 deepfake 視頻集合，deepfake 檢測(cè)挑戰(zhàn)賽的圖像；以及 Celeb-DF，一個(gè)包含 408 個(gè)真實(shí)視頻和 795 個(gè)合成視頻且視覺偽影減少的語料庫。

　　研究結(jié)果表明，F(xiàn)ace X-Ray 能有效地識(shí)別出未被發(fā)現(xiàn)的假圖像，并能可靠地預(yù)測(cè)混合區(qū)域。研究人員指出，這個(gè)方法依賴于一個(gè)混合步驟，因此可能不適用于完全合成圖像，可能被對(duì)抗性樣本騙過。不過，這確實(shí)是邁向通用化面部偽造圖像檢測(cè)工具的有希望的一步。

　　作者介紹

　　這兩篇文章的作者來自微軟亞洲研究院（MSRA）視覺計(jì)算團(tuán)隊(duì)，團(tuán)隊(duì)成員大部分畢業(yè)于中科大、北大等國內(nèi)名校，也都有過在 MSRA 的實(shí)習(xí)經(jīng)歷，多人獲得 Fellowship 獎(jiǎng)。下面以網(wǎng)上公開信息為基礎(chǔ)，介紹一下這兩篇文章的作者。

　　李凌志

[[312059]]

　　北京大學(xué)碩士研究生，北京交通大學(xué)工商管理學(xué)士。過去一年在 MSRA 視覺計(jì)算團(tuán)隊(duì)研究實(shí)習(xí)生。研究興趣是計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。對(duì)生成模型和 Deepfake 檢測(cè)領(lǐng)域特別感興趣。

　　鮑建敏

[[312060]]

　　MSRA 視覺計(jì)算團(tuán)隊(duì)研究員。此前于 2014 年和 2019 年獲中國科學(xué)技術(shù)大學(xué)理學(xué)學(xué)士、博士學(xué)位，師從羅杰波教授和李厚強(qiáng)教授。研究興趣是計(jì)算機(jī)視覺，機(jī)器學(xué)習(xí)。對(duì)人臉檢測(cè)，識(shí)別，合成以及 GAN 領(lǐng)域特別感興趣。

　　Zhang Ting

[[312061]]

　　MSRA 視覺計(jì)算團(tuán)隊(duì)高級(jí)研究員。在 2017 年 7 月加入 MSRA 之前，分別于 2012 年和 2017 年獲中國科學(xué)技術(shù)大學(xué)學(xué)士、博士學(xué)位。2013 年至 2017 年在 MSRA 實(shí)習(xí)，并于 2015 年獲得了 MSRA Fellowship 獎(jiǎng)。目前研究興趣集中在計(jì)算機(jī)視覺的深度學(xué)習(xí)上。

　　楊昊

[[312062]]

　　2017 年末加入 MSRA 視覺計(jì)算團(tuán)隊(duì)。此前在清華大學(xué)軟件學(xué)院獲學(xué)士、博士學(xué)位。研究興趣包括但不限于對(duì)面孔，肖像和 3D 圖像的理解和合成。

　　陳棟

[[312063]]

　　2015 年 7 月加入 MSRA 視覺計(jì)算團(tuán)隊(duì)。此前分別于 2010 年和 2015 年獲中國科學(xué)技術(shù)大學(xué)學(xué)士、博士學(xué)位。2010 年至 2015 年在 MSRA 實(shí)習(xí)，并于 2013 年獲得 MSRA Fellowship 獎(jiǎng)。

　　Wen Fang

[[312064]]

　　MSRA 視覺計(jì)算團(tuán)隊(duì)首席研究員。

　　郭百寧

[[312065]]

　　微軟亞洲研究院常務(wù)副院長，負(fù)責(zé)圖形圖像領(lǐng)域的研究工作。郭博士擁有美國康乃爾大學(xué)碩士和博士學(xué)位，北京大學(xué)學(xué)士學(xué)位。他還是電氣電子工程師學(xué)會(huì)會(huì)士（IEEE Fellow）和美國計(jì)算機(jī)協(xié)會(huì)會(huì)士（ACM Fellow）。研究興趣包括計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)可視化、自然用戶界面以及統(tǒng)計(jì)學(xué)習(xí)。在紋理映射建模、實(shí)時(shí)渲染以及幾何模型等領(lǐng)域取得的研究成果尤為突出。