經(jīng)費(fèi)不夠，2D 來湊?前些天，豐巢智能快遞柜被“小學(xué)生”用打印照片破解，讓人大跌眼鏡。

[[279632]] 

據(jù)《人民日報》報道，嘉興上外秀洲外國語學(xué)校 402 班科學(xué)小隊向都市快報《好奇實驗室》報料：他們在一次課外科學(xué)實驗中發(fā)現(xiàn)，只要用一張打印照片就能代替真人刷臉，騙過小區(qū)里的豐巢智能柜，最終取出父母們的貨件。

隨后，小朋友們還發(fā)來了幾段視頻佐證：

[[279633]]

并且，都市快報記者也親自進(jìn)行了驗證，用自拍照真的完成了一次開箱：

[[279634]] 

并且，記者用偷拍的照片進(jìn)行測試，也順利取出了包裹。

隨后，@豐巢智能柜官方微博也進(jìn)行了回應(yīng): 關(guān)于近期收到的取件反饋，經(jīng)核實，因該應(yīng)用為試運(yùn)營 beta 版本，在進(jìn)行小范圍測試。收到部分用戶友好反饋，已第一時間下線，完善后有關(guān)動態(tài)，可關(guān)注豐巢公告。謝謝大家的支持與鞭策。

 

為什么會發(fā)生這樣的問題，還要從人臉識別說起，《人民日報》稱，蜂巢的人臉識別系統(tǒng)之所以會被打印的照片輕易“糊弄”，是由于在人臉對齊時使用的是 2D 識別，而沒有用安全級別更高的 3D 人臉識別和活體檢測技術(shù)。

作為一家提供智能服務(wù)的公司，測試版的說法可能難以讓大眾相信，畢竟這是 2D 識別技術(shù)本身的問題，難不成是準(zhǔn)備用 2D 識別做測試然后用 3D 測試上線嗎?

所以網(wǎng)友的猜測都是，原本就準(zhǔn)備用這個技術(shù)上線，但是被一群小學(xué)生給發(fā)現(xiàn)了。

 

結(jié)合前段時間爆紅的人臉應(yīng)用 ZAO 引發(fā)了很多讀者對于“刷臉授權(quán)”的擔(dān)憂，可能有侵權(quán)、隱私安全和信息安全的風(fēng)險。

當(dāng)時，支付寶回應(yīng)稱：支付寶“刷臉支付”采用的是 3D 人臉識別技術(shù)，各類換臉軟件有很多，但不管換得有多逼真，都是無法突破刷臉支付的。

人臉識別，3D 技術(shù)和深度學(xué)習(xí)就無懈可擊嗎?

隨著人臉識別的發(fā)展，反人臉識別也在隨之發(fā)展，其中對于深度學(xué)習(xí)人臉識別系統(tǒng)的欺騙，一般是使用電子版的對抗樣本，主要用于檢驗系統(tǒng)的穩(wěn)定性。

但是這種方式只能攻擊線上人臉識別模型或 API，無法用于線下的真實人臉識別場景，不具有實際的“反人臉識別”效果，所以很多研究人員還是將目光放在了“外加設(shè)備”來對抗基于攝像頭的人臉識別。

2013 年 1 月，日本國立信息學(xué)研究所的日本研究人員創(chuàng)建了“隱私護(hù)目鏡”眼鏡，該眼鏡使用近紅外光使臉部下方的臉部無法被臉部識別軟件識別。

現(xiàn)在最新版本使用鈦金屬鏡架，反光材料和遮罩，利用角度和圖案吸收和反射背光源來破壞面部識別技術(shù)。

2016 年 12 月，芝加哥的一名定制眼鏡工匠斯科特·厄本(Scott Urban)發(fā)明了一種稱為“反射鏡”的反攝像頭和面部識別太陽鏡。它們反射紅外光和可選的可見光，使用戶面對相機(jī)的白色模糊感。

 

今年 8 月，來自莫斯科國立大學(xué)、華為莫斯科研究中心的研究者們也找到了針對 AI 識別人臉的新型攻擊方法，僅僅使用一張普通的打印紙就可以讓已經(jīng)廣泛用于手機(jī)、門禁和支付上的人臉識別系統(tǒng)突然變得不再靠譜。

在這一新研究中，科學(xué)家們只需用普通打印機(jī)打出一張帶有圖案的紙條貼在腦門上，就能讓目前業(yè)內(nèi)性能領(lǐng)先的公開 Face ID 系統(tǒng)識別出錯，這是首次有 AI 算法可以在現(xiàn)實世界中實現(xiàn)攻擊。

 

貼上紙條以后，系統(tǒng)會把 Person_1 識別成另外一些人「0000663」和「0000268」等。

此外，首先將刷臉應(yīng)用于商業(yè)化產(chǎn)品的蘋果也遭遇了不少刷臉攻擊。去年 11 月 3 日，蘋果公司發(fā)布了 iPhone X，并首次推出了刷臉解鎖技術(shù)。

與此同時，也引發(fā)了世界范圍內(nèi)的黑客角逐，意圖率先破解該公司具有未來感的最新技術(shù)。

僅僅一周，在世界另一端的黑客就聲稱，他們已經(jīng)成功復(fù)制了人臉，從而可以輕松解鎖任何人的 iPhone X，甚至于他們采用的技術(shù)可能會比安全研究人員所研究的方法更為簡捷。

“我們僅用 150 美元就制作出了破解 iPhone X 面部識別的面具”

越南網(wǎng)絡(luò)安全公司 Bkav 發(fā)布的博客文章和視頻顯示，他們使用 3D 打印塑料模具、硅膠、化妝品和簡單的剪紙所組合而成的面具，輕松騙過 iPhone X，破解了臉鎖。

盡管該破解過程還需要等待其他安全研究機(jī)構(gòu)的確認(rèn)，但是這一破解方法還是打破了iPhone X 最為昂貴的安全防護(hù)措施，特別值得一提的是，該越南安全公司的研究人員僅僅只用 150 美元就制作出了這種破解面具。

不過，迄今為止，這一破解還只是一個概念證明(proof-of-concept)，對于普通 iPhone 持有者而言，暫時不必慌張，因為該破解過程需要很長時間，花費(fèi)大量精力，且需要能夠接觸到 iPhone 持有者的臉，才能做出破解面具來。

同時，Bkav 在其博客文章中還直截了當(dāng)強(qiáng)調(diào)說：“蘋果的安全識別工作做得不好，臉鎖能夠被仿制的面具所欺騙，意味著它并非有效的安全防護(hù)機(jī)制。”

 

圖中第 1 行：特別加工區(qū)域;圖中第 2 行：2D 圖像，圖中第 3 行：硅樹脂鼻子;圖中第 4 行：3D 打印框架。

在 YouTube 上發(fā)布的視頻顯示，該公司一名員工把 iPhone X 前面架子上的布掀開，露出正對著 iPhone X 的面具，結(jié)果手機(jī)立即解鎖。

盡管該手機(jī)通過復(fù)雜的 3D 紅外線攝影記錄機(jī)主面部影像程序，并由人工智能驅(qū)動建模，研究人員仍舊能夠成功騙取解鎖，僅需通過制作相對簡單的面具：在根據(jù)要解鎖的機(jī)主臉部數(shù)字掃描進(jìn)行 3D 打印出來的塑料框架上，安裝一個雕刻好的硅膠材質(zhì)的鼻子，一對打印在紙上的二維眼睛和嘴唇。

不過，研究者也承認(rèn)，他們的技術(shù)需要對目標(biāo) iPhone 手機(jī)持有者臉部進(jìn)行詳細(xì)的測量或數(shù)字掃描。研究者還說，他們需要使用手持掃描儀對受試者臉部掃描五分鐘以上才行。

這就說明在實際運(yùn)用中，只有經(jīng)過精心策劃才能對目標(biāo)手機(jī)解鎖，而不是隨隨便一個 iPhone X 手機(jī)持有者就可能面臨自己手機(jī)被輕易解鎖的問題。

Deepfake 能成為萬能鑰匙嗎?

Deepfake 本質(zhì)上是一種使用 AI 深度學(xué)習(xí)，能夠?qū)⒁粡垐D片中人的臉換到其他人的圖片上的技術(shù)。

通過這種技術(shù)，我們可以創(chuàng)建一個非常逼真的“假”視頻或圖片，“換臉”因此得名。

前段時間，一款換臉 App“ZAO”就在一夜間火遍社交媒體，但也同時引發(fā)了侵權(quán)、隱私安全和信息安全的風(fēng)險。

當(dāng)時，支付寶就回應(yīng)稱：支付寶“刷臉支付”采用的是 3D 人臉識別技術(shù)，各類換臉軟件有很多，但不管換得有多逼真，都是無法突破刷臉支付的。

 

微信支付也支持人臉識別支付，微信也表示，微信的“刷臉支付”綜合使用了 3D、紅外、RGB 等多模態(tài)信息，可以有效抵御視頻、紙片、面具等的攻擊。

活體檢測能有效保證人臉識別被照片和面具欺騙的情況，所有現(xiàn)在我們在進(jìn)行各種安全認(rèn)證用到人臉識別時，都會讓用戶眨眨眼或者搖搖頭。

今年 8 月，《廈門晚報》報道了一則關(guān)于男友殺害女友后，在處理尸體以及逃跑過程中，他拿出女友的手機(jī)，想借用女友的身份在網(wǎng)上申請小額貸款。

他下載了某網(wǎng)貸 App，按步驟操作，拍攝女友的身份證上傳，把女友的尸體扶起來，對著手機(jī)攝像頭進(jìn)行“人臉識別”，但因系統(tǒng)提示要眨眼，他只好放棄。

隨后系統(tǒng)發(fā)現(xiàn)異常，即在 7 秒的“活體識別”環(huán)節(jié)，貸款申請人無任何眨眼反應(yīng)，而在語音驗證時，是一名男性的聲音，與貸款申請者性別不符，所以轉(zhuǎn)入人工審核。

工作人員發(fā)現(xiàn)，貸款申請人的照片以及活體識別視頻中頸部有棕紅色的勒痕，且雙眼失焦，面部有青紫色的瘀血，懷疑貸款申請人被害，趕緊向警方報案。

幾十年人臉識別發(fā)展，從特征提取到深度學(xué)習(xí)

最后，帶各位再一起回顧一下人臉識別發(fā)展的歷史。

2018 年 10 月，英國赫特福德大學(xué)與 GBG Plc 的研究者發(fā)布了一篇綜述論文，對人臉識別方法進(jìn)行了全面的梳理和總結(jié)，其中涵蓋各種傳統(tǒng)方法和如今主流的深度學(xué)習(xí)方法。

論文鏈接：https://arxiv.org/pdf/1811.00116.pdf

首個人臉識別算法誕生于七十年代初，盡管指紋識別和虹膜識別更加準(zhǔn)確，但是使用條件要求更高，比如，指紋識別需要用戶將手指按在傳感器上，虹膜識別需要用戶與相機(jī)靠得很近，語音識別則需要用戶大聲說話。

相對而言，現(xiàn)代人臉識別系統(tǒng)僅需要用戶處于相機(jī)的視野內(nèi)(假設(shè)他們與相機(jī)的距離也合理)。

這使得人臉識別成為了對用戶最友好的生物識別方法。這也意味著人臉識別的潛在應(yīng)用范圍更廣，因為它也可被部署在用戶不期望與系統(tǒng)合作的環(huán)境中，比如監(jiān)控系統(tǒng)中。

人臉識別系統(tǒng)通常由以下構(gòu)建模塊組成：

檢測。人臉檢測器用于尋找圖像中人臉的位置，如果有人臉，就返回包含每張人臉的邊界框的坐標(biāo)。

對齊。人臉對齊的目標(biāo)是使用一組位于圖像中固定位置的參考點(diǎn)來縮放和裁剪人臉圖像。

這個過程通常需要使用一個特征點(diǎn)檢測器來尋找一組人臉特征點(diǎn)，在簡單的 2D 對齊情況中，即為尋找最適合參考點(diǎn)的最佳仿射變換。

更復(fù)雜的 3D 對齊算法還能實現(xiàn)人臉正面化，即將人臉的姿勢調(diào)整到正面向前。

表征。在人臉表征階段，人臉圖像的像素值會被轉(zhuǎn)換成緊湊且可判別的特征向量，這也被稱為模板(template)。理想情況下，同一個主體的所有人臉都應(yīng)該映射到相似的特征向量。

匹配。在人臉匹配構(gòu)建模塊中，兩個模板會進(jìn)行比較，從而得到一個相似度分?jǐn)?shù)，該分?jǐn)?shù)給出了兩者屬于同一個主體的可能性。

 

在深度學(xué)習(xí)出現(xiàn)以前，人臉識別方法一般分為高維人工特征提取(例如：LBP, Gabor 等)和降維兩個步驟，代表性的降維方法有 PCA，LDA 等子空間學(xué)習(xí)方法和 LPP 等流行學(xué)習(xí)方法。

在深度學(xué)習(xí)方法流行之后，代表性方法為從原始的圖像空間直接學(xué)習(xí)判別性的人臉表示。

如今人臉識別方面最常用的一類深度學(xué)習(xí)方法是卷積神經(jīng)網(wǎng)絡(luò)(CNN)。

深度學(xué)習(xí)方法的主要優(yōu)勢是可用大量數(shù)據(jù)來訓(xùn)練，從而學(xué)到對訓(xùn)練數(shù)據(jù)中出現(xiàn)的變化情況穩(wěn)健的人臉表征。

這種方法不需要設(shè)計對不同類型的類內(nèi)差異(比如光照、姿勢、面部表情、年齡等)穩(wěn)健的特定特征，而是可以從訓(xùn)練數(shù)據(jù)中學(xué)到它們。

而其主要短板是它們需要使用非常大的數(shù)據(jù)集來訓(xùn)練，而且這些數(shù)據(jù)集中需要包含足夠的變化，從而可以泛化到未曾見過的樣本上。

但是現(xiàn)在已經(jīng)有一些包含大規(guī)模自然人臉圖像的數(shù)據(jù)集被公開，可被用來訓(xùn)練 CNN 模型。

 

除了學(xué)習(xí)判別特征，神經(jīng)網(wǎng)絡(luò)還可以降維，并可被訓(xùn)練成分類器或使用度量學(xué)習(xí)方法。CNN 被認(rèn)為是端到端可訓(xùn)練的系統(tǒng)，無需與任何其他特定方法結(jié)合。

用于人臉識別的 CNN 模型可以使用不同的方法來訓(xùn)練。其中之一是將該問題當(dāng)作是一個分類問題，訓(xùn)練集中的每個主體都對應(yīng)一個類別。

訓(xùn)練完之后，可以通過去除分類層并將之前層的特征用作人臉表征而將該模型用于識別不存在于訓(xùn)練集中的主體。在深度學(xué)習(xí)中，這些特征通常被稱為瓶頸特征(bottleneck features)。

在這第一個訓(xùn)練階段之后，該模型可以使用其他技術(shù)來進(jìn)一步訓(xùn)練，以為目標(biāo)應(yīng)用優(yōu)化瓶頸特征(比如使用聯(lián)合貝葉斯或使用一個不同的損失函數(shù)來微調(diào)該 CNN 模型)。

另一種學(xué)習(xí)人臉表征的常用方法是通過優(yōu)化配對的人臉或人臉三元組之間的距離度量來直接學(xué)習(xí)瓶頸特征。