譯者 | 朱先忠

審校 | 孫淑娟

工作區(qū)安全可能是公司中一種費(fèi)力又費(fèi)時(shí)的資金流失渠道，特別是對(duì)于處理敏感信息或擁有數(shù)千名員工的多個(gè)辦公室的公司而言。電子鑰匙是安全系統(tǒng)自動(dòng)化的標(biāo)準(zhǔn)選擇之一，但實(shí)際上，仍然存在諸如丟失、遺忘或偽造鑰匙等不少缺點(diǎn)。

生物識(shí)別技術(shù)是傳統(tǒng)安全措施的可靠替代品，因?yàn)樗鼈兇砹恕澳闶鞘裁础鄙矸蒡?yàn)證的概念。這意味著，用戶可以使用他們獨(dú)特的特征，如指紋、虹膜、聲音或面部，來(lái)證明他們能夠進(jìn)入某個(gè)空間。使用生物特征作為身份驗(yàn)證方法可以確保密鑰不會(huì)丟失、遺忘或偽造。因此，在本文中，我們將談?wù)勎覀冊(cè)谶吘壣锾卣鞣矫娴拈_發(fā)經(jīng)驗(yàn)，這是邊緣設(shè)備、人工智能和生物特征的組合，以實(shí)現(xiàn)一個(gè)基于人工智能技術(shù)的安全監(jiān)控系統(tǒng)。

什么是邊緣生物特征？

首先，讓我們來(lái)理清：什么是邊緣AI？在傳統(tǒng)的人工智能體系結(jié)構(gòu)中，常見的做法是在云中部署模型和數(shù)據(jù)，與操作設(shè)備或硬件傳感器分離。這迫使我們將云服務(wù)器保持在適當(dāng)?shù)臓顟B(tài)，保持穩(wěn)定的互聯(lián)網(wǎng)連接，并為云服務(wù)付費(fèi)。如果在互聯(lián)網(wǎng)連接中斷的情況下無(wú)法訪問(wèn)遠(yuǎn)程存儲(chǔ)，那么，整個(gè)AI應(yīng)用程序?qū)⒆兊煤翢o(wú)用處。

“相比之下，邊緣AI的理念是在設(shè)備上部署人工智能應(yīng)用程序，離用戶更近。邊緣設(shè)備可能有自己的GPU，允許我們?cè)谠O(shè)備上就地處理輸入。

這提供了許多優(yōu)點(diǎn)，例如由于所有操作都是在本地設(shè)備上執(zhí)行的，所以延遲減少，總體成本和功耗也變得更低。此外，由于設(shè)備可以輕松地從一個(gè)位置移動(dòng)到另一個(gè)位置，因此整個(gè)系統(tǒng)更具便攜性。

鑒于我們不需要大型生態(tài)系統(tǒng)，與依賴穩(wěn)定互聯(lián)網(wǎng)連接的傳統(tǒng)安全系統(tǒng)相比，帶寬需求也較低。邊緣設(shè)備甚至可以在連接關(guān)閉的情況下運(yùn)行，因?yàn)閿?shù)據(jù)可以存儲(chǔ)在設(shè)備的內(nèi)部存儲(chǔ)器中。這使得整個(gè)系統(tǒng)設(shè)計(jì)更加可靠和穩(wěn)健?！?/p>

——丹尼爾·利亞多夫（MobiDev的Python工程師）

唯一值得注意的缺陷是，所有處理都必須在短時(shí)間內(nèi)在設(shè)備上完成，硬件組件必須足夠強(qiáng)大，并且必須是最新的，才能實(shí)現(xiàn)此功能。

對(duì)于人臉或語(yǔ)音識(shí)別等生物特征認(rèn)證任務(wù)，安全系統(tǒng)的快速響應(yīng)和可靠性至關(guān)重要。因?yàn)槲覀兿Ｍ_保無(wú)縫的用戶體驗(yàn)和適當(dāng)?shù)陌踩?，所以依靠邊緣設(shè)備可以帶來(lái)這些好處。

生物特征信息，如員工的臉和聲音，似乎足夠安全，因?yàn)樗鼈兇砹松窠?jīng)網(wǎng)絡(luò)可以識(shí)別的獨(dú)特模式。此外，這種類型的數(shù)據(jù)更容易收集，因?yàn)榇蠖鄶?shù)企業(yè)在其CRM或ERP中已經(jīng)有員工的照片。這樣，你還可以通過(guò)收集你的員工的指紋樣本來(lái)避免任何隱私問(wèn)題。

結(jié)合邊緣技術(shù)，我們可以為工作區(qū)入口創(chuàng)建靈活的AI安全攝像頭系統(tǒng)。下面，我們將根據(jù)我們自己公司的開發(fā)經(jīng)驗(yàn)，并借助邊緣生物特征，來(lái)討論如何實(shí)現(xiàn)這樣的一個(gè)系統(tǒng)。

人工智能監(jiān)控系統(tǒng)設(shè)計(jì)

該項(xiàng)目的主要目的是在辦公室入口處對(duì)員工進(jìn)行身份驗(yàn)證，只需看一眼攝像機(jī)即可。計(jì)算機(jī)視覺模型能夠識(shí)別一個(gè)人的臉，將其與之前獲得的照片進(jìn)行比較，然后控制門的自動(dòng)打開。作為一項(xiàng)額外措施，還將添加語(yǔ)音驗(yàn)證支持，以避免以任何方式欺騙系統(tǒng)。整個(gè)流水線由4個(gè)模型組成，它們分別負(fù)責(zé)執(zhí)行從人臉檢測(cè)到語(yǔ)音識(shí)別的各項(xiàng)不同任務(wù)。

所有這些措施都是通過(guò)一個(gè)用作視頻/音頻輸入傳感器的單一器件以及一個(gè)用于發(fā)送鎖止/解鎖命令的控制器來(lái)完成的。作為邊緣設(shè)備，我們選擇使用NVIDIA公司的??Jetson Xavier??。之所以作出這一選擇，主要是因?yàn)榇嗽O(shè)備使用了GPU內(nèi)存（這對(duì)于加速深入學(xué)習(xí)項(xiàng)目的推理至關(guān)重要），而且NVIDIA公司提供的Jetpack–SDK也高度可用——支持在基于Python3環(huán)境的設(shè)備上進(jìn)行編碼。因此，沒有嚴(yán)格的必要將DS模型轉(zhuǎn)換為另一種格式，幾乎所有的代碼庫(kù)都可以由DS工程師根據(jù)設(shè)備進(jìn)行調(diào)整；而且，也不需要從一種編程語(yǔ)言重寫為另一種語(yǔ)言形式。

AI安全系統(tǒng)工作流程

根據(jù)上面的描述，整個(gè)過(guò)程遵循如下流程：

1. 將輸入圖像提供給人臉檢測(cè)模型以查找用戶。

2. 人臉識(shí)別模型通過(guò)提取向量并將其與現(xiàn)有員工照片進(jìn)行比較來(lái)進(jìn)行推斷，以確定是否是同一個(gè)人。

3. 另一個(gè)模型是通過(guò)語(yǔ)音樣本來(lái)驗(yàn)證特定人的語(yǔ)音。

4. 此外，采用語(yǔ)音到文本反欺騙方案以防止任何類型欺騙技術(shù)。

接下來(lái)，讓我們討論每一個(gè)實(shí)現(xiàn)環(huán)節(jié)，并詳細(xì)說(shuō)明訓(xùn)練和數(shù)據(jù)收集過(guò)程。

數(shù)據(jù)采集

在深入研究系統(tǒng)模塊之前，一定要注意所使用的數(shù)據(jù)庫(kù)。我們的系統(tǒng)依賴于為用戶提供所謂的參考或基本事實(shí)數(shù)據(jù)。該數(shù)據(jù)目前包括每個(gè)用戶的預(yù)計(jì)算人臉和語(yǔ)音矢量，看起來(lái)像一個(gè)數(shù)字?jǐn)?shù)組。系統(tǒng)還存儲(chǔ)成功登錄的數(shù)據(jù)，以備日后重新訓(xùn)練使用。鑒于此，我們選擇了最輕量級(jí)的解決方案SQLite DB。有了這個(gè)數(shù)據(jù)庫(kù)，所有數(shù)據(jù)都存儲(chǔ)在一個(gè)易于瀏覽和備份的文件中，而且數(shù)據(jù)科學(xué)工程師的學(xué)習(xí)時(shí)間更短。

因?yàn)槊娌孔R(shí)別需要所有可能進(jìn)入辦公室的員工的照片，所以我們使用存儲(chǔ)在公司數(shù)據(jù)庫(kù)中的面部照片。當(dāng)人們使用面部驗(yàn)證來(lái)開門時(shí)，放置在辦公室門口的Jetson設(shè)備也收集了面部數(shù)據(jù)樣本。

最初語(yǔ)音數(shù)據(jù)不可用，所以我們組織采集數(shù)據(jù)，要求人們錄制20秒的片段。然后，我們使用語(yǔ)音驗(yàn)證模型來(lái)獲取每個(gè)人的矢量，并將其存儲(chǔ)在數(shù)據(jù)庫(kù)中。你可以使用任何音頻輸入設(shè)備采集語(yǔ)音樣本。在我們的項(xiàng)目中，我們使用便攜手機(jī)和內(nèi)置麥克風(fēng)的網(wǎng)絡(luò)攝像頭來(lái)錄制聲音。

面部檢測(cè)

人臉檢測(cè)可以確定給定場(chǎng)景中是否存在人臉的問(wèn)題。如果有，模型應(yīng)該給出每個(gè)面部的坐標(biāo)，以便您知道每個(gè)臉在圖像上的位置，包括面部標(biāo)志。此信息很重要，因?yàn)槲覀冃枰谶吔缈蛑薪邮找粋€(gè)面部，以便在下一步中運(yùn)行人臉識(shí)別。

對(duì)于人臉檢測(cè)，我們使用了??RetinaFace模型??和InsightFace項(xiàng)目中的MobileNet關(guān)鍵組件。該模型輸出圖像上每個(gè)檢測(cè)到的人臉的四個(gè)坐標(biāo)以及5個(gè)人臉標(biāo)記。事實(shí)上，以不同角度或使用不同光學(xué)元件拍攝的圖像可能會(huì)因變形而改變面部的比例。這可能會(huì)導(dǎo)致模型難以識(shí)別此人。

為了滿足這一需求，面部標(biāo)志被用來(lái)進(jìn)行變形，這是一種減少同一個(gè)人的這些圖像之間可能存在的差異的技術(shù)。因此，獲得的裁剪面和扭曲面看起來(lái)更相似，提取的臉向量也更準(zhǔn)確。

面部識(shí)別

下一步是人臉識(shí)別。在這個(gè)階段，模型必須從給定的圖像（即獲得的圖像）中識(shí)別出人。識(shí)別是在參考（地面真實(shí)數(shù)據(jù)）的幫助下完成的。因此，在這里，模型將通過(guò)測(cè)量?jī)蓚€(gè)向量之間差異的距離分?jǐn)?shù)來(lái)比較兩個(gè)向量，以判斷站在相機(jī)前的是不是同一個(gè)人。該評(píng)估算法將與我們所擁有的一名員工的初始照片進(jìn)行比較。

人臉識(shí)別是使用??SE-ResNet-50架構(gòu)??的模型完成的。為了使模型結(jié)果更加穩(wěn)健，在獲得人臉矢量輸入之前，圖像將被翻轉(zhuǎn)一下來(lái)進(jìn)行平均化處理。此時(shí)，用戶標(biāo)識(shí)流程如下：

人臉和語(yǔ)音驗(yàn)證流程

語(yǔ)音驗(yàn)證

接下來(lái)，我們轉(zhuǎn)到語(yǔ)音驗(yàn)證環(huán)節(jié)。此步驟應(yīng)該完成驗(yàn)證兩個(gè)音頻是否包含同一個(gè)人的聲音。你可能會(huì)問(wèn)，為什么不考慮語(yǔ)音識(shí)別呢？答案是，現(xiàn)在面部識(shí)別的效果比語(yǔ)音好得多，圖像比語(yǔ)音能提供更多的信息來(lái)識(shí)別用戶。為了避免出現(xiàn)通過(guò)面部識(shí)別用戶A而通過(guò)語(yǔ)音識(shí)別用戶B，系統(tǒng)只采用了面部識(shí)別方案。

基本邏輯與人臉識(shí)別階段幾乎相同，因?yàn)槲覀兺ㄟ^(guò)向量之間的距離來(lái)比較兩個(gè)向量，除非我們找到相似的向量。唯一的區(qū)別是，我們已經(jīng)有了一個(gè)關(guān)于誰(shuí)是試圖從前面的人臉識(shí)別模塊中通過(guò)的人的假設(shè)。

在語(yǔ)音驗(yàn)證模塊的積極開發(fā)過(guò)程中，出現(xiàn)了許多問(wèn)題。

之前采用Jasper架構(gòu)的型號(hào)無(wú)法驗(yàn)證同一個(gè)人從不同話筒上錄制的錄音。因此，我們通過(guò)使用??ECAPA-TDNN架構(gòu)???解決了這個(gè)問(wèn)題，該架構(gòu)在??SpeechBrain框架的VoxCeleb2??數(shù)據(jù)集上進(jìn)行了訓(xùn)練，它在驗(yàn)證員工方面做得更好。

然而，音頻片段仍然需要一些預(yù)處理。目的是通過(guò)保留聲音和減少當(dāng)前背景噪音來(lái)提高音頻錄制質(zhì)量。然而，所有測(cè)試技術(shù)都嚴(yán)重影響了語(yǔ)音驗(yàn)證模型的質(zhì)量。很可能，即使是最輕微的降噪也會(huì)改變錄音中的語(yǔ)音音頻特性，因此模型將無(wú)法正確驗(yàn)證此人。

此外，我們還調(diào)查了音頻錄制的長(zhǎng)度以及用戶應(yīng)該發(fā)音多少個(gè)單詞。作為這次調(diào)查的結(jié)果，我們提出了一些建議。結(jié)論是：這種錄音的持續(xù)時(shí)間應(yīng)至少為3秒，需要朗讀大約8個(gè)單詞。

語(yǔ)音到文本反欺騙

最后一個(gè)安全方面的措施是，系統(tǒng)應(yīng)用了Nemo框架中基于??QuartzNet??構(gòu)建的語(yǔ)音到文本反欺騙。該模型提供了良好的用戶體驗(yàn)，適用于實(shí)時(shí)場(chǎng)景。要衡量一個(gè)人所說(shuō)的與系統(tǒng)期望的接近程度，需要計(jì)算他們之間的Levenshtein距離。

獲取員工的照片以欺騙面部驗(yàn)證模塊是一項(xiàng)可以實(shí)現(xiàn)的任務(wù)，同時(shí)還可以錄制語(yǔ)音樣本。語(yǔ)音到文本反欺騙不包括入侵者試圖使用授權(quán)人員的照片和音頻進(jìn)入辦公室的場(chǎng)景。這個(gè)想法很簡(jiǎn)單：當(dāng)每個(gè)人驗(yàn)證自己時(shí)，他們會(huì)說(shuō)出系統(tǒng)給出的短語(yǔ)。短語(yǔ)由一組隨機(jī)選擇的單詞組成。雖然短語(yǔ)中的單詞數(shù)量并不多，但實(shí)際可能的組合數(shù)量是相當(dāng)巨大的。應(yīng)用隨機(jī)生成的短語(yǔ)，我們消除了欺騙系統(tǒng)的可能性，因?yàn)樗枰跈?quán)用戶說(shuō)出大量錄制的短語(yǔ)。擁有一張用戶的照片不足以欺騙具有此保護(hù)的AI安全系統(tǒng)。

邊緣生物特征識(shí)別系統(tǒng)的優(yōu)點(diǎn)

此時(shí)，我們的邊緣生物識(shí)別系統(tǒng)讓用戶遵循一個(gè)簡(jiǎn)單的操作流程，這需要他們說(shuō)出一個(gè)隨機(jī)生成的短語(yǔ)來(lái)解鎖門。此外，通過(guò)人臉檢測(cè)，我們?yōu)檗k公室入口提供人工智能監(jiān)控服務(wù)。

語(yǔ)音驗(yàn)證和語(yǔ)音到文本反欺騙模塊

“通過(guò)添加多個(gè)邊緣設(shè)備，系統(tǒng)經(jīng)輕松修改即可擴(kuò)展應(yīng)用到不同的場(chǎng)景中。與普通計(jì)算機(jī)相比，我們可以通過(guò)網(wǎng)絡(luò)直接配置Jetson，通過(guò)GPIO接口與低級(jí)設(shè)備建立連接，并很容易用新硬件進(jìn)行升級(jí)。我們還可以與任何具有web API的數(shù)字安全系統(tǒng)集成。

但此方案的主要好處在于，我們可以直接從設(shè)備收集數(shù)據(jù)來(lái)改進(jìn)系統(tǒng)，因?yàn)樵谌肟谔幨占瘮?shù)據(jù)似乎非常方便，不存在任何特定的中斷。”

——丹尼爾·利亞多夫（MobiDev的Python工程師）

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計(jì)算機(jī)教師，自由編程界老兵一枚。

原文標(biāo)題：??Developing AI Security Systems With Edge Biometrics??，作者：Dmitriy Kisil