2018年8月15日，由梆梆安全研究院編撰的《認(rèn)知安全白皮書》(以下簡稱“白皮書”)正式對外發(fā)布。梆梆安全是最早認(rèn)識到人工智能安全風(fēng)險(xiǎn)并展開認(rèn)知安全研究的公司之一，白皮書中首次明確提出認(rèn)知安全的定義：“認(rèn)知安全”是研究人工智能系統(tǒng)或人工智能系統(tǒng)控制的設(shè)備進(jìn)行有意識的智能行為、智力活動以及無意識被動行為時(shí)，獲取并應(yīng)用信息過程中的安全風(fēng)險(xiǎn)、安全理論、安全方法、安全技術(shù)及安全應(yīng)用組件和系統(tǒng)。

[[240479]]

　　智能源于感知

　　科學(xué)家們提出人工智能的初衷，是源于希望輔助人類工作、學(xué)習(xí)、生活。人類產(chǎn)生智慧的過程是通過不斷感知外界并不斷學(xué)習(xí)進(jìn)化，人工智能產(chǎn)生的機(jī)理亦然，通過后天的感知、學(xué)習(xí)、訓(xùn)練，逐步建立起一套系統(tǒng)的方法來獲得“知識”，建立“自我認(rèn)知”。

　　1956年，科學(xué)家們首次提出“人工智能”概念，點(diǎn)燃了人們對于人工智能的想象和期望。時(shí)至今日，歷經(jīng)六十余載的發(fā)展，人工智能已經(jīng)成為當(dāng)前最具顛覆性的技術(shù)，人工智能技術(shù)的進(jìn)步能夠解決當(dāng)前的很多問題，比如疾病診療、智能安防、智能家電、個(gè)人助理、自動駕駛、車牌識別、智能教育、智能醫(yī)療、智能金融、智能電商零售……大概沒有人會否認(rèn)，我們正處于人類歷史上科技變革最為迅猛的時(shí)期，無論是在科幻電影里還是在現(xiàn)實(shí)世界中，人類險(xiǎn)被自己創(chuàng)造的文明戰(zhàn)勝都不再是一個(gè)新鮮題材，而代表人工智能尖端水平的AlphaGo戰(zhàn)勝李世石，再次向人們宣告，科幻不再遙不可及。

　　白皮書回顧分析了人工智能的發(fā)展歷程、發(fā)展態(tài)勢，從國內(nèi)外法律法規(guī)環(huán)境分析了當(dāng)前人工智能發(fā)展的要求及趨勢。從智能家居、智能交通、智能教育與醫(yī)療、智能金融與電商零售等諸多人工智能的應(yīng)用領(lǐng)域剖析了人工智能首要解決的問題，例如可以提升疾病診斷效率、解放勞動力等……不可否認(rèn)，我們身處人工智能技術(shù)革新的浪潮中，但是無論政策、環(huán)境、法律倫理都給人工智能的發(fā)展提出了諸多挑戰(zhàn)，如何確保人工智能安全、可靠、可控發(fā)展成為當(dāng)前發(fā)展人工智能亟需解決的問題。

　　威脅源于未知

　　如果人工智能的發(fā)展不受人類控制，它可能成為人類文明的終結(jié)者。

　　——霍金

　　霍金曾經(jīng)多次在公開場合三令五申人工智能可能給人類文明帶來的威脅，他曾在演講中提及“強(qiáng)大的人工智能的崛起，要么是人類歷史上最好的事，要么是最糟的。雖然是好是壞我們?nèi)圆淮_定。但應(yīng)竭盡所能，確保其未來發(fā)展對我們有利。”我們正在見證人工智能的發(fā)展，享受人工智能帶來的科技成果時(shí)，也同時(shí)見證人工智能向人類發(fā)起的挑戰(zhàn)：

　　1978年日本廣島切割機(jī)器人異常;

　　1989年機(jī)器人棋手向金屬棋盤釋放強(qiáng)電流;

　　2015年德國大眾汽車組裝機(jī)器人“殺人”事件;

　　2016年微軟人工智能聊天機(jī)器人Tay一天被“教壞”;

　　2017年Facebook人工智能聊天機(jī)器人Bob和Alice“自創(chuàng)語言”……

　　從這些事件中不難發(fā)現(xiàn)，機(jī)器人并不能完全按照人類預(yù)期的規(guī)劃發(fā)展。白皮書通過分析人工智能在網(wǎng)絡(luò)攻擊和安全防護(hù)中的應(yīng)用，指出當(dāng)前人工智能在高速增長時(shí)面臨的問題：人工智能算法黑箱，模型缺乏可解釋性;在網(wǎng)絡(luò)安全領(lǐng)域使用分類學(xué)習(xí)算法時(shí)需要大量準(zhǔn)確標(biāo)記的數(shù)據(jù)，但是實(shí)際情況難以滿足;模型與訓(xùn)練環(huán)境強(qiáng)相關(guān)，導(dǎo)致人工智能安全系統(tǒng)部署之初通常難以達(dá)到理想效果;海量數(shù)據(jù)關(guān)聯(lián)導(dǎo)致模型極易被攻擊者污染;攻防手段持續(xù)更新也給人工智能的健康發(fā)展提出了更高的要求。

　　從人工智能本質(zhì)看未來發(fā)展

　　深度學(xué)習(xí)驅(qū)動了人工智能的大爆發(fā)，機(jī)器學(xué)習(xí)用算法真正解析數(shù)據(jù)，不斷學(xué)習(xí)，進(jìn)而對實(shí)際發(fā)生的事情做出判斷和預(yù)測?？v觀近年來人工智能網(wǎng)絡(luò)攻擊，人工智能的風(fēng)險(xiǎn)主要來自于兩個(gè)方面：1、針對人工智能算法特點(diǎn)的攻擊;2、人工智能算法在軟件實(shí)現(xiàn)過程面臨的風(fēng)險(xiǎn)。

　　提及人工智能網(wǎng)絡(luò)攻擊，就不得不提“對抗樣本”。在人為設(shè)計(jì)的圖像、文本、語音中加入微小的擾動，這個(gè)過程用戶無法感知而機(jī)器卻能接受并作出錯誤操作，其結(jié)果證明這類行為可以很容易騙過人工智能。機(jī)器在這些樣本上會產(chǎn)生戲劇性的錯誤也是當(dāng)前人工智能面臨的主要風(fēng)險(xiǎn)與威脅，例如，微軟上線的聊天機(jī)器人Tay在“別有用心”的用戶“訓(xùn)練”下，開始發(fā)表帶有性別歧視和種族歧視的言論，這一事件正是由于所輸入的樣本數(shù)據(jù)被污染后，導(dǎo)致人工智能系統(tǒng)被訓(xùn)練偏離正常運(yùn)算目標(biāo)，最終產(chǎn)生失焦的運(yùn)算行為。事實(shí)上，當(dāng)前針對人工智能的攻擊有很多都是通過數(shù)據(jù)污染和模型竊取實(shí)現(xiàn)的。

　　白皮書從輸入感知安全風(fēng)險(xiǎn)與威脅、數(shù)據(jù)隱私泄露風(fēng)險(xiǎn)、信息獲取安全風(fēng)險(xiǎn)與威脅、知識使用安全風(fēng)險(xiǎn)與威脅等不同維度剖析了人工智能面臨的風(fēng)險(xiǎn)與隱患。

　　安全之本

　　網(wǎng)絡(luò)安全的本質(zhì)是攻防對抗，人工智能的本質(zhì)是程序，程序是未來智能世界的核心，沒有程序就沒有智能。我們一直強(qiáng)調(diào)一個(gè)觀點(diǎn)，人工智能的產(chǎn)生依賴于程序，依賴于軟件，依賴于數(shù)據(jù)。在人工智能發(fā)展的過程中，數(shù)據(jù)是非常重要和關(guān)鍵的基礎(chǔ)。白皮書從人工智能認(rèn)知安全的本質(zhì)出發(fā)，提出數(shù)據(jù)-信息-知識的3層立體認(rèn)知安全防護(hù)方法。

　　在輸入感知安全防護(hù)上，白皮書提出采取對抗樣本安全防護(hù)和樣本預(yù)處理攻擊防護(hù)等認(rèn)知安全防護(hù)策略;在數(shù)據(jù)隱私安全防護(hù)上，白皮書提出針對模型訓(xùn)練，可以采用匿名化、差分隱私保護(hù)等認(rèn)知安全技術(shù);在信息獲取安全防護(hù)上，一方面通過自適應(yīng)的PPDR模型，快速檢測攻擊并響應(yīng)，另一方面采用預(yù)測向量為前k個(gè)類別和正則化等認(rèn)知安全技術(shù)保證訓(xùn)練出的模型、知識的安全與泛化能力;在更高維度的知識使用安全防護(hù)上，通過權(quán)限控制、集成學(xué)習(xí)、置信度舍入保證人工智能訓(xùn)練出模型、知識使用過程中的安全。

　　不忘初心 方得始終

　　千里之堤毀于蟻穴，我們必須正視人工智能給我們帶來的風(fēng)險(xiǎn)與威脅，不斷修正。梆梆安全將其研究與探索成果與大家分享也是希望能夠集眾家之所長，共同把握未來的技術(shù)發(fā)展方向，讓人工智能回歸其初衷，真正服務(wù)于人類。

白皮書下載地址：

https://www.bangcle.com/upload/file/20180814/15342423548376.pdf