1.人工智能發(fā)展軌跡

人工智能（Aritificial Intelligene）的概念在1956年，約翰·麥卡錫在達(dá)茅斯學(xué)院夏季學(xué)術(shù)研討會上首次提出之前，人類已經(jīng)在機(jī)器替代人類從事繁重、重復(fù)勞動的道路上不斷地探索。

1882年2月，尼古拉·特斯拉完成了困擾其5年的交流電發(fā)電機(jī)設(shè)想，欣喜若狂地感嘆道“從此之后人類不再是重體力勞動的奴役，我的機(jī)器將解放他們，全世界都將如此”。

1936年，為證明數(shù)學(xué)中存在不可判定命題，艾倫·圖靈提出“圖靈機(jī)”的設(shè)想，1948年在論文《 INTELLIGENT MACHINERY》中描繪了聯(lián)結(jié)主義的大部分內(nèi)容，緊接著在1950年發(fā)表《COMPUTING MACHINERY AND INTELLIGENCE》，提出了著名的“圖靈測試”。同年，馬文·明斯基與其同學(xué)鄧恩·埃德蒙建造了世界上第一臺神經(jīng)網(wǎng)絡(luò)計算機(jī)。

1955年馮·諾伊曼接受了耶魯大學(xué)西里曼講座的邀請，講稿內(nèi)容后來匯總成書《THE COMPUTER AND THE BRAIN》。

人工智能自1956年提出到今天，經(jīng)歷了三次發(fā)展高潮。

第一次發(fā)展高潮：1956年~1980年，以專家系統(tǒng)、經(jīng)典機(jī)器學(xué)習(xí)為代表的符號主義（Symbolism）占據(jù)統(tǒng)治地位。也被稱之為第一代人工智能，符號主義提出基于知識和經(jīng)驗的推理模型來模擬人類的理性智能行為，像推理、規(guī)劃、決策等。因此在機(jī)器里建立知識庫和推理機(jī)制來模擬人類的推理和思考行為。

符號主義最具有代表性的成果是1997年5月IBM國際象棋程序深藍(lán)打敗世界冠軍卡斯帕羅夫，成功要素有三個：第一個要素是知識和經(jīng)驗，深藍(lán)分析700000盤人類大師下過的棋局及全部的5-6只殘局，總結(jié)成為下棋的規(guī)則。

然后通過大師和機(jī)器之間的對弈，調(diào)試評價函數(shù)中的參數(shù)，充分吸收大師的經(jīng)驗。第二個要素是算法，深藍(lán)使用阿爾法-貝塔剪枝算法，速度很快。第三個要素是算力，IBM當(dāng)時用RS/6000SP2機(jī)器，每秒能夠分析2億步，平均每秒鐘能夠往前預(yù)測8-12步。

符號主義的優(yōu)勢是能夠模仿人類的推理和思考的過程，與人類思考問題過程一致，且可以舉一反三，因此具有可解釋性。但符號主義也存在著非常嚴(yán)重的缺陷，一是專家知識十分稀缺和昂貴，二是專家知識需要通過人工編程輸入到機(jī)器里面，費(fèi)時費(fèi)力，三是有很多知識是很難表達(dá)，比如中醫(yī)專家號脈等經(jīng)驗很難表達(dá)，因此符號主義的應(yīng)用范圍非常有限。

第二次發(fā)展高潮：1980年~1993年，以符號主義和連接主義（Connectionism）為代表；

第三次發(fā)展高潮：1993年~1996年，深度學(xué)習(xí)借助算力和數(shù)據(jù)大獲成功，連接主義變得炙手可熱；

深度學(xué)習(xí)通過深度神經(jīng)網(wǎng)絡(luò)的模型模擬人類的感知，如視覺、聽覺、觸覺等。深度學(xué)習(xí)有兩個優(yōu)點：第一個優(yōu)點是不需要領(lǐng)域?qū)＜抑R，技術(shù)門檻低；第二個優(yōu)點是升級網(wǎng)絡(luò)規(guī)模越大，能夠處理的數(shù)據(jù)越大。

深度學(xué)習(xí)一個最典型的例子是圍棋程序。在2015年10月之前，用符號主義的方法，即知識驅(qū)動的方法做出來的圍棋程序，最高達(dá)到業(yè)余5段的水平。到了2015年10月份，圍棋程序打敗了歐洲的冠軍，到2016年3月份打敗了世界冠軍。到2017年10月份，AlphaGo元打敗了AlphaGo，AlphaGo元利用了深度學(xué)習(xí)，使得圍棋程序的水平實現(xiàn)了三級跳，從業(yè)余跳到專業(yè)水平，又從專業(yè)水平到世界冠軍，又從世界冠軍到超過世界冠軍。

AlphaGo兩年實現(xiàn)了三級跳，成功主要來自于三個方面：大數(shù)據(jù)，算法，算力。AlphaGo學(xué)習(xí)了3000萬盤已有的棋局，自己與自己又下了3000萬盤，一共6000萬盤棋局，采用蒙特卡羅樹搜索、強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)等算法，一共用了1202個CPU和280個GPU來計算。

深度學(xué)習(xí)也有很大的局限性，如不可解釋、不安全、不易泛化、需要大量的樣本等。比如一張人臉的圖片加一點修改后可能被識別成狗，為什么會出現(xiàn)這種情況，人類無法理解，這就是不可解釋性。

2016年，以強(qiáng)化學(xué)習(xí)為代表的行為主義（Actionism）在AlphaZero橫空出世之后大獲關(guān)注，更是被譽(yù)為通向通用人工智能的必經(jīng)之路。

以邏輯推理為代表的符號主義以知識驅(qū)動智能，以深度學(xué)習(xí)為代表的連接主義以數(shù)據(jù)驅(qū)動智能，都存在很大的缺陷，應(yīng)用范圍受限。

以強(qiáng)化學(xué)習(xí)為代表的行為主義綜合利用知識、數(shù)據(jù)、算法和算力四個要素，將人腦的反饋、橫向連接、稀疏放電、注意力機(jī)制、多模態(tài)、記憶等機(jī)制引入，有望克服前兩代人工智能的缺陷，獲得更廣泛的應(yīng)用。

2.人腦工作的幾個機(jī)制

【預(yù)測與反饋機(jī)制】

大腦通過一段時間的生活，觀察世界并建立記憶模型；日常生活中，大腦都會自動地在潛意識中對照之前的記憶模型并且預(yù)測下一步將發(fā)生什么。當(dāng)察覺到了一個和預(yù)測的情況不符合的時候就會引起大腦的反饋。

腦細(xì)胞之所以能夠進(jìn)行信息傳遞，是因為它們擁有神奇的觸手——樹突和軸突。憑借著短短的樹突，腦細(xì)胞可以接受由其他腦細(xì)胞傳遞過來的信息，而憑借著長長的軸突，腦細(xì)胞又會把信息傳遞給其他腦細(xì)胞（如下圖所示）。

信息在腦細(xì)胞之間不斷地傳遞，便形成了人類的感覺和想法。而整個大腦，就是由腦細(xì)胞相互連接而成的一張大網(wǎng)，如下圖所示：

在機(jī)器學(xué)習(xí)領(lǐng)域中，為了得到這樣一個人工神經(jīng)網(wǎng)絡(luò)，首先，要規(guī)定一個神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，該網(wǎng)絡(luò)中有多少個神經(jīng)元，神經(jīng)元之間如何連接。接下來，需要定義一個誤差函數(shù)（error function）。誤差函數(shù)用來評估這個網(wǎng)絡(luò)目前表現(xiàn)如何以及應(yīng)該如何調(diào)整其中的神經(jīng)元連接來減少誤差。突觸強(qiáng)度決定神經(jīng)活動，神經(jīng)活動決定網(wǎng)絡(luò)輸出，網(wǎng)絡(luò)輸出決定網(wǎng)絡(luò)誤差。

當(dāng)前，“反向傳播”（back propagation）是機(jī)器學(xué)習(xí)領(lǐng)域最常用、最成功的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法。用反向傳播訓(xùn)練的網(wǎng)絡(luò)在最近的機(jī)器學(xué)習(xí)浪潮中占據(jù)著中流砥柱的地位，在語音和圖像識別、語言翻譯等方面取得不錯的效果。

同時也推動了無監(jiān)督學(xué)習(xí)（unsupervised learning）的進(jìn)步，在圖像和語音生成、語言建模和一些高階預(yù)測任務(wù)中已不可或缺。與強(qiáng)化學(xué)習(xí)互相配合，反向傳播能完成許多諸如精通雅達(dá)利游戲，在圍棋和撲克牌上戰(zhàn)勝人類頂尖選手等控制任務(wù)（control problems）。

反向傳播算法將誤差信號（error signals）送入反饋連接（feedback connections），幫助神經(jīng)網(wǎng)絡(luò)調(diào)節(jié)突觸強(qiáng)度，在監(jiān)督學(xué)習(xí)（supervised learning）領(lǐng)域用得非常普遍。但大腦中的反饋連接似乎有著不同的作用，且大腦的學(xué)習(xí)大部分都是無監(jiān)督學(xué)習(xí)。因此，反向傳播算法能否解釋大腦的反饋機(jī)制？當(dāng)前還沒有確定性答案。

【腦內(nèi)連接】

人腦神經(jīng)元間特殊的連接方式是研究人腦與眾不同的重要方向。核磁共振成象是這個研究的一種關(guān)鍵的工具，這種技術(shù)可以在不開顱骨的前提下，將神經(jīng)元延伸出的連接不同腦區(qū)的長纖維可視化。這些連接像電線一樣在神經(jīng)元間傳遞電信號。所有這些連接合在一起被稱為連接組，它能為我們研究大腦如何處理信息這個問題提供線索。

假設(shè)每個神經(jīng)細(xì)胞與其他所有神經(jīng)細(xì)胞相連，這種一對多的方式構(gòu)成的連接組是最高效的。但這種模式需要大量的空間和能量來容納所有的連接并維持其正常運(yùn)轉(zhuǎn)，因此是肯定行不通的。另一種模式為一對一的連接，即每個神經(jīng)元僅與其它單個神經(jīng)元相連。這種連接難度更小，但同時效率也更低：信息必須像踩著一塊一塊的墊腳石一樣穿過大量的神經(jīng)細(xì)胞才能從A點到達(dá)B點。

“現(xiàn)實中的生命處于二者之間，”特拉維夫大學(xué)的Yaniv Assaf說道，他在《自然·神經(jīng)科學(xué)》上發(fā)表了一項關(guān)于123種哺乳動物連接組的調(diào)查。此團(tuán)隊發(fā)現(xiàn)不同物種的大腦中，信息從一個位置到達(dá)另一個位置所需要的墊腳石的數(shù)量是大致相等的，而且采用的連接方式是相似的。但不同物種間腦內(nèi)連接布局實現(xiàn)的方式卻存在差異。對于有著少數(shù)連通大腦兩個半球的長距離連接的物種，每一個腦半球中往往會有更多較短的連接，腦半球中鄰近的腦區(qū)會頻繁交流。

【記憶】

人類大腦內(nèi)在數(shù)十億個神經(jīng)細(xì)胞，它們相互之間通過神經(jīng)突觸相互影響，形成極其復(fù)雜的相互聯(lián)系。記憶就是腦神經(jīng)細(xì)胞之間的相互呼叫作用，其中有些相互呼叫作用所維持時間是短暫的，有些是持久的，而還有一些介于兩者之間。

腦神經(jīng)元之間存在四種基本相互作用形式：

• 單純激發(fā)：一個神經(jīng)元興奮，激發(fā)相接的另一神經(jīng)元興奮。
• 單純抑制：一個神經(jīng)元興奮，提高相接的另一神經(jīng)元的感受閾。
• 正反饋：一個神經(jīng)元興奮，激發(fā)相接的另一神經(jīng)元興奮，后者反過來直接或間接地降低前者的興奮閾，或回輸信號給前者的感受突觸。
• 負(fù)反饋：一個神經(jīng)元興奮，激發(fā)相接的另一神經(jīng)元興奮，后者反過來直接或間接地提高前者的興奮閾，使前者興奮度下降。

人腦內(nèi)存在多種不同活性的神經(jīng)元細(xì)胞，分別負(fù)責(zé)短期、中期、長期記憶。

活潑神經(jīng)元細(xì)胞負(fù)責(zé)短期記憶，數(shù)量較少，決定人的短期反應(yīng)能力 。這種細(xì)胞在受到神經(jīng)信號刺激時，會短暫地出現(xiàn)感應(yīng)閾下降的現(xiàn)象，但其突觸一般不會發(fā)生增生，而且感應(yīng)閾下降只能維持?jǐn)?shù)秒至數(shù)分鐘，然后就會回復(fù)到正常水平。

中性神經(jīng)元細(xì)胞負(fù)責(zé)中期記憶，數(shù)量居中，決定人的學(xué)習(xí)適應(yīng)能力 。這種細(xì)胞在受到適量的神經(jīng)信號刺激時，就會發(fā)生突觸增生，但這種突觸增生較緩慢，需要多次刺激才能形成顯著的改變，而且增生狀態(tài)只能維持?jǐn)?shù)天至數(shù)周，較容易發(fā)生退化。

惰性神經(jīng)元細(xì)胞負(fù)責(zé)長期記憶，數(shù)量較多，決定人的知識積累能力。這種細(xì)胞在受到大量反復(fù)的神經(jīng)信號刺激時，才會發(fā)生突觸增生，這種突觸增生極緩慢，需要很多次反復(fù)刺激才能形成顯著的改變，但增生狀態(tài)能維持?jǐn)?shù)月至數(shù)十年，不易退化。

當(dāng)一個腦神經(jīng)元細(xì)胞受到刺激發(fā)生興奮時，它的突觸就會發(fā)生增生或感應(yīng)閾下降，經(jīng)常受到刺激而反復(fù)興奮的腦神經(jīng)元細(xì)胞，它的突觸會比其它較少受到刺激和興奮的腦神經(jīng)元細(xì)胞具有更強(qiáng)的信號發(fā)放和信號接受能力。

當(dāng)兩個相互間有突觸鄰接的神經(jīng)元細(xì)胞同時受到刺激而同時發(fā)生興奮時，兩個神經(jīng)元細(xì)胞的突觸就會同時發(fā)生增生，以至它們之間鄰接的突觸對的相互作用得到增強(qiáng)，當(dāng)這種同步刺激反復(fù)多次后，兩個神經(jīng)元細(xì)胞的鄰接突觸對的相互作用達(dá)到一定的強(qiáng)度(達(dá)到或超過一定的閾值)，則它們之間就會發(fā)生興奮的傳播現(xiàn)象，就是當(dāng)其中任何一個神經(jīng)元細(xì)胞受到刺激發(fā)生興奮時，都會引起另一個神經(jīng)元細(xì)胞發(fā)生興奮，從而形成神經(jīng)元細(xì)胞之間的相互呼應(yīng)聯(lián)系，這就是即記憶聯(lián)系。

因此記憶指可回憶，可回憶決定于神經(jīng)元細(xì)胞之間聯(lián)系的通暢程度，即神經(jīng)元細(xì)胞之間的聯(lián)系強(qiáng)度大于感應(yīng)閾，形成神經(jīng)元細(xì)胞之間的顯性聯(lián)系，這就是大腦記憶的本質(zhì)。

【注意力機(jī)制】

人腦在進(jìn)行閱讀時，并不是嚴(yán)格的解碼過程，而是接近于一種模式識別。大腦會自動忽略低可能、低價值的信息，也會自動地基于上下文的信息，將閱讀的內(nèi)容更正為“大腦認(rèn)為正確的版本”，這就是所謂的人腦注意力。

“注意力機(jī)制”（Attention Mechanism）是機(jī)器學(xué)習(xí)中仿生人腦注意力的一種數(shù)據(jù)處理方法，廣泛應(yīng)用在自然語言處理、圖像識別及語音識別等各種不同類型的機(jī)器學(xué)習(xí)任務(wù)中。比如機(jī)器翻譯經(jīng)常采用“LSTM+注意力”模型，LSTM（Long Short Term Memory）是RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）的一種應(yīng)用?？梢院唵卫斫鉃?，每一個神經(jīng)元都具有輸入門、輸出門、遺忘門。輸入門、輸出門將LSTM神經(jīng)元首尾連接在一起，而遺忘門將無意義內(nèi)容弱化或遺忘?！白⒁饬C(jī)制”就應(yīng)用在LSTM的遺忘門，使得機(jī)器閱讀更加貼近于人類閱讀的習(xí)慣，也使得翻譯結(jié)果具有上下文聯(lián)系。

【多模態(tài)神經(jīng)元】

十五年前，Quiroga等人發(fā)現(xiàn)人類大腦中擁有多模態(tài)神經(jīng)元。這些神經(jīng)元會對圍繞著一個高級主題的抽象概念（而不是對特定視覺特征的抽象概念）做出反應(yīng)。其中，最著名的當(dāng)屬“Halle Berry”神經(jīng)元，只對美國女演員“Halle Berry”的相片、草圖、文字做出反應(yīng)，在《科學(xué)美國人》和《紐約時報》都使用過此例子[11]。

OpenAI發(fā)布的CLIP，采用多模態(tài)神經(jīng)元，達(dá)到了可與ResNet-50表現(xiàn)力相比肩的通用視覺系統(tǒng)，在一些具有挑戰(zhàn)性的數(shù)據(jù)集上，CLIP的表現(xiàn)超過了現(xiàn)有的視覺系統(tǒng)。

機(jī)器學(xué)習(xí)引入多模態(tài)神經(jīng)元，指對文字、聲音、圖片、視頻等多模態(tài)的數(shù)據(jù)和信息進(jìn)行深層次多維度的語義理解，包括數(shù)據(jù)語義、知識語義、視覺語義、語音語義一體化和自然語言語義等多方面的語義理解技術(shù)。比如視覺語義化可以讓機(jī)器從看清到看懂視頻，并提煉出結(jié)構(gòu)化語義知識。

3.智能系統(tǒng)的基本構(gòu)成

自動駕駛系統(tǒng)是一個典型的智能系統(tǒng)，美國SAE自動駕駛分級標(biāo)準(zhǔn)將自動駕駛系統(tǒng)按照自動化程度分為五個等級：

我們從車輛自動駕駛系統(tǒng)的分級可以看出，智能系統(tǒng)L0級完全是人類決策，L1~L2級是機(jī)器基于全量數(shù)據(jù)做數(shù)據(jù)整理與分析，人類做推理判斷和決策，即所謂的數(shù)據(jù)驅(qū)動模式，L3~L4是機(jī)器基于全量數(shù)據(jù)做數(shù)據(jù)整理、分析、邏輯推理、判斷與決策，但需要人類在適當(dāng)?shù)臅r候干預(yù)，L5是完全的智能機(jī)器，無需人類干預(yù)，即所謂的智能驅(qū)動模式。

機(jī)器要具有智能，也就是讓機(jī)器成為一個智能系統(tǒng)，至少需要具備如下圖所示的組成部分：感知、認(rèn)知、理解、決策、行動。

感知組件的作用是對環(huán)境進(jìn)行數(shù)據(jù)監(jiān)測與采集，產(chǎn)出的是數(shù)據(jù)。本質(zhì)是將物理空間數(shù)據(jù)化，將物理空間完全映射到數(shù)據(jù)空間。

認(rèn)知組件的作用是對數(shù)據(jù)進(jìn)行整理與總結(jié)歸納，提煉出有用的信息。

理解組件的作用是對提煉出來的信息進(jìn)一步提煉與總結(jié)歸納，得到知識。人類理解的知識是用自然語言表達(dá)，對于機(jī)器來說，用基于代表問題空間的數(shù)據(jù)集進(jìn)行訓(xùn)練而得到的“模型”來表達(dá)。

決策組件的作用是基于知識進(jìn)行推理與判斷。對于機(jī)器來說，就是用訓(xùn)練好的模型來在新的數(shù)據(jù)空間中進(jìn)行推理與判斷，生成對目標(biāo)任務(wù)的策略。

行動組件的作用是基于策略對環(huán)境進(jìn)行互動，對環(huán)境產(chǎn)生影響。

反饋組件的作用是動作作用于環(huán)境后形成反饋，反饋又促進(jìn)感知體系感知更多的數(shù)據(jù)，進(jìn)而持續(xù)獲取更多的知識，對目標(biāo)任務(wù)作出更好的決策，形成閉環(huán)持續(xù)迭代進(jìn)化。

4.智能安全

人工智能與網(wǎng)絡(luò)安全的結(jié)合總有兩個維度，四個象限[9]：縱向上，一端是給智能以安全，一端是給安全以智能；橫向上，一端是攻擊視角，一端是防御視角。如下圖所示，四個象限代表了兩者結(jié)合的四個作用：

智能自身安全包括智能技術(shù)本身引入可被利用的脆弱性和智能技術(shù)本身脆弱性引入的安全問題。主要有采用人工智能的業(yè)務(wù)安全、算法模型安全、數(shù)據(jù)安全、平臺安全等。

算法模型的安全性問題主要包括模型訓(xùn)練完整性威脅、測試完整性威脅、模型魯棒性缺乏、模型偏見威脅等，比如繞過攻擊（通過對抗性樣本操縱模型決策和結(jié)果）、毒化攻擊（注入惡意數(shù)據(jù)降低模型可靠性和精確度）、推斷攻擊（推斷特定數(shù)據(jù)是否被用于模型訓(xùn)練）、模型抽取攻擊（通過惡意查詢命令暴露算法細(xì)節(jié)）、模型逆轉(zhuǎn)攻擊（通過輸出數(shù)據(jù)推斷輸入數(shù)據(jù)）、重編程攻擊（改變AI模型用于非法用途）、歸因推斷攻擊、木馬攻擊、后門攻擊等。數(shù)據(jù)安全主要包括基于模型輸出的數(shù)據(jù)泄露和基于梯度更新的數(shù)據(jù)泄露；平臺安全包括硬件設(shè)備安全問題和系統(tǒng)及軟件安全問題。

針對人工智能的這些不安全性問題的防御技術(shù)主要有算法模型自身安全性增強(qiáng)、AI數(shù)據(jù)安全與隱私泄露防御和AI系統(tǒng)安全防御。算法模型自身安全性增強(qiáng)技術(shù)包括面向訓(xùn)練數(shù)據(jù)的防御（比如對抗訓(xùn)練、梯度隱藏、阻斷可轉(zhuǎn)移性、數(shù)據(jù)壓縮、數(shù)據(jù)隨機(jī)化等）、面向模型的防御（比如正則化、防御蒸餾、特征擠壓、深度收縮網(wǎng)絡(luò)、掩藏防御等）、特異性防御、魯棒性增強(qiáng)、可解釋性增強(qiáng)等；AI數(shù)據(jù)安全與隱私泄露防御技術(shù)主要有模型結(jié)構(gòu)防御、信息混淆防御和查詢控制防御等。

給智能以安全，指智能技術(shù)本身所帶來的新的脆弱性，對于攻擊者來說可以利用，對于防護(hù)者來說可能引入新的安全隱患。

給安全以智能，指攻擊者可以利用智能技術(shù)實施攻擊，防護(hù)者利用智能技術(shù)提升安全防護(hù)能力。主要體現(xiàn)在安全響應(yīng)自動化和安全決策自主化。提高安全響應(yīng)自動化當(dāng)前主要有兩種主流方法：

• SOAR，Security Orchestration, Automation and Response，安全編排、自動化和響應(yīng)；
• OODA，Obeserve-Orient-Decide-Act，觀察-調(diào)整-決策-行動，IACD（集成自適應(yīng)網(wǎng)絡(luò)防御框架）就是以O(shè)ODA為框架。

下圖是一個以SOAR為中心的自動響應(yīng)工作流的示意圖：

1994年，認(rèn)知科學(xué)家Steven Pinker在《The Language Instinct》中寫道“對人工智能而言，困難的問題是易解的，簡單的問題是難解的”?！昂唵蔚膹?fù)雜問題”指的是問題空間是閉合的，但是問題本身卻又有較高的復(fù)雜度，比如下圍棋屬于簡單的復(fù)雜問題?！皬?fù)雜的簡單問題”指的是問題空間是無限開放式的，但問題本身卻并沒有很高的復(fù)雜度。

比如網(wǎng)絡(luò)安全問題就屬于復(fù)雜的簡單問題，因為安全攻擊的技術(shù)與方式時刻處于變化，也無法窮舉的，但具體到某個具體的網(wǎng)絡(luò)攻擊，則往往是有跡可循的。

今天智能技術(shù)在“簡單的復(fù)雜問題”的領(lǐng)域，往往都比人類會更強(qiáng)，但對于“復(fù)雜的簡單問題”，泛化界限引起的空間爆炸，人工智能往往都會失效。

不幸的是，網(wǎng)絡(luò)安全問題屬于復(fù)雜的簡單問題，人工智能在網(wǎng)絡(luò)安全問題空間的應(yīng)用面臨挑戰(zhàn)。特別是莫拉維克悖論（由人工智能和機(jī)器人學(xué)者所發(fā)現(xiàn)的一個和常識相左的現(xiàn)象。

和傳統(tǒng)假設(shè)不同，人類所獨有的高階智慧能力只需要非常少的計算能力，例如推理，但是無意識的技能和直覺卻需要極大的運(yùn)算能力。）在網(wǎng)絡(luò)安全領(lǐng)域表現(xiàn)更為明顯。

人工智能技術(shù)應(yīng)用到網(wǎng)絡(luò)安全存在下面的挑戰(zhàn)：問題空間不閉合、樣本空間不對稱、推理結(jié)果要么不準(zhǔn)確要么不可解釋、模型泛化能力衰退、跨領(lǐng)域思維融合挑戰(zhàn)。

1、問題空間不閉合

如上圖所示，網(wǎng)絡(luò)安全的問題空間包括已知和未知。而已知又包括已知的已知，如某個已知的漏洞，未知的已知，如某個還未被發(fā)現(xiàn)的已知被曝光的安全漏洞；未知包括已知的未知，如軟件系統(tǒng)必然存在某個安全漏洞，未知的未知，如根本就不知道會有什么風(fēng)險或威脅。

2、樣本空間不對稱

未知的未知是網(wǎng)絡(luò)安全無法避免的困境，使得網(wǎng)絡(luò)安全問題空間不閉合，也就導(dǎo)致負(fù)向數(shù)據(jù)（如攻擊數(shù)據(jù)、風(fēng)險數(shù)據(jù)等）的嚴(yán)重缺乏導(dǎo)致特征空間的不對稱，進(jìn)而導(dǎo)致特征空間無法真正表征問題空間。模型是已有數(shù)據(jù)空間下關(guān)于世界的假設(shè)，并且用于在新的數(shù)據(jù)空間下進(jìn)行推理。今天人工智能技術(shù)已經(jīng)能很好的解決表示輸入和輸出之間的非線性復(fù)雜關(guān)系，但對于樣本空間相對開放的問題空間來說嚴(yán)重不對稱。

3、推理結(jié)果不可解釋性

人工智能應(yīng)用以輸出決策判斷為目標(biāo)?？山忉屝允侵溉祟惸軌蚶斫鉀Q策原因的程度。人工智能模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預(yù)測。模型可解釋性指對模型內(nèi)部機(jī)制的理解以及對模型結(jié)果的理解。建模階段，輔助開發(fā)人員理解模型，進(jìn)行模型的對比選擇，必要時優(yōu)化調(diào)整模型；在投入運(yùn)行階段，向決策方解釋模型的內(nèi)部機(jī)制，對模型結(jié)果進(jìn)行解釋。

在建模階段，人工智能技術(shù)存在決策準(zhǔn)確性與決策可解釋性的矛盾，神經(jīng)網(wǎng)絡(luò)的決策準(zhǔn)確性高，但可解釋性差，決策樹的可解釋性強(qiáng)，但準(zhǔn)確性不高。當(dāng)然現(xiàn)在已經(jīng)有兩者結(jié)合的方法，一定程度上在兩者之間取得平衡。

在投入運(yùn)行階段，向決策方解釋模型的內(nèi)部機(jī)制以及決策結(jié)果的解釋，涉及到數(shù)據(jù)隱私、模型安全等方面的道德困境。

4、泛化能力衰退

20世紀(jì)六十年代，貝爾-拉帕杜拉安全模型（Bell-LaPadula）指出“當(dāng)僅當(dāng)系統(tǒng)開始于安全的狀態(tài)，且一直不會落入非安全狀態(tài)，它才是安全的”。

人工智能技術(shù)用模型來表征問題空間，但由于安全的本質(zhì)是資源與智力的對抗，因此安全問題空間永遠(yuǎn)都不是閉合的，在訓(xùn)練集上表現(xiàn)良好的模型，對于大規(guī)模的現(xiàn)實環(huán)境，一上線就存在不斷的對抗，進(jìn)而不斷跌入失效的狀態(tài)，模型泛化能力衰退。

5.智能安全自主度模型

知識與推理是人類智能的基礎(chǔ)，計算機(jī)要實現(xiàn)推理與決策，則需要解決三個問題：知識表示與推理形式、不確定性知識表示與推理、常識表示與推理。

牌類是不完全信息博弈，計算機(jī)打牌要比下棋困難得多。2017年人工智能才在6人無限注德州撲克牌上戰(zhàn)勝了人類。牌類是概率確定性問題，而現(xiàn)實環(huán)境是完全不確定的，甚至是對抗環(huán)境，因此復(fù)雜環(huán)境下的自主決策具有很大的挑戰(zhàn)性。

對抗場景下的自主決策的挑戰(zhàn)主要有兩個方面：環(huán)境的動態(tài)性和任務(wù)的復(fù)雜性。環(huán)境的動態(tài)性包括不確定條件、不完全信息、形勢動態(tài)變化、實時博弈；任務(wù)復(fù)雜性包括信息采集、進(jìn)攻、防守、偵察、騷擾等。

對抗場景下的自主決策通常利用常識和邏輯演繹彌補(bǔ)信息的不完全性，進(jìn)而通過融合人類領(lǐng)域知識和強(qiáng)化學(xué)習(xí)結(jié)果生成預(yù)案，協(xié)助做出正確決策。

復(fù)雜環(huán)境下的自主決策還需要解決如何適應(yīng)環(huán)境變化而相應(yīng)地做出決策變化的問題。比如自動駕駛將物體識別出來后建立模型，在此基礎(chǔ)上做實時的駕駛規(guī)劃，但難以應(yīng)對突發(fā)事件。因此自動駕駛還需要駕駛的知識和經(jīng)驗，需要在環(huán)境的不斷交互過程中學(xué)習(xí)這些經(jīng)驗知識，即強(qiáng)化學(xué)習(xí)。

因此智能賦能的安全系統(tǒng)的威脅檢測與防護(hù)的自主決策能力是衡量其智能程度的關(guān)鍵指標(biāo)之一。參考自動駕駛系統(tǒng)的分級，可構(gòu)建一個智能安全自主度模型。