一、整體介紹

1.1 研究背景

當前網(wǎng)絡規(guī)模急劇增加，各類入侵過程也逐漸向復雜化，多樣化和分布式的趨勢發(fā)展，利用傳統(tǒng)的入侵檢測與響應技術(shù)對各類安全事件進行檢測發(fā)現(xiàn)、查處、響應變得日益困難。因此，需要用新的視角去理解入侵檢測與響應模型。博弈論提供了一個自然的框架捕獲攻擊者和防御者的交互，提供了一種定量的方法評估系統(tǒng)的安全性。從博弈論的角度理解入侵檢測與響應模型，不僅需要識別出復雜的攻擊模式和攻擊場景，還需要在攻擊檢測之后進行自動化響應，形成檢測，發(fā)現(xiàn)，預警，響應的閉環(huán)防御體系。

1.2 相關(guān)研究現(xiàn)狀

2009年，國內(nèi)第一篇將博弈論應用于網(wǎng)絡安全領(lǐng)域的論文發(fā)表在計算機學報上，提出了基于博弈論的防御圖模型，針對不同類型的攻擊產(chǎn)生對應的響應[1]。廈門大學肖亮教授在相關(guān)的學術(shù)會議上也發(fā)表了論文[2]，描述了云存儲中的動態(tài)安全資源分配。王震等將博弈論與攻擊圖相結(jié)合[3]，研究了基于Stackelberg攻防博弈的網(wǎng)絡系統(tǒng)安全控制優(yōu)化。

國外的研究者對相關(guān)領(lǐng)域開始的比較早，不僅僅是將博弈論應用在入侵檢測中，也同樣將博弈論應用在安全領(lǐng)域。主要分成兩個派系：Milind Tambe和Vicki Bier。以南加州大學Milind Tambe教授為代表的計算博弈論方向，開山作是文獻[4]。該流派目前代表人物有安波教授(南洋理工)及其課題組等。以威斯康辛-麥迪遜大學Vicki Bier教授為代表的是基于博弈與決策的風險分析方向，代表作之一為她的學生的一篇論文[5]。該流派目前代表人物有該教授本人，Jun Zhuang教授(紐約大學buffalo校區(qū))及其課題組，David Banks(杜克大學)等等。

紐約大學的華人研究者ZhuQuanYan，開創(chuàng)了該領(lǐng)域的學術(shù)會議GameSec，并發(fā)表了博弈論應用在網(wǎng)絡安全領(lǐng)域的綜述性文章[6]。南巴黎電信的Christophe Kiennert[7]研究員提出將博弈論應用在入侵檢測與入侵響應優(yōu)化中。

1.3 研究框架

我們按照網(wǎng)絡攻擊的先后順序?qū)⒉┺恼搼迷谌肭謾z測和響應分成三個階段和一個整體的架構(gòu)設(shè)計。

第一階段：攻擊前的網(wǎng)絡安全加固。

這個階段的研究成果主要是基于Stackelberg博弈模型的網(wǎng)絡安全加固。

第二階段：攻擊中，IDS配置與效率優(yōu)化。

這個階段主要有三個方面：優(yōu)化基于網(wǎng)絡的入侵檢測的資源配置;優(yōu)化NIDS的規(guī)則庫和參數(shù);基于生成對抗模型優(yōu)化異常檢測效率。

第三個階段：攻擊后的自動化響應。

整體架構(gòu)設(shè)計主要是基于合作博弈的分布式入侵檢測架構(gòu)優(yōu)化。

1.4 研究意義

(1)博弈論應用在網(wǎng)絡安全領(lǐng)域之前，入侵檢測都是通過提高檢測效率來優(yōu)化的，而博弈論提供了一個自然的框架去捕獲攻擊者和防御者的交互，提供一個定量的方法去評估系統(tǒng)的安全性，使研究者從策略和決策的視角理解網(wǎng)絡攻擊與防御。

(2)與標準的安全性定義有所不同，博弈理論采用不同的視角看待安全：安全不是沒有威脅，而是攻擊系統(tǒng)比不攻擊系統(tǒng)更加昂貴，因此，可以建立激勵機制來鼓勵良好的行為而防止惡意的行為發(fā)生。

(3)傳統(tǒng)的安全檢測假定系統(tǒng)是靜態(tài)的，但是復雜的網(wǎng)絡環(huán)境是動態(tài)變化，借助動態(tài)博弈可以確保系統(tǒng)在動態(tài)環(huán)境中也是安全的。

(4)一般來說，保證動態(tài)系統(tǒng)穩(wěn)定運行，需要反饋機制，而借助博弈論的入侵檢測與響應模型，可以構(gòu)成檢測，發(fā)現(xiàn)，預警，響應閉環(huán)防御體系，可以讓入侵防御的在不同環(huán)節(jié)循環(huán)，保證系統(tǒng)動態(tài)穩(wěn)定。

二、相關(guān)基礎(chǔ)知識

2.1 入侵檢測

入侵檢測是[8]對企圖入侵，正在進行的入侵或者已經(jīng)發(fā)生的入侵進行識別的過程。它

在不影響網(wǎng)絡性能的情況下能對網(wǎng)絡進行監(jiān)控，收集計算機網(wǎng)絡或系統(tǒng)中的關(guān)鍵信息，并對其進行分析，從中發(fā)現(xiàn)是否有違反安全策略的行為和被攻擊的跡象。

按照不同的分類標準，入侵檢測可以分成不同的類別：

(1)按照檢測源的不同，可以分為基于網(wǎng)絡的入侵檢測(NIDS)，基于主機的入侵檢測(HIDS)，混合入侵檢測(Hybrid IDS)。

(2)按照檢測方法進行分類，可以分為誤用檢測，異常檢測和基于規(guī)范的檢測。

(3)按照是否能響應，分為入侵檢測(IDS)和入侵防御(IPS)/入侵響應(IRS)。

2.1.1 誤用檢測

誤用檢測又稱為特征檢測，它將已知的入侵活動用一種模式來表示，形成網(wǎng)絡攻擊特征庫(或稱為網(wǎng)絡攻擊規(guī)則庫)。

目前商用的IDS基本上是采用誤用檢測方法?；谡`用檢測方法的入侵檢測技術(shù)，其誤報率低，漏報率高。它能夠準確地識別已知的攻擊，并可以詳細地報告出網(wǎng)絡攻擊類型。但是，該方法對新的入侵方法無能為力，需要將新的入侵模式不斷加入特征庫，才能提高其識別新網(wǎng)絡攻擊的能力。

2.1.2異常檢測

異常檢測可以稱為無監(jiān)督或者弱監(jiān)督下的非平衡數(shù)據(jù)下的多分類的問題。且往往異常點(不平衡數(shù)據(jù)中較少的部分)對我們更為重要。相對于誤用檢測，該方法檢測的結(jié)果的漏報率低，誤報率高，能檢測出一些未知攻擊。其實現(xiàn)的難點在于如何避免將正常活動識別為入侵活動和遺漏正在發(fā)生的入侵活動。

2.1.3 基于規(guī)范的檢測

基于規(guī)范的檢測描述了程序的期望行為，如果用戶的行為與安全規(guī)范的描述不同，那么可以斷定產(chǎn)生了攻擊。因為它描述的是程序的期望行為，所以當一個合法的用戶做了與常規(guī)不一樣的事(是合法的)，它不會產(chǎn)生虛警，它還能識別已知攻擊與未知攻擊[9-10]。

2.2 入侵檢測的整合

入侵檢測技術(shù)的主要挑戰(zhàn)是分析IDS發(fā)出的警報，發(fā)生入侵時，選擇對策所需要的時間應該盡可能短。所以現(xiàn)在大型網(wǎng)絡下入侵檢測系統(tǒng)常常被集成到SIEM[11]系統(tǒng)中，系統(tǒng)架構(gòu)圖如圖1所示。該架構(gòu)一般分成5層，從下至上包括數(shù)據(jù)采集層，數(shù)據(jù)歸一化層，數(shù)據(jù)存儲層，數(shù)據(jù)分析層和數(shù)據(jù)可視化層，其中數(shù)據(jù)分析層的核心是關(guān)聯(lián)引擎;數(shù)據(jù)可視化層用于可視化展示，供安全分析人員使用。

圖1 SIEM系統(tǒng)架構(gòu)

2.3 博弈論

按照不同的分類條件，博弈論可以分成不同的類別[12]。

(1)按照博弈論之間是否存在約束協(xié)議，可分為合作博弈和非合作博弈，兩者主要區(qū)別在于相互作用的當事人之間是否存在具有約束力的協(xié)議。

(2)按照博弈雙方互相了解的程度，可分為完全信息博弈和不完全信息博弈。完全信息博弈是指在博弈過程中，每一位參與人對其他參與人的特征、策略空間及收益函數(shù)有準確的信息。而在不完全信息博弈中，每個參與者并不清楚有關(guān)博弈的一些信息。

(3)按照行為的時間序列，分為靜態(tài)博弈和動態(tài)博弈。靜態(tài)博弈是指在博弈中，參與人同時選擇或雖非同時選擇但后行動者并不知道先行動者采取了什么具體行動;動態(tài)博弈是指在博弈中，參與人的行動有先后順序，且后行動者能夠觀察到先行動者所選擇的行動。

(4)按照博弈的表現(xiàn)形式分為戰(zhàn)略型博弈和展開型博弈。

三、研究方法

3.1 攻擊前的網(wǎng)絡安全加固

網(wǎng)絡安全加固的核心模型是Stackelberg博弈模型[14]。Stackelberg安全博弈最開始應用于現(xiàn)實生活的安全領(lǐng)域，用于安全資源調(diào)度，后來被運用在網(wǎng)絡安全資源調(diào)度之上。例如，美國的洛杉磯國際機場應用在警力資源調(diào)度，空中警察調(diào)度，城市軌道交通系統(tǒng)安全調(diào)度等實際應用中。我們的模型是建立在攻擊圖上的Stackelberg博弈模型：將網(wǎng)絡攻擊場景建模為攻擊圖上的Stackelberg博弈，防御者是先行者，攻擊者是跟隨者，攻擊者的目標是從攻擊圖中找到一條最短代價的路徑，防御者的目的是用有限的資源在路徑上設(shè)置障礙阻止攻擊者。博弈模型建好之后，最重要的就是求解納什均衡。

目前，針對Stackelberg納什均衡主要列舉如下基本求解算法，文獻[13]對三種算法進行了總結(jié)。

(1)MultiLPs算法[15]

該算法是研究者于2006年提出，是針對標準型的Stackelberg博弈求解的最基本多項式時間的算法，也可以用來求解貝葉斯Stackelberg博弈。

(2)DOBSS 算法[16]

因為不同類型的追隨者之間是相互獨立的，所以追隨者的純策略產(chǎn)生組合爆炸。而DOBSS算法可以解決這個問題，DOBSS算法是第一個成功的應用在實際系統(tǒng)上的算法，它利用跟隨者的類型相互獨立的特點將這一問題進行降解，從而將其轉(zhuǎn)化成求解一個混合整數(shù)規(guī)劃的問題(MILP)。

(3)ERASER 算法[17]

該算法直接對緊湊型的安全博弈進行求解，可以避免枚舉指數(shù)級的防御者的純策略。

3.2 IDS優(yōu)化

3.2.1優(yōu)化基于網(wǎng)絡的IDS的資源分配

(1)NIDS如果對每個數(shù)據(jù)包都檢查，需要很高的處理資源。文獻[20]中研究者開發(fā)了一種網(wǎng)絡分組采樣策略，在總資源預算一定的情況下，通過合適的采樣率采樣不同路徑的數(shù)據(jù)包，作者定義了一個簡單的雙人靜態(tài)零和博弈，求解出預算一定的情況下每一條鏈路的最優(yōu)采樣率。

(2)基于規(guī)則的NIDS如Snort，一般會存儲對于已知的網(wǎng)絡攻擊的特征庫，并需要配置大量的攻擊檢測庫和一些系統(tǒng)參數(shù)。比如Snort有51個攻擊類別以及將近10000個特征規(guī)則，所以獲得最佳的IDS配置以有效檢測攻擊絕非易事，配置規(guī)則庫是在系統(tǒng)性能和安全性能之間找到平衡，文獻[21]建立一個動態(tài)的隨機博弈對于不同的系統(tǒng)狀態(tài)去設(shè)計最優(yōu)的IDS配置，使用動態(tài)和迭代的方式配置IDS，是平衡安全開銷和系統(tǒng)性能的方法。

(3)從博弈論的角度來看，生成對抗網(wǎng)絡是一個二人零和博弈，生成器和判別器是博弈的兩個參與者，生成器的策略是如何生成樣本，判別器的策略則是如何判定樣本的真實度。因此，策略組(“生成好樣本”，“真假難辨”)是一個納什均衡，在這種情況下，生成器和判別都無法單方面改變策略而得到額外的好處。

利用生成對抗網(wǎng)絡進行異常檢測主要存在以下兩方面問題：

(1)由于對異常數(shù)據(jù)進行正向檢測的效果不理想，研究者往往逆向研究，基于生成對抗網(wǎng)絡的無監(jiān)督多元異常檢測，利用重構(gòu)誤差進行異常檢測。

(2)因借助訓練標簽樣本較少，從而影響有監(jiān)督分類模型的檢測效果的問題。文獻[22]借助生成對抗網(wǎng)絡對抗交互訓練的思想，在訓練的階段引入了生成模型，由生成模型不斷生成樣本，擴充原有標簽樣本集，可輔助入侵檢測模型分類，提高了模型檢測準確率，提升了執(zhí)行多分類任務時對入侵行為的識別能力。

3.3 攻擊自動化響應

攻擊之后的自動化選擇，主要涉及IPS和IRS，研究工作[23]主要是一旦發(fā)現(xiàn)攻擊就會觸發(fā)最佳的防御策略，無需依靠管理員的手動干預，該項工作主要是優(yōu)化系統(tǒng)響應，而不是IDS性能，因此假定總能夠成功檢測到攻擊。

3.4 基于合作博弈的分布式入侵檢測

單個入侵檢測系統(tǒng)難以檢測所有的攻擊,與傳統(tǒng)的同類產(chǎn)品相比，入侵檢測設(shè)備之間的協(xié)作可以獲得更高的檢測精度和成本效率。文獻[24-26]提出協(xié)作式入侵檢測網(wǎng)絡的系統(tǒng)架構(gòu)，其中值得信賴的高效反饋聚合是關(guān)鍵組成部分,當IDS協(xié)作者的數(shù)量很大的時候，提出了一種固有的信任評價機制，并減少了IDS所需的通信開銷以及實現(xiàn)令人滿意的反饋聚合所需的計算資源和內(nèi)存。

四、挑 戰(zhàn)

(1)建立的博弈模型一般都是基于完全理性假設(shè)，假設(shè)攻擊過程中攻擊者和防御者都是完全理性的，有人嘗試前景理論和量化反應模型，大多數(shù)的這些模型具有不同于理性人假設(shè)的表現(xiàn)，也使得優(yōu)化問題增加了求解的難度。

(2)建立的模型一般假設(shè)博弈雙方具有完全信息，網(wǎng)絡中的信息對于攻防雙方都是一致的，但是在實際中不可能。

(3)網(wǎng)絡攻擊數(shù)據(jù)集很難構(gòu)建，小規(guī)模的數(shù)據(jù)集可以使用真實的場景，但是大規(guī)模的網(wǎng)絡數(shù)據(jù)集無法實現(xiàn)。

(4)博弈模型的抽象程度較高，很難應用在實際生產(chǎn)中。

五、研究展望

基于博弈論的入侵檢測與響應模型仍處于高速發(fā)展的過程中，目前，我覺得比較有前景的研究方向是以下兩點。

(1)基于歷史數(shù)據(jù)的學習

攻擊者和防御者因重復且頻繁的交流，不斷積累數(shù)據(jù)，這成為了溝通博弈與機器學習領(lǐng)域的一個研究契機。研究人員能夠在既往收集的數(shù)據(jù)中學習得到博弈模型，現(xiàn)有的安全領(lǐng)域收益都是專家指定的，但是很多地方無法確定收益函數(shù)，而且數(shù)值會隨著時間發(fā)生變化，進而影響博弈結(jié)果。如何在盡可能少的博弈回合之下學習攻擊者的攻擊偏好，進而進行有效的保護，將會是一個很好的研究方向。值得注意，基于逆向強化學習得出收益函數(shù)可能是一個解決辦法。

(2)基于合作博弈的分布式入侵檢測

不同的傳感器收集數(shù)據(jù)之后，還需要進行聚合關(guān)聯(lián)，共同決策，達到合作博弈的帕累托最優(yōu)。因此各個入侵檢測之間需要有良好的通訊機制和良好的協(xié)商機制。一個良好的入侵檢測系統(tǒng)應該是一個高級的多智能系統(tǒng)，每個采集的傳感器都是一個智能體，如基于誤用檢測和異常檢測的IDS，日志分析等傳感器都是智能體，全部的傳感器智能體共同優(yōu)化一個目標，產(chǎn)生高效的告警信息，并自動化響應一部分告警，通過人機聯(lián)動，反饋到傳感器中，動態(tài)迭代優(yōu)化系統(tǒng)，讓整體的入侵檢測系統(tǒng)處于學習進化中。

參考文獻

[1] 姜偉，方濱興，田志宏.基于攻防博弈模型的網(wǎng)絡安全測 評和最優(yōu)主動防御[J]. 計算機學報，2013，32 ( 4) : 818 - 827.

[2] Minghui Min, Liang Xiao, Caixia Xie, Mohammad Hajimirsadeghi, and Narayan B Mandayam. Defense against advanced persistent threats: A colonel blotto game approach. In 2017 IEEE international conference on

communications (ICC), pages 1{6. IEEE, 2017.

[3] 王震，段晨健，吳 鋌. 基于 Stackelberg 攻防博弈的網(wǎng)絡系統(tǒng) 安全控制機制優(yōu)化研究. 信息安全學報，2019

[4] Praveen Paruchuri, Jonathan P Pearce, Janusz Marecki, Milind Tambe, Fernando Ordonez, and Sarit Kraus. Playing games for security: An efficient exact algorithm for solving bayesian stackelberg games. In Proceedings

of the 7th international joint conference on Autonomous agents and multiagent systems-Volume 2, pages 895{902. International Foundation for Autonomous Agents and Multiagent Systems, 2008.

[5] Jun Zhuang and Vicki M Bier. Balancing terrorism and natural disasters|defensive strategy with endogenous attacker effort. Operations Research, 55(5):976{991, 2007.

[6]Quanyan Zhu and Stefan Rass. Game theory meets network security: A tutorial. In Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security, pages 2163{2165, 2018.

[7]Kiennert C, Ismail Z, Debar H, et al. A survey on game-theoretic approaches for intrusion detection and response optimization[J]. ACM Computing Surveys (CSUR), 2018, 51(5): 1-31.

[8] Denning D E. An intrusion-delection model. IEEE Transactions on Software Engineering, 1987, SE-13(2):

222-232.

[9] Sandeep Kumar. Classification and detection of computer intrusions. PhD thesis, PhD thesis, Purdue

University, 1995

[10] Phillip A Porras and Richard A Kemmerer. Penetration state transition analysis: A rule-based intrusion

detection approach. In Computer Security Applications Conference, 1992. Proceedings., Eighth Annual,

pages 220–229. IEEE, 1992

[11] IBM QRadar SIEM. https://www.ibm.com/us-en/marketplace/ibm-qradar-siem.

[12] Osborne M J, Rubinstein A. A course in game theory[M]. MIT press, 1994.

[13] 王震，袁勇，安波。安全博弈論研究綜述 ，指揮自動化學報，2015

[14] Milind Tambe. Security and game theory: algorithms, deployed systems,

lessons learned. Cambridge university press, 2011.

[15] Conitzer V, Sandholm T. Computing the optimal strategy to commit to[C]// Proceedings of the 7th

ACM Conference on Electronic Commerce (EC’06). Ann Arbor, Michigan, USA, 2006: 82?90.

[16] Paruchuri P, Pearce J P. Playing games for security: an e–cient exact algorithm for solving bayesian

stackelberg games[C]// Proceedings of the 7th International Joint Conference on Autonomous Agents and

Multiagent Systems (AAMAS’08). Estoril, Portugal, 2008: 895902.

[17] Pita J, Jain M. Using game theory for los angeles airport security[J]. AI Magazine, 2009, 30(1): 43?57

[18] 杜威, 丁世飛. 多智能體強化學習綜述[J]. 計算機科學, 2019, 46(8): 1-8.

[19] Lowe R, Wu Y, Tamar A, et al. Multi-agent actor-critic for mixed cooperative-competitive environments[C]//Advances in neural information processing systems. 2017: 6379-6390.

[20] Murali Kodialam and TV Lakshman. Detecting network intrusions via sampling: a game theoretic approach. In IEEE INFOCOM 2003. Twentysecond Annual Joint Conference of the IEEE Computer and Communications Societies (IEEE Cat. No. 03CH37428), volume 3, pages 1880{1889.IEEE, 2003

[21] Quanyan Zhu and Tamer Ba?sar. Dynamic policy-based ids configuration. In Proceedings of the 48h IEEE Conference on Decision and Control (CDC) held jointly with 2009 28th Chinese Control Conference, pages 8600{8605. IEEE, 2009.

[22] An Enhancing Framework for Botnet Detection using Generative Adversarial Networks, 2018 International Conference on Artificial Intelligence and Big Data. 2018.

[23] Yi Luo, Ferenc Szidarovszky, Youssif Al-Nashif, and Salim Hariri. A game theory based risk and impact analysis method for intrusion defense systems. In 2009 IEEE/ACS International Conference on Computer Systems and Applications, pages 975{982. IEEE, 2009.

[24] Carol J Fung and Quanyan Zhu. Facid: A trust-based collaborative decision framework for intrusion detection networks. Ad Hoc Networks, 53:17{31, 2016.

[25] Quanyan Zhu, Carol Fung, Raouf Boutaba, and Tamer Basar. A gametheoretical approach to incentive design in collaborative intrusion detection networks. In 2009 International Conference on Game Theory for Networks, pages 384{392. IEEE, 2009.

[26] Quanyan Zhu, Carol Fung, Raouf Boutaba, and Tamer Basar. Guidex:A game-theoretic incentive-based mechanism for intrusion detection networks. IEEE Journal on Selected Areas in Communications, 30(11):2220{

2230, 2012.