采購AI/ML安全工具前要先回答這11個問題
信息安全就夠復(fù)雜的了，往安全軟件產(chǎn)品組合中添加AI/ML更是可能會引入問題。但如果選對供應(yīng)商，一切都不是問題。
多數(shù)CISO都認(rèn)為人工智能(AI)和機(jī)器學(xué)習(xí)(ML)將會在未來3到5年內(nèi)改變信息安全態(tài)勢。但這并不意味著他們沒聽煩了這倆詞兒。很多CISO可能真考慮過干脆簽張支票以便再也不用聽到AI和ML了。基本上，全球每家安全軟件供應(yīng)商都在不厭其煩地提及人工智能，就好像這東西有著神奇魔力一樣。更糟的是，很多提供商其實并不具備這個能力。
某些安全軟件供應(yīng)商是不是對其AI/ML產(chǎn)品夸口過多而實際實現(xiàn)功能完全不是那么回事?其實很多供應(yīng)商都這樣。有些是明目張膽地號稱 “我們擁有軍用級AI”，有些稍微含蓄點兒，說 “我們使用AI”，但實際上用的是300歲高齡的基礎(chǔ)靜態(tài)方法。
網(wǎng)絡(luò)安全工具市場已經(jīng)過度消費(fèi)AI這個詞，以致CISO和CIO聽到又一款基于AI的產(chǎn)品都忍不住翻白眼了。供應(yīng)商網(wǎng)站主頁上幾十次提到AI的情況也不是沒有。
大多數(shù)號稱擁有AI/ML功能的公司，認(rèn)真評估后最多也就是個市場營銷的夸張宣傳。
某些供應(yīng)商夸大或編造AI功能還只是問題的一小部分。Webroot一份新調(diào)查研究發(fā)現(xiàn)，60%的IT受訪者承認(rèn)，盡管自家軟件用到了AI或ML，他們也不確定具體有何意義。而且，僅36%確知自己的網(wǎng)絡(luò)安全供應(yīng)商如何引入及更新威脅數(shù)據(jù)。該調(diào)查于去年11月底到12月初進(jìn)行，問詢了美國和日本各200名總監(jiān)級別及以上的IT人士。
很多專家和體驗過AI的CSO都強(qiáng)烈建議信息安全主管參與進(jìn)來，以便當(dāng)AI成為絕對必需品時自己不至于陷入苦苦追趕的境地。許多人嚴(yán)重低估了正確訓(xùn)練機(jī)器學(xué)習(xí)模型所需的數(shù)據(jù)量。構(gòu)建這些數(shù)據(jù)可能很是需要一段時間。很多人錯誤地認(rèn)為人工智能與算法的復(fù)雜性有關(guān)。其實不然。個中關(guān)鍵在于AI/ML需要大量數(shù)據(jù)加以訓(xùn)練。
聰明的CSO現(xiàn)在處于學(xué)習(xí)AI/ML知識的階段。他們盡其所能地吸收AI技術(shù)知識，與供應(yīng)商商談，了解產(chǎn)品功能與局限。這樣就能在AI展現(xiàn)出更多前景的時候做出基于風(fēng)險的明智決策。
想要分清良莠優(yōu)中選優(yōu)，不妨在跟安全供應(yīng)商聊的時候搞清楚下面11個問題。
關(guān)于AI/ML安全軟件的11個問題
1. 訓(xùn)練數(shù)據(jù)有代表性嗎?
你得知道供應(yīng)商的模型是用什么數(shù)據(jù)訓(xùn)練的，才能夠確定那些數(shù)據(jù)是否代表你的數(shù)據(jù)和你將在自己網(wǎng)絡(luò)上看到的行為。
2. 訓(xùn)練數(shù)據(jù)的時效、干凈程度和可學(xué)習(xí)性有多好?
你得知道訓(xùn)練數(shù)據(jù)集的更新頻率，其學(xué)習(xí)和升級檢測功能的能力。你還得了解需要多少數(shù)據(jù)才足以訓(xùn)練該AI/ML引擎。AI系統(tǒng)的學(xué)習(xí)力及其學(xué)習(xí)和再學(xué)習(xí)所需的數(shù)據(jù)量是你需要了解的重點。
3. 能拿到性能指標(biāo)嗎?
這是必須搞清楚的一個重點問題。供應(yīng)商應(yīng)能共享檢測黑客或滲透測試員盡力入侵某系統(tǒng)的雙盲控制實驗的結(jié)果。
用于衡量供應(yīng)商ML模型性能的指標(biāo)可以確定供應(yīng)商是確實采用了機(jī)器學(xué)習(xí)還是僅僅用了個算法。此類指標(biāo)還應(yīng)反映出模型的準(zhǔn)確性。
對于受監(jiān)督的模型，再問下“混淆矩陣”的情況，逼近1的值代表高準(zhǔn)確性。
“評估未受監(jiān)督模型的性能更困難一些。相對較小的集群內(nèi)間距和相對較大的集群間間距表明模型能夠有效分組具有離散特征的項。
4. 有實際示例嗎?
如果供應(yīng)商拿不出硬指標(biāo)，那你就可以考慮換一家考察了。但如果你愿意給他們另一次機(jī)會，可以讓他們拿出例子來證明自己的AI解決方案比你現(xiàn)有SOC分析師干得漂亮。讓他們出具客戶參考也是個不錯的辦法。
5. 專有模型是否意味著不能定制?
當(dāng)供應(yīng)商宣稱自己的專有AI/ML實現(xiàn)可以 “解決所有問題”，CISO和CSO可以問問 “客戶能定制這個解決方案嗎?” 如果能定制，客戶的工程師需做什么水平的培訓(xùn)才能夠完成這些定制?不同模型能攝入同樣的數(shù)據(jù)嗎?還是說，只有與該安全產(chǎn)品綁定的模型才能處理你的數(shù)據(jù)?
6. 供應(yīng)商的AI/ML實現(xiàn)有多靈活?
首先，供應(yīng)商的AI/ML實現(xiàn)能否應(yīng)對不同類型的數(shù)據(jù)，比如日志、音頻、視頻、交易記錄等等?如果可以，這些數(shù)據(jù)集能同時饋送嗎?還是說必須分開，一次只能一類?
7. AI/ML模型如何更新?
你得搞清楚是否需追加付款或購買新版安全應(yīng)用才可以得到更新。同樣重要的是，問清供應(yīng)商如何向客戶分發(fā)此類改進(jìn)，以及將更新集成進(jìn)原有系統(tǒng)的難度。
8. 供應(yīng)商的解決方案對客戶安全團(tuán)隊而言是“黑盒”嗎?
是黑盒未必不好。但你得知道該解決方案是否支持應(yīng)用新的AI/ML工具包，知道自己的團(tuán)隊該如何與之協(xié)作。該工具能幫安全人員了解數(shù)據(jù)工作機(jī)制嗎?能擴(kuò)展安全人員對數(shù)據(jù)工程和數(shù)據(jù)科學(xué)的認(rèn)知嗎?還是說，這就是個迫使客戶只能靠供應(yīng)商做出修改的黑盒解決方案?
“對很多客戶而言，黑盒比開放式工具包好得多。開放式工具包得咨詢好多年才能看到產(chǎn)生價值的曙光。
9. AI是怎么融合到產(chǎn)品中的?
問問供應(yīng)商，你的AI是并購來的?內(nèi)部開發(fā)的?還是作為你一開始就在用的軟件的一部分?必須警惕那種附加的AI。僅僅使用谷歌的TensorFlow可算不上AI解決方案。
10. 系統(tǒng)如何檢測新類型攻擊?
該系統(tǒng)如何應(yīng)對所謂的冷啟動問題?機(jī)器學(xué)習(xí)算法需要數(shù)據(jù)就好像魚兒需要水。供應(yīng)商的AI系統(tǒng)如何識別此前未遇到過的威脅呢?
11. 誰持有這些數(shù)據(jù)?
小心你的數(shù)據(jù)。AI供應(yīng)商當(dāng)前的主要目標(biāo)不是賣產(chǎn)品，而是盡可能多地獲取用于測試和改進(jìn)其模型和算法的數(shù)據(jù)。必須弄清他們的產(chǎn)品對你數(shù)據(jù)和系統(tǒng)的訪問權(quán)限，知道誰持有產(chǎn)出的AI元數(shù)據(jù)。
爭議的溫床就是訓(xùn)練數(shù)據(jù)的所有權(quán)問題，訓(xùn)練數(shù)據(jù)是會隨時間積累的。
給CISO的建議
衡量AI解決方案有效性是CISO能做的一大重要事項。但要做好這件事，你需要相關(guān)領(lǐng)域的專業(yè)知識。每家公司都應(yīng)聘有數(shù)據(jù)科學(xué)家。計劃廣泛引入ML解決方案的CSO應(yīng)考慮聘用數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。
說到員工，如果公司技術(shù)人員具備評估AI安全產(chǎn)品的知識，放心信任他們。在某些公司，高管需信任自己的技術(shù)人員，這些人將是與兜售產(chǎn)品的供應(yīng)商周旋的主力。當(dāng)然不能信任所有人，但得找到或雇到能鑒別供應(yīng)商天花亂墜式營銷，直擊產(chǎn)品實際功能的人。AI/ML人才缺口會進(jìn)一步加劇本就供不應(yīng)求的技術(shù)人才短缺問題。應(yīng)提前做好準(zhǔn)備。問問自己：我能做些什么來吸引人才?我該如何支持我的技術(shù)人員?
或許你尚未意識到這一點，但落后的危險已近在眼前。未來3到5年，若你在AI和ML如何用于抵御網(wǎng)絡(luò)犯罪的知識和經(jīng)驗上尚未躋身前90%的行列，那你的職業(yè)前景和你公司的命運(yùn)就危險了。
【本文是51CTO專欄作者“李少鵬”的原創(chuàng)文章，轉(zhuǎn)載請通過安全牛（微信公眾號id:gooann-sectv）獲取授權(quán)】
