當你的隊友是臺機器:CISO應(yīng)該問的八個和AI相關(guān)的問題
AI正在改變我們做幾乎所有事情的方式——無論我們走到哪里,機器都在執(zhí)行過去由人類完成的任務(wù)。這些AI驅(qū)動的實例涵蓋了從自動駕駛汽車到客戶服務(wù)機器人的各個領(lǐng)域,這些機器人必須在人類上線之前進行導航。在網(wǎng)絡(luò)安全領(lǐng)域,AI已迅速成為攻擊者的朋友和力量倍增器。無論你喜歡與否,將機器視為隊友已成為既定現(xiàn)實,CISO必須學會接受,但他們在接受AI伙伴之前應(yīng)該問一些問題。
這個概念并不新鮮。2019年,一個由65名協(xié)作科學家組成的國際團隊就該主題提出了819個研究問題,目的是“提供一個研究議程以供協(xié)作研究人員調(diào)查設(shè)計的機器隊友的預(yù)期效果。”毫無疑問,來自協(xié)作科學家團隊的一些研究要點被納入了美國國防部“負責任的AI”原則和指南,其中概括了任何AI在使用前必須具備的五大要素:負責任、公平、可追溯、可靠和可治理。
讓AI做你的僚機
要想象AI作為行動中的隊友的概念,人們只需看看美國空軍的計劃,即通過將F-35多用途戰(zhàn)斗機與作為自主僚機的戰(zhàn)斗無人機配對,來提高其效率。與AI增強的無人機一起工作,這架飛機可以以超出人類能力的速度收集信息。這使得通過觀察、定位、決定、行動(OODA)循環(huán)的行動兼具速度和靈活性,這反過來又使實時信息的接受者變得更加嫻熟。
StrikeReady首席執(zhí)行官Anurag Gurtu表示,AI將有效地成為自動化流程的延伸,以發(fā)現(xiàn)更廣泛的信息,并幫助以越來越快的速度評估復(fù)雜性。當CISO希望提高生產(chǎn)力、增強熟練分析師的能力、減輕部分工作量并留住員工時,AI的效果無疑是最好的。
AI幫助加快決策進程
Gurtu補充道,AI還能幫助加速決策過程,增強檢測工作,并為分析師提供被攻擊的事件概率。在過去,決策樹和基于規(guī)則的模型使威脅和漏洞檢測成為一個相當費力的過程,但有了AI,我們可以引入不同的數(shù)據(jù)集,提高分析師的“可解釋性”。LIME(local Interpretable model-agnostic explanations)和SHAP(Shapley Additive explanations)都有助于解決“可解釋性”的苦差事。
Gurtu表示,“越來越多的實體正在整合生成式AI,他們必須為‘幻覺’的增長做好準備,隨著越來越多的實體這樣做,大規(guī)模的幻覺即將到來。避免在生成式AI的結(jié)果中產(chǎn)生‘幻覺’的方法是使用圖形AI語言模型?!?/p>
為了說明這一點,我們只需看看最近一位律師在AI聊天機器人的幫助下向法院提交的摘要,當它找不到現(xiàn)實世界的例子時,它會“幻覺”出不存在的案例。這導致法官發(fā)布了一項長期命令,即使用AI創(chuàng)建的任何摘要都必須由人類進行識別和驗證。Gurtu認為,“利用圖形方法,AI為用戶提供了極大的能力去理解上下文。如果沒有這些,結(jié)果將是大量的幻覺?!?/p>
機器隊友需要與人兼容
幾乎所有行業(yè)最終都會受到AI的影響,并與機器成為隊友。在2022年8月發(fā)表的《心理學前沿》(Frontiers In Psychology)文章中,作者指出,人類團隊的成功必須要有有效的團隊合作。其中,領(lǐng)導力、解決沖突能力、適應(yīng)能力和后援行為等因素已被確定為成功的團隊合作的關(guān)鍵方面。
作者推斷,要解決未來的人機團隊問題,將在一定程度上取決于機器代理,這些機器代理被設(shè)計成能夠成功地促進和參與與人類隊友的團隊合作。
在AI的背景下,信任仍然是一個主要的考慮因素。有多少實體將確保首席信任官(chief trust officer)的責任包括在產(chǎn)品和業(yè)務(wù)中以道德和負責任的方式使用AI?當AI犯錯誤時,誰報告錯誤?誰來糾正錯誤?如何衡量機器和人類隊友之間的信任關(guān)系呢?
每個CISO都應(yīng)該問的AI相關(guān)問題
IEEE成員、咨詢公司The Privacy Professor的創(chuàng)始人Rebecca Herold表示,將AI納入安全技術(shù)有許多潛在的好處:簡化工作以縮短項目完成時間,能夠快速做出決策,更迅速地發(fā)現(xiàn)問題。
但是,她補充說,也有很多不成熟的例子被采用,買家最終會一頭扎進AI池的最深處,而沒有仔細考慮AI是否像承諾的那樣工作。當有缺陷的AI產(chǎn)生錯誤結(jié)果,導致隱私泄露、偏見、安全事件和違規(guī)罰款時,那些使用AI的人會突然意識到AI的陰暗面。
為了獲得準確、無偏見、隱私保護和符合數(shù)據(jù)保護要求的結(jié)果,建議每個CISO都應(yīng)該詢問以下8個問題:
1. 是否進行了全面的測試以確保AI算法按預(yù)期工作?要求制造商和/或供應(yīng)商提供確認此類測試的文件,并確認所使用的標準和/或框架。例如,NISTAI風險管理框架(AI RMF 1.0)。
2. 用于訓練AI的數(shù)據(jù)從何而來?如此等資料包括個人資料,有關(guān)人士必須同意將其個人資料用于此等目的。
3. 為了防止或盡可能減輕結(jié)果中的偏見,該AI算法是如何設(shè)計的?要求查看記錄的結(jié)果。
4. 該算法是如何設(shè)計的,以減輕與生成式AI相關(guān)的新的和具有挑戰(zhàn)性的風險?要求查看有關(guān)他們計劃的文檔,以便在持續(xù)的基礎(chǔ)上進行管理。
5. 供應(yīng)商是否全面解決了與機器學習相關(guān)的安全問題,如果是,是如何解決的?要求查看文檔化的政策和程序。
6. AI的設(shè)計是否考慮了AI系統(tǒng)攻擊表面的復(fù)雜性,如果是,以何種方式?要求提供文檔以驗證所提供的信息。
7. 如何審查供應(yīng)鏈和第三方AI組件的安全和隱私風險,然后減輕風險?確保有一個持續(xù)的AI供應(yīng)鏈和第三方風險管理流程。
8. AI制造商或供應(yīng)商開發(fā)的AI產(chǎn)品是否符合其銷售地區(qū)的數(shù)據(jù)保護要求?
Herold補充道,僅僅相信銷售團隊的說法是不夠的,一個人必須培養(yǎng)自己的能力,找出棘手問題的答案,或者找到既值得信賴又有能力的第三方。
當AI成為合作伙伴時,人類必須加以引導
投資者兼演說家Barry Hurd表示,當機器成為團隊成員時,人類必須承擔機器決策的責任。他表示,“與AI團隊合作需要專門的人才來優(yōu)化工作關(guān)系,而非破壞工作關(guān)系。人類天生就不像機器那樣有足夠的容忍度。在科幻電影中,機械臂與虛弱的人體相比是堅不可摧的,我們的邏輯和決策能力與AI團隊成員的處理速度相比也同樣脆弱。”
Hurd指出,無論我們的行為是對還是錯,機器都會使我們的行為成倍增加。規(guī)模和速度需要與我們?nèi)祟惖姆磻?yīng)時間保持平衡,以保持道德、合規(guī)的行動時間。大規(guī)模的AI意味著在廣泛的部門領(lǐng)域可能會造成大規(guī)模的附帶損害。
Hurd稱,“一旦決定采取行動,在我們能夠再次猜測剛剛發(fā)生了什么之前,行動就會結(jié)束。然而,與一群了解如何實現(xiàn)有效倍數(shù)的有才華的人類合作伙伴配對,就可以形成一種共生關(guān)系,在這種關(guān)系中,批判性思維、主題專業(yè)知識和道德與有計劃的行動和規(guī)模自動化保持平衡。在這一點上,風險可以最小化,效率可以倍增。最優(yōu)秀的人才會創(chuàng)造出最好的技術(shù),反之亦然。”
Gurtu補充道,當AI隊友做出決定時,人類隊友還必須要能解釋為什么做出這種決定。