CIO在AI安全方面最大的盲點是什么?
AI競賽正在如火如荼地進行,但急于求成的企業(yè)可能會發(fā)現自己陷入了安全盲點。
創(chuàng)新與安全之間的緊張關系由來已久,創(chuàng)新者和CIO希望憑借新技術開辟道路,CISO和其他安全負責人則希望采取更為審慎的方法來降低風險。
近年來,隨著AI的崛起,人們經常用“軍備競賽”來形容其發(fā)展態(tài)勢,緊迫感切實存在,但那些有安全意識的人所擔心的風險仍然存在。
數據泄露、影子AI、幻覺、偏見、模型投毒、直接和間接的提示注入等,這些都是與使用AI相關的已知風險,但這并不意味著企業(yè)領導者了解這些風險如何在他們的企業(yè)和特定用例中表現出來。現在,自主式AI又被納入其中。
“企業(yè)正在非??斓爻灾骰牡缆非斑M,”Pangea公司創(chuàng)始人兼首席執(zhí)行官奧利弗·弗里德里希斯(Oliver Friedrichs)告訴記者。Pangea是一家為AI應用提供安全防護欄的公司。
那么,在企業(yè)急于掌握AI解決方案的力量時,可能會忽視哪些安全問題?
可見性
你的企業(yè)內部部署了多少個AI模型?回答這個問題可能不像你想的那么容易。
“我認為人們沒有意識到AI在大型企業(yè)中已經如此普遍地部署了,”Protect AI公司首席執(zhí)行官兼創(chuàng)始人伊恩·斯旺森(Ian Swanson)說。Protect AI是一家AI和機器學習安全公司?!癆I不僅僅是過去兩年才出現的新事物。GenAI以及我們所看到的大型語言模型的涌入產生了很多助力,但我們也需要盤點一下我們已經部署了什么?!?/p>
你不僅需要了解哪些模型正在使用,還需要了解這些模型是如何做出決策的。
“比如說,如果他們拒絕了一項人壽保險索賠,那么出于合規(guī)原因,需要有一些歷史記錄,以及診斷出錯誤發(fā)生原因的能力?!备ダ锏吕锵K拐f。
如果企業(yè)領導者不知道哪些AI模型正在使用以及這些模型的表現如何,那么他們甚至無法開始分析和緩解相關的安全風險。
可追溯性
斯旺森曾在國會的一次關于AI安全的聽證會上作證。他提出了一個簡單的比喻:AI就像蛋糕。如果你不知道蛋糕的配方、成分和烘焙師,你會吃一塊蛋糕嗎?盡管誘人的甜點可能很吸引人,但大多數人都會說不。
“AI是你不能、也不應該只是消費的東西。你應該了解它是如何構建的。你應該了解并確保它不包含惡意成分?!彼雇f。
AI模型在整個開發(fā)過程中是否已經得到保護?安全團隊是否有能力進行持續(xù)監(jiān)控?
“很明顯,安全不是一次性的檢查。這是一個持續(xù)的過程,這是很多企業(yè)目前正在打造的新能力?!彼雇a充道。
第三方和數據使用
第三方風險一直是安全團隊關注的焦點,這種風險隨著AI的加入而加劇。AI模型通常有第三方組件,而每一個額外的第三方都是企業(yè)數據的另一個潛在暴露點。
“我們真正要做的是去理解這些第三方正在為我們的組織做什么,”Tanium公司AI副總裁哈爾曼·考爾(Harman Kaur)說。Tanium是一家網絡安全和系統(tǒng)管理公司。
第三方是否可以訪問你的企業(yè)數據?他們是否將這些數據傳輸到你不希望它們去的地區(qū)?他們是否使用這些數據來訓練AI模型?企業(yè)團隊需要深入了解他們使用AI模型的任何協(xié)議的條款,以回答這些問題,并根據風險承受能力來決定如何推進。
法律風險
AI的法律環(huán)境仍然非常不成熟。法規(guī)仍在醞釀之中,但這并不否定法律風險的存在。已經有很多針對AI使用的訴訟和集體訴訟的例子。
“當事情變糟時,每個人都會被告上法庭。他們會互相指責,”卡斯坦斯、艾倫與古利律師事務所(Carstens, Allen & Gourley)的顧問羅伯特·W·泰勒(Robert W. Taylor)說。AI模型的開發(fā)者及其客戶可能會發(fā)現自己因造成損害的結果而承擔責任。
許多企業(yè)都面臨著這種風險?!爱敼究紤]構建或部署這些AI解決方案時,他們沒有進行全面的法律風險評估。”泰勒觀察到。
現在,預測AI合法性的最終走向,以及何時會發(fā)生這種情況,都不是一件容易的事。沒有路線圖,但這并不意味著企業(yè)團隊應該舉手投降,不考慮法律影響就一味向前沖。
“關鍵是要確保你深刻了解你所使用的技術存在的所有風險,然后盡你所能,通過遵循合理的最佳實踐來減輕這些危害,并記錄所有內容?!碧├照f。
負責任的AI
如今,許多關于負責任的AI使用的框架都可用,但魔鬼藏在細節(jié)中。
“我認為很多公司(包括我自己的客戶)都在努力做的事情是,將這些負責任的AI原則應用到具體用例中?!碧├辗窒淼?。
企業(yè)團隊必須做基礎工作,以確定其用例的具體風險,并了解他們如何將負責任的AI原則應用于緩解這些風險。
安全與創(chuàng)新的平衡
兼顧安全與創(chuàng)新就像在刀尖上保持平衡?;蛞贿叄銜惺艿皆贏I競賽中落后的刺痛?;蛄硪贿叄憧赡軙媾R忽視安全漏洞的后果,但什么都不做注定你會落后。
“我們看到它使一些企業(yè)陷入了癱瘓,他們不知道如何創(chuàng)建一個框架來判斷這是否是我們愿意接受的風險?!笨紶栒f。
以安全的心態(tài)采用AI,并不是說風險可以完全避免。當然,這不是真的。“現實是,這是一個發(fā)展如此迅速的領域,就像從消防水帶中喝水一樣?!备ダ锏吕锵K拐f。
企業(yè)團隊可以采取一些有意為之的步驟,以更好地了解其企業(yè)的AI的具體風險,同時朝著實現這項技術的價值邁進。
使用斯旺森的比喻來看,今天市場上所有的AI工具都像是蛋糕店里的蛋糕。每一個看起來都比上一個更美味,但企業(yè)可以通過從他們已經了解和信任的供應商開始來縮小決策過程。更容易知道蛋糕來自哪里,以及吃下去的風險。
“我已經信任并且在我的企業(yè)中已經存在的供應商是誰?我今天可以從這些供應商那里利用什么來提高生產力?”考爾說?!巴ǔ?,我們看到的情況是,對于這些組織,我們的法律團隊、安全團隊已經進行了廣泛的審查。所以,我們只需要做一部分增量工作?!?/p>
利用現有的風險框架,如美國國家標準與技術研究院(NIST)的AI風險管理框架。
“開始弄清楚哪些部分對你來說更重要,哪些對你來說是真正關鍵的,并開始通過這些過濾器來使用所有傳入的工具。”考爾說。
采取這種方法需要跨學科的努力。AI正在整個企業(yè)中應用。不同的團隊會以不同的方式定義和理解風險。
“拉入你的安全團隊、開發(fā)團隊、業(yè)務團隊,并有一個想要改進的流程的視線,從這個角度逆向工作?!彼雇ㄗh。
AI為企業(yè)帶來了驚人的機遇,而我們才剛剛開始探索這一學習曲線,但無論你是否看到,安全風險都將是這場對話中不可或缺的一部分。
“企業(yè)中不存在沒有安全的AI。為了發(fā)揮AI的價值,它必須是安全、可靠和受信任的。”斯旺森說。