保護AI堆棧中的數(shù)據(jù)意味著了解數(shù)據(jù)流向何處以及防止濫用。

譯自Who’s Responsible When AI Agents Go Rogue?，作者 Vrajesh Bhavsar。

無論您身處科技界還是與家人共進晚餐，如今都無法逃脫AI的影響。我們許多人都經(jīng)歷了AI發(fā)展的幾個周期，每一個新的增長階段都會引發(fā)許多關于我們?nèi)绾巫叩竭@里以及我們將走向何方的疑問。幾年前，在ARM構(gòu)建機器學習產(chǎn)品時，我們也面臨著許多這樣的問題，創(chuàng)新和AI的獨立性是緊密交織的概念這一點非常清楚。

快進到今天的AI時代，雖然我們還沒有被天網(wǎng)接管，但人們、企業(yè)和社會越來越擔心最新階段的廣泛生成式AI應用帶來的新的攻擊面。無論您是擔心深度偽造驅(qū)動的社會工程攻擊、AI驅(qū)動的網(wǎng)絡釣魚攻擊還是提示注入攻擊，都有充分的理由擔心AI應用堆棧中潛伏的新風險；畢竟，AI并非存在于真空中——它集成在應用堆棧的每個層級的核心，處理海量數(shù)據(jù)，包括高度敏感的數(shù)據(jù)，并與各種第三方交換這些數(shù)據(jù)，無論是OpenAI這樣的AI API還是來自Hugging Face的內(nèi)部模型。

盡管AI有缺陷，但不可否認的是，它在生產(chǎn)力和創(chuàng)新方面具有巨大的潛力。雖然并不完美，但AI代理即將變得更加普遍。根據(jù)Capgemini的一項調(diào)查，82%的科技高管“打算在未來三年內(nèi)在其組織中整合基于AI的代理——高于目前擁有功能性代理的10%”。

隨著AI代理的日益普及，在其使用它們的重點行業(yè)中，潛在的危險也在增加。鑒于此，C級高管面臨著一個關鍵問題：當AI失控時，誰來負責？

AI的激增正在擾亂現(xiàn)代企業(yè)的組織結(jié)構(gòu)。Pearl Meyer的一份報告顯示，30%的公司選擇將AI相關的責任納入現(xiàn)有的高管角色。與此同時，“32%的公司正在采取去中心化的AI監(jiān)督方法，并期望AI工作由多個職能部門的各種領導者負責”。

在當今大多數(shù)組織中，CISO、CIO和CTO承擔著AI行為和安全的主要責任。這可能會在不同的領導角色之間造成緊張關系，因為CISO無法控制AI系統(tǒng)，但他們卻負責維護安全。

由于AI是共享責任，組織必須采用能夠明確定義問責制并彌合不同領導領域之間差距的策略和工具。

為AI的“黑箱”帶來透明度

透明度是實現(xiàn)問責制的重要第一步。作為一名工程師，當我解構(gòu)系統(tǒng)的工作原理時，我天生就感到快樂。在操作系統(tǒng)和加密領域之間架起橋梁，我了解了如何在這些復雜的軟件系統(tǒng)之間建立透明度和信任。

但這對于那些在AI開發(fā)前沿的人來說并非易事。傳統(tǒng)的軟件工程傾向于依賴于可以編寫和審核的預定義規(guī)則的確定性系統(tǒng)。相比之下，現(xiàn)代概率生成式AI系統(tǒng)根據(jù)其對可能性的復雜和多維計算做出（通常是不可預測的）預測。概率系統(tǒng)，就其本質(zhì)而言，是不透明的。

因此，如果AI代理失控并且無法解釋其決策，那么確定出了什么問題可能具有挑戰(zhàn)性（如果不是不可能的話）。那么，負責AI系統(tǒng)的領導者如何在這樣一個不完美的世界中獲得盡可能多的透明度和控制權(quán)呢？AI 的好壞取決于驅(qū)動它的數(shù)據(jù)——正如諺語所說，“垃圾進，垃圾出”——因此，清晰記錄哪些訓練數(shù)據(jù)正在為模型提供支持至關重要。盡可能頻繁地擦除和刪除可能有意或無意地被納入其建模中的私人信息，也至關重要。

當通過 AI API 部署 AI 時，團隊必須完整了解其數(shù)據(jù)和應用程序行為如何與外部實體（例如 Open AI）交互。他們需要了解哪些數(shù)據(jù)預期會流經(jīng)模型（以及哪些數(shù)據(jù)不會），并實時訪問其 AI 代理的運行方式，以便能夠立即捕獲和阻止意外行為，防止它們竊取數(shù)據(jù)或使整個系統(tǒng)癱瘓。

利用技術增強人工監(jiān)督

一些人認為，人類需要與 AI 交互才能使其保持問責制，但我們?nèi)绾尾拍鼙苊馊斯けO(jiān)督成為創(chuàng)新的障礙呢？

設計 AI 與人類專家互動以增強其能力而不是取代他們是一個良好的開端。然后，團隊必須利用技術主動限制對 AI 代理的訪問，以減少或消除惡意破壞的后果。

就像我們在網(wǎng)絡安全環(huán)境中強制執(zhí)行零信任一樣，訪問控制和權(quán)限是根據(jù)安全的“最小權(quán)限”模型分配給特定個人的，同樣也應該將“最小權(quán)限”邏輯應用于 AI 代理。這樣，AI 代理的任務就可以被限制，攻擊面也將減小。同時，在關鍵時刻進行人工監(jiān)督為最終負責其行為的團隊和領導者提供了至關重要的透明度和控制。

AI 革命正在蓬勃發(fā)展，但我們?nèi)蕴幱谄鸩诫A段。組織必須確定誰應對 AI 的行為負責，這可能意味著彌合 CISO、CIO 和 CTO 之間的差距，或聘用一位完全專注于 AI 的高管。通過建立問責制，提高透明度，并利用技術增強人工監(jiān)督，公司將能夠很好地利用 AI 的優(yōu)勢，安全可靠地推動創(chuàng)新。