GenAI帶來了諸多益處，但同時也伴隨著數據安全風險，這主要通過影子AI的使用和敏感信息的泄露來實現。

在企業(yè)中，這些風險正在加劇，因為員工經常使用私人GenAI賬戶來處理敏感數據。

根據Netskope的一項研究，盡管大多數企業(yè)(90%)都提供了官方批準的GenAI應用，甚至更多(98%)的企業(yè)為用戶提供了包含AI功能的應用，但企業(yè)中未經授權的AI服務使用仍在激增。

在企業(yè)中，大多數GenAI的使用(72%)都屬于影子IT，即個人使用私人賬戶訪問AI應用，這種形式的私人賬戶AI使用往往不受安全團隊的跟蹤，也不受企業(yè)安全政策的約束。

Netskope發(fā)現，在過去一年中，發(fā)送到GenAI應用的數據(包括提示和上傳內容)數量增加了30多倍，導致敏感數據暴露量增加，特別是源代碼、受監(jiān)管數據、知識產權和機密信息。

數據量從每月250MB增加到7.7GB，主要以提示和上傳的形式存在，盡管這些應用的使用者只是企業(yè)用戶中的一小部分(4.9%)。

另一項來自Harmonic Security的研究發(fā)現，在2024年第四季度，員工向熱門大型語言模型(LLM)發(fā)出的提示中，有8.5%包含了敏感數據，這些敏感泄露數據中，近一半是客戶數據，包括賬單信息和認證數據。法律和財務數據占暴露信息的15%，而安全相關數據(如滲透測試結果等)則占令人擔憂的7%。

缺乏監(jiān)督

影子AI是指企業(yè)內未經授權使用的AI服務，這些服務不受安全團隊的跟蹤，也不受政策限制的管理。安全和AI專家表示，幾乎每個未能實施AI可接受使用政策的組織都可能因此途徑而丟失敏感內部數據。

與影子AI相關的風險包括但不限于數據泄露，以及用戶個人數據的合規(guī)和監(jiān)管風險。

KnowBe4的安全意識倡導者James McQuiggan表示：“員工在沒有IT監(jiān)督的情況下使用GenAI工具，經常將敏感數據粘貼到私人賬戶中，或依賴未經審查的代碼建議，這些行為會增加數據泄露、合規(guī)違規(guī)和軟件完整性受損的風險，而用戶往往意識不到這些影響?！?/p>

全球網絡安全公司NCC Group的技術總監(jiān)David Brauchler表示，影子AI已成為安全領導者必須應對的必然趨勢。

“員工發(fā)現AI很有用，但如果沒有得到批準和認可的方式來利用其能力，企業(yè)可能會很快發(fā)現敏感數據落入了第三方手中，”Brauchler警告說?！斑@些數據可能會進入訓練數據集，甚至可能通過漏洞和攻擊直接暴露給攻擊者，這種情況已經發(fā)生過多次?！?/p>

治理風險

Rapid7的數據和AI副總裁Laura Ellis警告說，影子AI給企業(yè)帶來了重大的數據治理風險。

“未經授權的AI工具使用可能導致敏感公司甚至客戶信息的不經意暴露，從而產生潛在的合規(guī)和安全風險，”Ellis警告說?！按送猓蕾囄唇泴彶榈腁I輸出會增加事實不準確的風險，這可能對品牌信譽和信任產生負面影響?！?/p>

其他專家將AI的使用描述為一個監(jiān)管不善、為所欲為的環(huán)境。

全球網絡安全供應商Trend Micro的現場首席技術官Bharat Mistry警告說：“數據泄露、知識產權盜竊和監(jiān)管罰款不是假設，而是使用未經批準的AI的必然結果?！薄斑@些工具中的許多在法律和合規(guī)灰色地帶運作，完全無視行業(yè)特定法規(guī)和數據保護法?！?/p>

Mistry補充道：“更糟糕的是，IT和安全團隊不得不追逐這些影子。隨著未經授權的工具在各部門中的使用越來越多，可見性、控制和風險管理都無從談起?！?/p>

行業(yè)分析師Bloor Research的專家研究員Cheney Hamilton警告說，GenAI工具正在迅速嵌入工作流程中，但往往缺乏監(jiān)督——這與影子IT系統(tǒng)更廣泛地興起的發(fā)展態(tài)勢相平行，并在此過程中產生了類似的風險。

“風險不僅僅是技術上的，更是行為上的，”Hamilton說?！皢T工正在使用GenAI工具來更快地完成工作，但如果沒有明確的參數，敏感數據就會以傳統(tǒng)安全框架無法捕捉到的方式暴露出來?！?/p>

Hamilton補充道：“現在需要的是從反應性控制轉向嵌入勞動力政策、工作設計和甚至領導結構的主動性AI治理，因為GenAI不應該僅僅由IT或信息安全部門負責，它還需要來自人力資源、法律和合規(guī)部門的跨職能所有權?！?/p>

風險緩解

ChatGPT、Google Gemini和GitHub Copilot等工具的廣泛采用正在創(chuàng)造一個網絡安全治理挑戰(zhàn)，而傳統(tǒng)的方法和工具則難以應對。

專家指出，安全領導者需要采用明確的AI治理政策、定期對AI系統(tǒng)進行紅隊測試以識別漏洞，以及全面的員工意識培訓等措施來緩解與影子AI相關的風險。

這些措施應包括：

? 實時監(jiān)控：安全領導者應部署系統(tǒng)來跟蹤和管理輸入到GenAI(以及AI賦能的SaaS)工具中的數據。

? 批準的AI列表：CISO應確保批準的AI供應商通過合同保護企業(yè)的數據隱私，并監(jiān)控或阻止使用未經批準的AI解決方案。

? 應用計劃識別：安全領導者應確保員工使用的是付費計劃，或不基于輸入數據進行訓練的計劃。

? 提示級可見性：安全團隊需要對共享到這些工具中的數據有完全可見性——僅僅監(jiān)控使用情況是不夠的。

? 敏感數據分類：安全系統(tǒng)必須能夠在數據丟失時識別出敏感數據。

? 智能規(guī)則執(zhí)行：CISO應與業(yè)務領導者合作，創(chuàng)建批準的工作流程，以塑造各部門或團體如何與GenAI工具互動。

? 用戶教育：必須對員工進行有關風險和最佳實踐的培訓，以負責任地使用AI。

? 制定使用政策：安全領導者必須與業(yè)務領導者合作，定義AI的使用方式，包括哪些類別的內部數據可以發(fā)送給批準的供應商。應建立明確禁止的使用案例。

一般來說，安全團隊應監(jiān)控組織內部的數據流動，并識別關鍵風險來源，無論是AI還是其他來源。AI水印可能有助于識別AI生成的內容，但并不能防止敏感信息首先丟失。

數據丟失防護(DLP)可以幫助識別有風險信息的導出，但一些專家認為，該技術作為限制通過GenAI工具泄露信息的手段是有限的。

Mindgard是一家AI安全測試公司，其CEO兼聯合創(chuàng)始人Peter Garraghan警告說，GenAI引入了一類新的風險，這些風險超出了傳統(tǒng)控制手段(如阻止、DLP和實時指導)的有效管理范圍。

“問題在于現代AI系統(tǒng)的復雜性和不透明性，或黑盒性質，”Garraghan解釋說。敏感信息可以在AI模型或應用程序中被攝入、轉換甚至模糊處理，然后再輸出給用戶。

Garraghan繼續(xù)說道：“在這些情況下，標準控制手段在識別底層數據或上下文方面手段有限，這意味著潛在敏感信息可能在不觸發(fā)任何警報的情況下被外泄?！?/p>

為了真正確保GenAI的安全，組織需要一層專為這種新范式構建的保護，這包括能夠發(fā)現和證明這些漏洞存在的安全測試工具，以及運行時檢測AI特定漏洞的能力。

“這些問題只有在模型執(zhí)行時才會出現，如通過嵌入或編碼導致的數據泄露，”Garraghan(同時也是英國蘭卡斯特大學的計算機科學教授)補充道。