企業(yè)員工正以驚人的速度通過未授權(quán)和已授權(quán)的GenAI應用泄露敏感企業(yè)數(shù)據(jù)。堵住這些泄露至關(guān)重要，以降低風險暴露。

員工通過GenAI泄露數(shù)據(jù)正成為企業(yè)的噩夢。

根據(jù)Harmonic最近發(fā)布的關(guān)于GenAI數(shù)據(jù)泄露的報告，8.5%的員工向熱門大型語言模型(LLM)發(fā)送的提示中包含敏感數(shù)據(jù)，這引發(fā)了安全、合規(guī)、隱私和法律方面的擔憂。

Harmonic在2024年第四季度分析了數(shù)萬個向ChatGPT、Copilot、Gemini、Claude和Perplexity發(fā)送的提示，發(fā)現(xiàn)客戶數(shù)據(jù)(包括賬單信息和認證數(shù)據(jù))占泄露數(shù)據(jù)的最大比例，為46%。Harmonic特別指出，保險索賠是一種充滿客戶數(shù)據(jù)的報告類型，員工經(jīng)常將其輸入GenAI工具中以節(jié)省處理時間。

員工數(shù)據(jù)(包括薪資數(shù)據(jù)和個人身份信息PII)占敏感提示的27%，其次是法律和財務(wù)數(shù)據(jù)，占15%。

“與安全相關(guān)的信息占敏感提示的6.88%，尤其令人擔憂，”報告稱?！袄纾瑵B透測試結(jié)果、網(wǎng)絡(luò)配置和事件報告。這些數(shù)據(jù)可能為攻擊者提供利用漏洞的藍圖?！?/p>

走出陰影

GenAI數(shù)據(jù)泄露是一個棘手的問題，也是企業(yè)GenAI戰(zhàn)略讓CISO陷入困境的主要原因之一。

企業(yè)LLM的使用大致分為三類：授權(quán)部署，包括許可和內(nèi)部開發(fā)的實施，影子AI，通常包括企業(yè)出于合理原因禁止使用的免費消費級應用，以及半影子GenAI。

未授權(quán)的影子AI是CISO面臨的主要問題，但最后一類問題日益嚴重，可能是最難控制的。半影子AI由業(yè)務(wù)部門負責人發(fā)起，可能包括未經(jīng)IT批準的付費GenAI應用，用于實驗、提高效率或增強生產(chǎn)力。在這種情況下，高管可能在進行影子IT活動，而一線業(yè)務(wù)員工則沒有，因為他們被告知要使用這些工具作為企業(yè)AI戰(zhàn)略的一部分。

無論是影子AI還是半影子AI，免費GenAI應用都是最成問題的，因為它們的許可條款通常允許對每個查詢進行訓練。根據(jù)Harmonic的研究，免費層級AI的使用占敏感數(shù)據(jù)泄露的最大比例。例如，54%的敏感提示是在ChatGPT的免費層級上輸入的。

但大多數(shù)數(shù)據(jù)專家也勸阻CISO不要相信付費GenAI應用的合同承諾，其中大多數(shù)禁止在企業(yè)版本中對用戶查詢進行訓練。

Carstens, Allen & Gourley知識產(chǎn)權(quán)律師事務(wù)所的律師Robert Taylor以商業(yè)秘密為例。他說，如果員工向GenAI系統(tǒng)提出一個問題，該問題揭示了商業(yè)秘密，那么各種法律保護(尤其是商業(yè)秘密保護)可能會喪失。他還補充說，保護知識產(chǎn)權(quán)的律師經(jīng)常讓團隊成員向各種AI應用詢問關(guān)于商業(yè)秘密的問題，以查看是否發(fā)現(xiàn)了禁止的數(shù)據(jù)。如果是這樣，那么他們就知道有人泄露了信息。

如果競爭對手得知了泄露事件，它可以在法庭上辯稱泄露事件使商業(yè)秘密的法律保護失效。據(jù)Taylor稱，IP所有者的律師必須證明企業(yè)部署了一系列機制來保護秘密。依賴合同中禁止對GenAI查詢進行訓練的條款“并不是足夠合理的努力水平”，Taylor說。

“這將是一個綜合考慮各種情況的情況，”他說。企業(yè)必須部署并嚴格執(zhí)行“限制員工使用數(shù)據(jù)的政策”。

數(shù)據(jù)意識實踐

Forrester的副總裁兼首席分析師Jeff Pollard表示，CISO應與業(yè)務(wù)領(lǐng)導者合作，確保員工接受培訓，以了解如何從LLM中獲得相同結(jié)果而無需使用受保護的數(shù)據(jù)。這樣做需要對提示進行更精細的處理，但可以保護敏感信息而不削弱AI生成答案的有效性。

“你真的不需要透露敏感信息就能從系統(tǒng)中獲得正面收益，但我們必須培訓用戶了解查詢措辭”策略，Pollard說。

當談到員工使用免費AI工具而不是受限制的企業(yè)付費應用時，“打擊員工是最明顯的事情，但核心問題是：‘為什么員工要這么做?’”Gartner的杰出副總裁兼分析師Arun Chandrasekaran問道。

“員工之所以這么做，是因為IT沒有為他們提供所需的工具?！彼q稱。

Chandrasekaran表示，CISO應向他們的C級高管指出這一點，以幫助執(zhí)行企業(yè)范圍內(nèi)的AI工具應“真正可用”的原則。

不幸的是，據(jù)軟件供應商Unily的高級社區(qū)和合作伙伴營銷經(jīng)理Kaz Hassan稱，對于GenAI來說，木已成舟。

“員工對AI的使用已經(jīng)超出了IT團隊追趕的能力，”他說?！癐T團隊知道情況不妙，但無法破解溝通、文化或戰(zhàn)略方面的難題以產(chǎn)生影響?！?/p>

Hassan補充說：“需要一個新的藍圖，組織現(xiàn)在需要明確的AI戰(zhàn)略來降低風險，并且需要立即將AI融入員工的技術(shù)堆棧中?！?/p>

他聲稱，典型的監(jiān)控和控制應用未能抓住數(shù)據(jù)泄露的要點。

“高級用戶通過未授權(quán)的AI工具處理敏感數(shù)據(jù)，不是因為他們無法被控制，而是因為他們不會被放慢速度。舊的限制和保護策略不僅失敗了——它還在積極推動AI創(chuàng)新走向陰影，”Hassan說?！癈ISO需要面對這個現(xiàn)實：要么領(lǐng)導AI轉(zhuǎn)型，要么眼睜睜看著自己的安全邊界瓦解?！?/p>

Hassan指出，GenAI帶來的數(shù)據(jù)問題有兩個方向：敏感數(shù)據(jù)通過查詢泄露出去，以及有缺陷的數(shù)據(jù)(無論是通過幻覺還是基于錯誤信息的訓練)通過GenAI答案進入企業(yè)，而你的團隊依賴這些答案進行企業(yè)分析。

“當今的CISO不應只擔心敏感數(shù)據(jù)泄露出去，”Hassan說?！八麄冞€應該擔心壞數(shù)據(jù)進來?！?/p>