隨著 AI 聊天機(jī)器人潛力的來龍去脈繼續(xù)成為頭條新聞，圍繞 ChatGPT 的狂熱仍然處于狂熱狀態(tài)。引起安全領(lǐng)域許多人注意的一個問題是，該技術(shù)對敏感業(yè)務(wù)數(shù)據(jù)的攝取是否會給組織帶來風(fēng)險。有人擔(dān)心，如果有人輸入敏感信息——季度報告、內(nèi)部演示材料、銷售數(shù)字等——并要求 ChatGPT 在其周圍書寫文本，那么任何人只要向 ChatGPT 詢問就可以獲得該公司的信息之后。

?其影響可能是深遠(yuǎn)的：想象一下，正在處理一個內(nèi)部演示文稿，其中包含新的公司數(shù)據(jù)，揭示了一個要在董事會會議上討論的公司問題。將這些專有信息泄露出去可能會破壞股價、消費(fèi)者態(tài)度和客戶信心。更糟糕的是，泄露的議程上的法律項(xiàng)目可能會使公司承擔(dān)真正的責(zé)任。但是這些事情中的任何一個真的可以僅僅通過放入聊天機(jī)器人中的東西而發(fā)生嗎？

研究公司 Cyberhaven 在 2 月份探索了這一概念，重點(diǎn)關(guān)注 OpenAI 如何使用人們輸入 ChatGPT 的內(nèi)容作為訓(xùn)練數(shù)據(jù)來改進(jìn)其技術(shù)，輸出與輸入的內(nèi)容非常相似。Cyberhaven 聲稱，如果第三方根據(jù)高管提供的信息向 ChatGPT 詢問某些問題，輸入 ChatGPT 的機(jī)密數(shù)據(jù)可能會泄露給第三方。

ChatGPT 不存儲用戶的輸入數(shù)據(jù)——是嗎？

英國國家網(wǎng)絡(luò)安全中心 (NCSC)在 3 月份分享了對此事的進(jìn)一步見解，指出 ChatGPT 和其他大型語言模型 (LLM) 目前不會自動將查詢中的信息添加到模型中供其他人查詢。也就是說，在查詢中包含信息不會導(dǎo)致將潛在的私有數(shù)據(jù)合并到 LLM 中?！暗牵樵儗μ峁?LLM 的組織可見（在 ChatGPT 的情況下，對 OpenAI 也是如此），”它寫道。

“這些查詢已被存儲，幾乎肯定會在某個時候用于開發(fā) LLM 服務(wù)或模型。這可能意味著 LLM 提供商（或其合作伙伴/承包商）能夠讀取查詢，并可能以某種方式將它們合并到未來的版本中，”它補(bǔ)充道。NCSC 寫道，另一個風(fēng)險隨著越來越多的組織生產(chǎn)和使用 LLM 而增加，即在線存儲的查詢可能被黑客攻擊、泄露或意外公開。

最終，對于 ChatGPT 輸入和使用的敏感業(yè)務(wù)數(shù)據(jù)的擔(dān)憂是有真正原因的，盡管風(fēng)險可能不像某些頭條新聞所描述的那樣普遍。

將敏感數(shù)據(jù)輸入 ChatGPT 的可能風(fēng)險

法學(xué)碩士表現(xiàn)出一種稱為情境學(xué)習(xí)的涌現(xiàn)行為。在會話期間，當(dāng)模型接收到輸入時，它可以根據(jù)這些輸入中包含的上下文來執(zhí)行任務(wù)?！斑@很可能是人們擔(dān)心信息泄露時所指的現(xiàn)象。然而，來自一個用戶會話的信息不可能泄露給另一個用戶，”WithSecure 的高級研究員 Andy Patel 告訴 CSO?！傲硪粋€擔(dān)憂是，輸入到 ChatGPT 界面的提示將被收集并用于未來的訓(xùn)練數(shù)據(jù)?！?/p>

帕特爾說，雖然擔(dān)心聊天機(jī)器人會攝取然后反芻敏感信息是有道理的，但需要訓(xùn)練一個新模型來整合這些數(shù)據(jù)。訓(xùn)練 LLM 是一個昂貴且漫長的過程，他說如果在不久的將來用 ChatGPT 收集的數(shù)據(jù)訓(xùn)練模型，他會感到驚訝?！叭绻罱K創(chuàng)建了一個包含收集的 ChatGPT 提示的新模型，我們的恐懼就會轉(zhuǎn)向成員推理攻擊。此類攻擊有可能暴露訓(xùn)練數(shù)據(jù)中的信用卡號或個人信息。但是，沒有針對支持 ChatGPT 和其他類似系統(tǒng)的 LLM 證明成員推理攻擊?！?nbsp;這意味著未來的模型極不可能容易受到成員推理攻擊。

與 AI 的第三方鏈接可能會暴露數(shù)據(jù)

Orange Cyberdefense 的高級安全研究員 Wicus Ross 表示，問題最有可能是由未明確聲明其隱私政策的外部提供商引起的，因此將它們與其他安全工具和平臺一起使用可能會使任何隱私數(shù)據(jù)面臨風(fēng)險?！癝lack 和 Microsoft Teams 等 SaaS 平臺具有清晰的數(shù)據(jù)和處理邊界，數(shù)據(jù)暴露給第三方的風(fēng)險較低。然而，如果使用需要與用戶交互的第三方插件或機(jī)器人來增強(qiáng)服務(wù)，無論它們是否與人工智能相關(guān)聯(lián)，這些清晰的界限很快就會變得模糊，”他說。“在沒有第三方處理者保證信息不會泄露的明確聲明的情況下，你必須假設(shè)它不再是私人的?！?/p>

Netskope 的 EMEA 首席信息安全官 Neil Thacker 告訴 CSO，除了普通用戶共享的敏感數(shù)據(jù)外，公司還應(yīng)該意識到提示注入攻擊，這些攻擊可能會泄露開發(fā)人員在調(diào)整工具時提供的先前指令，或者使其忽略先前編程的指令。“最近的例子包括 Twitter 惡作劇者改變了機(jī)器人的行為和Bing Chat 的問題，研究人員在其中找到了一種方法，可以讓 ChatGPT 披露之前可能由微軟編寫的應(yīng)該隱藏的指令?！?/p>

控制提交給 ChatGPT 的數(shù)據(jù)

據(jù) Cyberhaven 稱，敏感數(shù)據(jù)目前占員工粘貼到 ChatGPT 的內(nèi)容的 11%，平均每家公司每周向 ChatGPT 泄露敏感數(shù)據(jù)數(shù)百次?！癈hatGPT 正在從炒作走向現(xiàn)實(shí)世界，組織正在嘗試在其業(yè)務(wù)中實(shí)際實(shí)施以加入其他基于 ML/AI 的工具，但需要謹(jǐn)慎行事，尤其是在共享機(jī)密信息時，”薩克說?！皯?yīng)該考慮數(shù)據(jù)所有權(quán)的各個方面，以及如果托管數(shù)據(jù)的組織遭到破壞會產(chǎn)生什么潛在影響。作為一項(xiàng)簡單的練習(xí)，信息安全專業(yè)人員至少應(yīng)該能夠識別在這些服務(wù)遭到破壞時可能訪問的數(shù)據(jù)類別?！?/p>

最終，企業(yè)有責(zé)任確保其用戶充分了解哪些信息應(yīng)該和不應(yīng)該向 ChatGPT 披露。NCSC 表示，組織應(yīng)該非常小心他們選擇在提示中提交的數(shù)據(jù)：“你應(yīng)該確保那些想要嘗試 LLM 的人能夠，但不會將組織數(shù)據(jù)置于風(fēng)險之中?！?/p>

警告員工聊天機(jī)器人的潛在危險

然而，Cyberhaven 警告說，識別和控制員工提交給 ChatGPT 的數(shù)據(jù)并非沒有挑戰(zhàn)?！爱?dāng)員工將公司數(shù)據(jù)輸入 ChatGPT 時，他們不會上傳文件，而是將內(nèi)容復(fù)制并粘貼到他們的網(wǎng)絡(luò)瀏覽器中。許多安全產(chǎn)品都是圍繞保護(hù)文件（標(biāo)記為機(jī)密）不被上傳而設(shè)計(jì)的，但是一旦內(nèi)容被從文件中復(fù)制出來，他們就無法對其進(jìn)行跟蹤，”它寫道。此外，Cyberhaven 表示，進(jìn)入 ChatGPT 的公司數(shù)據(jù)通常不包含安全工具尋找的可識別模式，例如信用卡號或社會保險號?！霸诓涣私馄渖舷挛牡那闆r下，今天的安全工具無法區(qū)分輸入自助餐廳菜單的人和公司的并購計(jì)劃。”

Thacker 說，為了提高可見性，組織應(yīng)該在其安全 Web 網(wǎng)關(guān) (SWG) 上實(shí)施策略來識別人工智能工具的使用，并且還可以應(yīng)用數(shù)據(jù)丟失防護(hù) (DLP) 策略來識別哪些數(shù)據(jù)被提交給這些工具。

Jamf 投資組合戰(zhàn)略副總裁 Michael Covington 說，組織應(yīng)該更新信息保護(hù)政策，以確?？梢越邮艿臋C(jī)密數(shù)據(jù)處理程序的應(yīng)用程序類型得到妥善記錄?！翱刂菩畔⒘魇加谟袚?jù)可查且知情的政策，”他說。“此外，組織應(yīng)該探索如何利用這些新技術(shù)以深思熟慮的方式改善他們的業(yè)務(wù)。不要因?yàn)榭謶趾筒淮_定性而回避這些服務(wù)，而是要投入一些人員來探索顯示潛力的新工具，這樣您就可以及早了解風(fēng)險，并確保在早期的最終用戶采用者想要開始使用這些工具時提供足夠的保護(hù)”