在Black Hat USA 2024，一位研究人員披露了微軟AI助手Copilot存在的多個(gè)安全隱患，攻擊者能夠借此漏洞竊取敏感數(shù)據(jù)和企業(yè)憑證。

微軟聲稱，通過將任務(wù)委派給AI助手Copilot，每天可以節(jié)省數(shù)百小時(shí)的工作時(shí)間。Copilot是微軟在2023年2月推出的AI驅(qū)動(dòng)助手，它允許企業(yè)構(gòu)建和訓(xùn)練自己的AI助手，使得微軟應(yīng)用程序中的任務(wù)自動(dòng)化。Copilot基于大型語言模型，能夠接受文本、圖像和語音輸入，并在新的Windows 11 PC和Copilot PC上運(yùn)行。

然而，使用AI技術(shù)始終伴隨著風(fēng)險(xiǎn)。隨著關(guān)于大型科技公司如何處理用戶數(shù)據(jù)的討論愈發(fā)激烈，微軟堅(jiān)稱Copilot提供企業(yè)級(jí)安全保護(hù)，確保用戶數(shù)據(jù)不會(huì)被用于AI模型的訓(xùn)練。

盡管微軟做出了這樣的承諾，但網(wǎng)絡(luò)安全研究員Micahel Bargury卻在Black Hat USA 2024上展示了Copilot Studio的機(jī)器人如何輕松地繞過現(xiàn)有防護(hù)措施，竊取企業(yè)敏感數(shù)據(jù)。

泄露不僅可能，而且很可能

根據(jù)研究人員的說法，不安全的默認(rèn)設(shè)置、過度寬松的插件和過于樂觀的設(shè)計(jì)思維，使得數(shù)據(jù)泄露變得“很可能”。因?yàn)橛脩魟?chuàng)建的大多數(shù) Copilot Studio 機(jī)器人都不安全，很容易在網(wǎng)絡(luò)上被發(fā)現(xiàn)，所以必須將它們作為應(yīng)用程序安全計(jì)劃的一部分，以確保敏感數(shù)據(jù)不會(huì)泄露。

而且，Copilot 的界面和系統(tǒng)并不能防止錯(cuò)誤和惡意攻擊。

為此，Bargury創(chuàng)建了一個(gè)名為CopilotHunter的工具，它可以掃描公開可訪問的Copilot，并利用模糊測(cè)試和生成性AI技術(shù)來濫用它們，以提取敏感的企業(yè)數(shù)據(jù)。研究結(jié)果顯示，針對(duì)數(shù)千個(gè)可訪問的機(jī)器人進(jìn)行攻擊，揭示了惡意行為者可能利用的敏感數(shù)據(jù)和企業(yè)憑證。

Bargury表示，攻擊者可以遠(yuǎn)程控制你與Copilot的交互，使Copilot代表你執(zhí)行任何操作，操縱你并誤導(dǎo)你的決策，甚至完全控制Copilot向你發(fā)送的每一個(gè)字。

利用微軟Copilot的方法

研究人員指出，創(chuàng)建Copilot的初始步驟就存在安全隱患。用戶在創(chuàng)建自己的Copilot時(shí)，需要選擇一個(gè)“知識(shí)”來源來訓(xùn)練AI模型。

這些來源可能包括公共網(wǎng)站、上傳的文件、SharePoint、OneDrive或云數(shù)據(jù)庫(kù)Dataverse。Bargury警告說，即使是在這個(gè)階段，也存在潛在的安全風(fēng)險(xiǎn)，例如上傳的文件可能包含隱藏的元數(shù)據(jù)，或者敏感數(shù)據(jù)可能被不當(dāng)共享。

此外，使用SharePoint、OneDrive或Dataverse作為輸入源也可能引發(fā)數(shù)據(jù)過度共享的問題。盡管數(shù)據(jù)存儲(chǔ)在公司的云環(huán)境中，但用戶授權(quán)Copilot訪問所有子頁(yè)面，這可能導(dǎo)致數(shù)據(jù)泄露。

Bargury還提到，Copilot的“主題”功能也可能成為安全問題。主題定義了如何與AI進(jìn)行對(duì)話，一個(gè)主題包含一組觸發(fā)短語，即用戶在討論特定問題時(shí)可能會(huì)使用的短語、關(guān)鍵詞和問題，觸發(fā)短語有助于Copilot對(duì)問題做出恰當(dāng)?shù)姆磻?yīng)。

除了16個(gè)預(yù)設(shè)的主題外，用戶還可以創(chuàng)建自己的主題來定制Copilot，但名稱相似的主題可能會(huì)影響執(zhí)行路徑。

關(guān)于硬編碼憑證

某些連接和流程可能包含硬編碼憑證。硬編碼意味著將用戶名、密碼、API密鑰或其他敏感信息等驗(yàn)證數(shù)據(jù)直接嵌入到軟件或應(yīng)用程序的源代碼中。

雖然這是一種不安全的網(wǎng)絡(luò)安全做法，但這種情況仍然可能發(fā)生。如果這些憑證被輸入到AI模型中，情況可能會(huì)變得更加棘手。AI模型可能會(huì)分析這些資源并“學(xué)會(huì)”憑證，在Copilot的回答中提供硬編碼的憑證。

另一個(gè)潛在的薄弱點(diǎn)是通道和身份驗(yàn)證。目前，Copilot的默認(rèn)身份驗(yàn)證設(shè)置為“Teams”。然而，"無身份驗(yàn)證 "選項(xiàng)在界面中只需點(diǎn)擊一下即可完成，這很容易誘使用戶疏忽。

Bargury強(qiáng)調(diào)，賦予AI數(shù)據(jù)訪問權(quán)限可以使其變得有用，但同時(shí)也使其變得脆弱。每個(gè)組織都需要進(jìn)行風(fēng)險(xiǎn)評(píng)估找出問題所在，確保安全團(tuán)隊(duì)密切監(jiān)控這些AI助手的交互。特別是在使用Copilot Studio構(gòu)建自定義助手時(shí)，不應(yīng)僅僅依賴開發(fā)人員或公民開發(fā)者的決定，而應(yīng)與安全團(tuán)隊(duì)共同作出決策。

參考來源：https://cybernews.com/security/black-hat-microsoft-copilot-data-leak/