大型語言模型 (LLM) 和 AI 聊天機(jī)器人引起了全世界的興趣，原因是 2022 年底發(fā)布的 ChatGPT 及其提供的查詢便利性。它現(xiàn)在是有史以來增長(zhǎng)最快的消費(fèi)者應(yīng)用程序之一，它的受歡迎程度正促使許多競(jìng)爭(zhēng)對(duì)手開發(fā)他們自己的服務(wù)和模型，或者快速部署他們一直在內(nèi)部開發(fā)的服務(wù)和模型。

與任何新興技術(shù)一樣，人們總是擔(dān)心這對(duì)安全意味著什么。該博客在近期更廣泛地考慮了 ChatGPT 和 LLM 的一些網(wǎng)絡(luò)安全方面。

什么是 ChatGPT，什么是LLMs？

ChatGPT 是由美國(guó)科技初創(chuàng)公司 OpenAI 開發(fā)的人工智能聊天機(jī)器人。它基于GPT-3，這是一種于 2020 年發(fā)布的語言模型，它使用深度學(xué)習(xí)來生成類似人類的文本，但底層的 LLM 技術(shù)已經(jīng)存在了很長(zhǎng)時(shí)間。

法學(xué)碩士是算法在大量基于文本的數(shù)據(jù)上進(jìn)行訓(xùn)練的地方，這些數(shù)據(jù)通常是從開放的互聯(lián)網(wǎng)上抓取的，因此涵蓋了網(wǎng)頁和——取決于法學(xué)碩士——其他來源，如科學(xué)研究、書籍或社交媒體帖子. 這涵蓋了如此大量的數(shù)據(jù)，以至于不可能在攝取時(shí)過濾掉所有令人反感或不準(zhǔn)確的內(nèi)容，因此“有爭(zhēng)議的”內(nèi)容很可能包含在其模型中。

這些算法分析不同單詞之間的關(guān)系，并將其轉(zhuǎn)化為概率模型。然后可以給算法一個(gè)“提示”（例如，通過問它一個(gè)問題），它會(huì)根據(jù)其模型中單詞的關(guān)系提供答案。

通常，其模型中的數(shù)據(jù)在訓(xùn)練后是靜態(tài)的，盡管它可以通過“微調(diào)”（對(duì)額外數(shù)據(jù)進(jìn)行訓(xùn)練）和“提示增強(qiáng)”（提供有關(guān)問題的上下文信息）進(jìn)行改進(jìn)。提示增強(qiáng)的示例可能是：

Taking into account the below information, how would you describe...

然后將可能大量的文本（或整個(gè)文檔）復(fù)制到提示/問題中。

ChatGPT有效地允許用戶向 LLM 提問，就像您在與聊天機(jī)器人進(jìn)行對(duì)話時(shí)一樣。最近的其他 LLM 示例包括Google 的 Bard和Meta 的 LLaMa（用于科學(xué)論文）的公告。

法學(xué)碩士無疑令人印象深刻，因?yàn)樗鼈兡軌蛞远喾N人類和計(jì)算機(jī)語言生成大量令人信服的內(nèi)容。然而，它們不是魔法，也不是通用人工智能，并且包含一些嚴(yán)重的缺陷，包括：

• 他們可能會(huì)弄錯(cuò)事情并“產(chǎn)生幻覺”不正確的事實(shí)
• 他們可能有偏見，通常容易上當(dāng)受騙（例如，在回答主要問題時(shí)）
• 他們需要巨大的計(jì)算資源和海量數(shù)據(jù)來從頭開始訓(xùn)練
• 他們可以被哄騙創(chuàng)造有毒內(nèi)容并且容易受到“注射攻擊”

LLM 會(huì)泄露我的信息嗎？

一個(gè)普遍的擔(dān)憂是 LLM 可能會(huì)從您的提示中“學(xué)習(xí)”，并將該信息提供給查詢相關(guān)內(nèi)容的其他人。這里有一些令人擔(dān)憂的原因，但不是出于許多人考慮的原因。當(dāng)前，對(duì) LLM 進(jìn)行訓(xùn)練，然后查詢生成的模型。LLM 不會(huì)（在撰寫本文時(shí)）自動(dòng)將查詢中的信息添加到其模型中以供其他人查詢。也就是說，在查詢中包含信息不會(huì)導(dǎo)致該數(shù)據(jù)被并入 LLM。

但是，查詢將對(duì)提供 LLM 的組織可見（對(duì)于 ChatGPT，對(duì) OpenAI 也是如此）。這些查詢被存儲(chǔ)起來，幾乎肯定會(huì)在某個(gè)時(shí)候用于開發(fā) LLM 服務(wù)或模型。這可能意味著 LLM 提供者（或其合作伙伴/承包商）能夠讀取查詢，并可能以某種方式將它們合并到未來的版本中。因此，在提出敏感問題之前，需要徹底了解使用條款和隱私政策。

一個(gè)問題可能是敏感的，因?yàn)椴樵冎邪瑪?shù)據(jù)，或者因?yàn)檎l（以及何時(shí)）提出問題。后者的例子可能是，如果發(fā)現(xiàn) CEO 曾問過“如何最好地解雇員工？”，或者有人問了暴露健康或人際關(guān)系的問題。還要記住使用同一登錄名跨多個(gè)查詢聚合信息。

另一個(gè)風(fēng)險(xiǎn)隨著越來越多的組織生產(chǎn) LLM 而增加，它是在線存儲(chǔ)的查詢可能被黑客攻擊、泄露，或者更有可能意外地公開訪問。這可能包括潛在的用戶身份信息。另一個(gè)風(fēng)險(xiǎn)是 LLM 的運(yùn)營(yíng)商后來被一個(gè)組織收購，該組織采用與用戶輸入數(shù)據(jù)時(shí)不同的隱私方法。

因此，NCSC 建議：

• 不要在對(duì)公共 LLM 的查詢中包含敏感信息
• 不要向公開的 LLM 提交會(huì)導(dǎo)致問題的查詢

我如何安全地向 LLM 提供敏感信息？

隨著 LLM 的興起，許多組織可能想知道他們是否可以使用 LLM 來自動(dòng)化某些業(yè)務(wù)任務(wù)，這可能涉及通過微調(diào)或及時(shí)擴(kuò)充來提供敏感信息。雖然不建議將此方法用于公共 LLM，但“私有 LLM”可能由云提供商提供（例如），或者可以完全自行托管：

• 對(duì)于云提供的 LLM，使用條款和隱私政策再次成為關(guān)鍵（因?yàn)樗鼈儗?duì)于公共 LLM），但更有可能符合云服務(wù)的現(xiàn)有條款。組織需要了解如何管理用于微調(diào)或提示擴(kuò)充的數(shù)據(jù)。供應(yīng)商的研究人員或合作伙伴是否可以使用它？如果是這樣，以什么形式？數(shù)據(jù)是單獨(dú)共享還是與其他組織匯總共享？提供商的員工在什么情況下可以查看查詢？
• 自托管 LLM可能非常昂貴。但是，經(jīng)過安全評(píng)估，它們可能適合處理組織數(shù)據(jù)。特別是，組織應(yīng)參考我們關(guān)于保護(hù)基礎(chǔ)設(shè)施和數(shù)據(jù)供應(yīng)鏈的指南。

LLMs是否讓網(wǎng)絡(luò)罪犯的生活更輕松？

已經(jīng)有一些令人難以置信的演示證明 LLM 如何幫助編寫惡意軟件。令人擔(dān)憂的是，LLM 可能會(huì)幫助懷有惡意（但技能不足）的人創(chuàng)建他們?cè)緹o法部署的工具。在他們目前的狀態(tài)下，LLMs 看起來令人信服（無論他們是否），并且適合簡(jiǎn)單的任務(wù)而不是復(fù)雜的任務(wù)。這意味著 LLM 可用于“幫助專家節(jié)省時(shí)間”，因?yàn)閷＜铱梢则?yàn)證 LLM 的輸出。

對(duì)于更復(fù)雜的任務(wù)，專家目前更容易從頭開始創(chuàng)建惡意軟件，而不必花時(shí)間糾正 LLM 生成的內(nèi)容。但是，能夠創(chuàng)建功能強(qiáng)大的惡意軟件的專家很可能能夠誘使 LLM 編寫功能強(qiáng)大的惡意軟件?！笆褂?LLM 從頭開始創(chuàng)建惡意軟件”和“驗(yàn)證 LLM 創(chuàng)建的惡意軟件”之間的權(quán)衡將隨著 LLM 的改進(jìn)而改變。

也可以詢問LLM以就技術(shù)問題提出建議。犯罪分子可能會(huì)使用 LLM 來幫助進(jìn)行超出其當(dāng)前能力的網(wǎng)絡(luò)攻擊，尤其是在攻擊者訪問網(wǎng)絡(luò)后。例如，如果攻擊者正在努力提升權(quán)限或查找數(shù)據(jù)，他們可能會(huì)詢問 LLM，并收到與搜索引擎結(jié)果不同但具有更多上下文的答案。當(dāng)前的 LLM 提供了聽起來令人信服的答案，但可能只是部分正確，尤其是當(dāng)該主題變得更加利基時(shí)。這些答案可能會(huì)幫助犯罪分子進(jìn)行他們無法以其他方式執(zhí)行的攻擊，或者他們可能會(huì)建議采取哪些行動(dòng)來加快對(duì)犯罪分子的偵查。無論哪種方式，攻擊者的查詢都可能被 LLM 操作員存儲(chǔ)和保留。

由于 LLM 擅長(zhǎng)按需復(fù)制寫作風(fēng)格，因此存在犯罪分子使用 LLM 編寫令人信服的網(wǎng)絡(luò)釣魚電子郵件（包括多種語言的電子郵件）的風(fēng)險(xiǎn)。這可以幫助具有高技術(shù)能力但缺乏語言技能的攻擊者，幫助他們使用目標(biāo)的母語創(chuàng)建令人信服的網(wǎng)絡(luò)釣魚電子郵件（或進(jìn)行社會(huì)工程）。

總而言之，在短期內(nèi)我們可能會(huì)看到：

• 由于 LLM，更有說服力的網(wǎng)絡(luò)釣魚電子郵件
• 攻擊者嘗試他們以前不熟悉的技術(shù)

技能較低的攻擊者編寫功能強(qiáng)大的惡意軟件的風(fēng)險(xiǎn)也很低。

總結(jié)

對(duì)于LLM來說，這是一個(gè)激動(dòng)人心的時(shí)刻，尤其是 ChatGPT 吸引了全世界的想象力。與所有技術(shù)發(fā)展一樣，會(huì)有人熱衷于使用它并研究它所提供的功能，以及可能永遠(yuǎn)不會(huì)使用它的人。

正如我們?cè)谏厦娓攀龅哪菢樱翢o疑問，不受限制地使用公共 LLM 存在風(fēng)險(xiǎn)。個(gè)人和組織應(yīng)格外小心他們選擇在提示中提交的數(shù)據(jù)。您應(yīng)該確保那些想要嘗試 LLM 的人能夠，但不會(huì)將組織數(shù)據(jù)置于風(fēng)險(xiǎn)之中。

NCSC 意識(shí)到與網(wǎng)絡(luò)安全和 LLM 的采用有關(guān)的其他新出現(xiàn)的威脅（和機(jī)會(huì)），我們當(dāng)然會(huì)在以后的博文中讓您了解這些。

——編譯自英國(guó)NCSC