論文指出，當(dāng)前絕大多數(shù)大語言模型的記憶（訓(xùn)練數(shù)據(jù)）可被恢復(fù)，無論該模型是否進行了所謂的“對齊”。黑客可以通過查詢模型來有效提取訓(xùn)練數(shù)據(jù)，甚至無需事先了解訓(xùn)練數(shù)據(jù)集。

研究者展示了如何從Pythia或GPT-Neo等開源語言模型、LLaMA或Falcon等主流半開放模型以及ChatGPT等封閉模型中提取數(shù)以GB計的訓(xùn)練數(shù)據(jù)。

研究者指出，已有技術(shù)足以攻擊未對齊的模型，對于已經(jīng)對齊的ChatGPT，研究者開發(fā)了一種新的發(fā)散數(shù)據(jù)提取攻擊，該攻擊會導(dǎo)致大語言模型改變聊天機器人的內(nèi)容生成方式，以比正常行為高150倍的速率瘋狂輸出訓(xùn)練數(shù)據(jù)（下圖）：

圖1:發(fā)散攻擊導(dǎo)致對齊后的chatGPT以150倍的速度輸出訓(xùn)練數(shù)據(jù)

研究者表示：發(fā)散數(shù)據(jù)提取攻擊方法在實際攻擊中可恢復(fù)的訓(xùn)練數(shù)據(jù)大大超出了事前的預(yù)期，同時也證明當(dāng)前的大語言模型對齊技術(shù)并不能真正消除記憶。

研究者利用偏差攻擊提取訓(xùn)練數(shù)據(jù)中的隱私信息

據(jù)研究者介紹，大型語言模型（LLMs）會從其訓(xùn)練數(shù)據(jù)集中記憶樣本，可被攻擊者利用提取隱私信息（上圖）。先前的安全研究工作已經(jīng)對開源模型記憶的訓(xùn)練數(shù)據(jù)總量進行了大規(guī)模研究，并且通過手動標注示記憶和非記憶樣本，開發(fā)并驗證了針對（相對）小型模型如GPT-2的訓(xùn)練數(shù)據(jù)提取攻擊。

在最新發(fā)布的論文中，研究者將“成員推斷攻擊”（用于確定數(shù)據(jù)樣本是否訓(xùn)練數(shù)據(jù)）和數(shù)據(jù)提取攻擊兩種方法統(tǒng)一起來，對語言模型中的“可提取記憶”進行了大規(guī)模研究。

研究者開發(fā)了一種可擴展方法，通過與TB級數(shù)據(jù)集比對，檢測模型輸出的數(shù)萬億個token的記憶內(nèi)容，并對流行的開源模型（例如Pythia，GPT-Neo）和半開源模型（例如LLaMA，F(xiàn)alcon）進行了分析。研究者發(fā)現(xiàn)，無論開源還是閉源的大語言模型都無法避免新的數(shù)據(jù)提取攻擊，而且參數(shù)和Tokens規(guī)模更大、性能更強勁的模型更容易受到數(shù)據(jù)提取攻擊：

九個開源大語言模型測試結(jié)果

九個半開源（訓(xùn)練算法和訓(xùn)練數(shù)據(jù)不公開）大語言模型的測試結(jié)果

研究者發(fā)現(xiàn)，“對齊模型”也不能避免新的數(shù)據(jù)提取攻擊。例如，gpt-3.5-turbo對常規(guī)數(shù)據(jù)提取攻擊免疫，看上去似乎成功“忘記了”訓(xùn)練數(shù)據(jù)。研究者推測是因為ChatGPT已經(jīng)通過RLHF進行了對齊，目的是使其成為“安全高效”的，可推向市場（生產(chǎn)環(huán)境）的個人聊天助手。

但研究者開發(fā)了新的提示策略（僅適用于GPT3.5turbo），成功繞過了gpt-3.5-turbo的對齊技術(shù)，使其“偏離”預(yù)設(shè)的聊天機器人風(fēng)格，表現(xiàn)得像一個基礎(chǔ)語言模型，以典型的web文本格式大量輸出文本。

為了檢查這些輸出的文本是否是此前從互聯(lián)網(wǎng)上采集的訓(xùn)練數(shù)據(jù)，研究者將幾個公開可用的大型網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集合并成一個9TB大小的數(shù)據(jù)集。通過與這個數(shù)據(jù)集匹配，研究者以200美元的查詢成本從ChatGPT對話中恢復(fù)了一萬多個訓(xùn)練數(shù)據(jù)集樣本。研究者粗略估計，通過更多的查詢可以提取超過10倍的（訓(xùn)練）數(shù)據(jù)。

研究者在論文中透露，在7月11日發(fā)現(xiàn)該漏洞后，通知了包括OPT、Falcon、Mistral和LLaMA等模型開發(fā)者，并在8月30日向OpenAI披露了其漏洞，并根據(jù)90天漏洞披露規(guī)則，于11月30日發(fā)布論文，希望能喚起業(yè)界對大語言模型數(shù)據(jù)安全和對齊挑戰(zhàn)的關(guān)注。

最后，研究者警告大語言模型應(yīng)用開發(fā)者，滲透測試結(jié)果表明現(xiàn)有的大語言模型安全措施（模型對齊和內(nèi)容記憶測試）難以發(fā)現(xiàn)大語言模型的隱私漏洞，更不用說那些隱藏在模型算法代碼中的“休眠漏洞”。如果沒有極端的安全措施，現(xiàn)階段不應(yīng)訓(xùn)練和部署涉及隱私和敏感信息的大模型應(yīng)用（編者：例如醫(yī)療、法律、工程）。