近日，一場(chǎng)針對(duì)谷歌 Gemini Advanced 聊天機(jī)器人的復(fù)雜攻擊被曝光。該攻擊利用間接提示詞注入和延遲工具調(diào)用這兩種手段，成功破壞了 AI 的長(zhǎng)期記憶，使攻擊者能夠在用戶會(huì)話間植入虛假信息。

這一漏洞引發(fā)了人們對(duì)生成式AI系統(tǒng)安全性的嚴(yán)重?fù)?dān)憂，尤其是那些旨在長(zhǎng)期保留用戶特定數(shù)據(jù)的系統(tǒng)。

提示詞注入與延遲工具調(diào)用

提示詞注入是一種網(wǎng)絡(luò)攻擊方式，攻擊者將惡意指令隱藏在看似無害的輸入（如文檔或電子郵件）中，交由AI處理。

間接提示詞注入是一種更為隱蔽的變體，惡意指令被隱藏在外部?jī)?nèi)容中。AI將這些嵌入的指令誤解為合法的用戶提示，從而執(zhí)行非預(yù)期的操作。

根據(jù)Johann Rehberger的研究，該攻擊基于一種名為延遲工具調(diào)用的技術(shù)。惡意指令不會(huì)立即執(zhí)行，而是等待特定用戶行為觸發(fā)，比如用戶回復(fù)“是”或“否”等關(guān)鍵詞。這種方式利用了AI的上下文感知能力及其優(yōu)先考慮用戶意圖的傾向，避開了許多現(xiàn)有保護(hù)措施。

攻擊的目標(biāo)是Gemini Advanced，這是谷歌配備長(zhǎng)期記憶功能的高級(jí)聊天機(jī)器人。

• 通過不可信內(nèi)容注入：攻擊者上傳惡意文檔，并由Gemini進(jìn)行摘要。文檔中隱藏著操縱摘要過程的指令。
• 觸發(fā)式激活：摘要中包含一個(gè)隱性請(qǐng)求，將記憶更新與特定用戶響應(yīng)相關(guān)聯(lián)。
• 記憶篡改：如果用戶在不知情的情況下用觸發(fā)詞回復(fù)，Gemini會(huì)執(zhí)行隱藏指令，將虛假信息（如偽造的個(gè)人資料）保存到長(zhǎng)期記憶中。

例如，Rehberger演示了這種策略如何讓Gemini“記住”某位用戶年齡102歲、相信地平說，并且生活在類似《黑客帝國(guó)》的模擬反烏托邦世界中。這些虛假記憶會(huì)跨越會(huì)話持續(xù)存在，并影響后續(xù)交互。

長(zhǎng)期記憶操縱的潛在影響

AI系統(tǒng)的長(zhǎng)期記憶旨在通過跨會(huì)話調(diào)用相關(guān)細(xì)節(jié)來增強(qiáng)用戶體驗(yàn)。然而，一旦被利用，這一功能就變成了雙刃劍。被篡改的記憶可能導(dǎo)致：

• 誤導(dǎo)信息：AI可能基于虛假數(shù)據(jù)提供不準(zhǔn)確的回應(yīng)。
• 用戶操縱：攻擊者可以誘導(dǎo)AI在特定情況下執(zhí)行惡意指令。
• 數(shù)據(jù)泄露：通過將敏感信息嵌入指向攻擊者控制服務(wù)器的Markdown鏈接等創(chuàng)造性方式，可能導(dǎo)致數(shù)據(jù)外泄。

盡管谷歌已承認(rèn)這一問題，但對(duì)其影響和危險(xiǎn)性進(jìn)行了淡化。該公司認(rèn)為，攻擊需要用戶被釣魚或誘導(dǎo)與惡意內(nèi)容互動(dòng)，這種場(chǎng)景在大規(guī)模范圍內(nèi)不太可能發(fā)生。此外，Gemini在存儲(chǔ)新的長(zhǎng)期記憶時(shí)會(huì)通知用戶，為警惕的用戶提供了檢測(cè)和刪除未經(jīng)授權(quán)條目的機(jī)會(huì)。

然而，專家指出，僅解決表象而非根源問題，系統(tǒng)依然存在漏洞。Rehberger強(qiáng)調(diào)，盡管谷歌已限制Markdown渲染等特定功能以防止數(shù)據(jù)泄露，但生成式AI的基礎(chǔ)問題仍未得到解決。

這一事件凸顯了確保大型語言模型（LLMs）免受提示詞注入攻擊的持續(xù)挑戰(zhàn)。