自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

黑客如何利用提示詞工程操縱 AI 代理?

安全
“提示詞工程”被黑客用來操縱AI代理,威脅企業(yè)安全。Gartner預(yù)測,到2028年,15%的日常決策將由AI自主完成。

“代理式”人工智能(Agentic AI)時(shí)代已經(jīng)到來,企業(yè)不能再忽視其變革潛力。AI代理能夠獨(dú)立運(yùn)行,根據(jù)其編程進(jìn)行決策和行動。Gartner預(yù)測,到2028年,15%的日常業(yè)務(wù)決策將完全由AI代理自主完成。

然而,隨著這些系統(tǒng)的廣泛應(yīng)用,它們被集成到關(guān)鍵業(yè)務(wù)操作中,同時(shí)擁有過大的權(quán)限——深度訪問系統(tǒng)、數(shù)據(jù)、功能和權(quán)限——使其成為網(wǎng)絡(luò)犯罪分子的誘人目標(biāo)。其中,威脅行為者利用提示詞工程(Prompt Engineering)來操縱、欺騙或破壞AI代理,這是一種隱蔽但強(qiáng)大的攻擊手段。

提示詞工程為何能被利用?

提示詞工程是指為AI系統(tǒng)(尤其是基于大語言模型[LLMs]的系統(tǒng))精心設(shè)計(jì)輸入(即“提示詞”),以引導(dǎo)其產(chǎn)生特定的響應(yīng)或行為。雖然提示詞工程通常用于合法的目的,例如指導(dǎo)AI的決策過程,但它也可能被威脅行為者利用,以影響其輸出,甚至操縱其底層數(shù)據(jù)或邏輯(即“提示詞注入”)。

威脅行為者如何利用提示詞工程攻擊AI代理?

威脅行為者通過多種提示詞工程技術(shù)來攻擊AI代理系統(tǒng),例如:

隱寫式提示詞(Steganographic Prompting)

是否還記得SEO投毒技術(shù)?該技術(shù)通過在白色背景上使用白色文字操控搜索引擎結(jié)果。當(dāng)用戶瀏覽網(wǎng)頁時(shí),他們無法看到這些隱藏文字,但搜索引擎爬蟲可以讀取。類似地,隱寫式提示詞技術(shù)通過嵌入隱藏文字或混淆指令,使其對人眼不可見,但可被大語言模型檢測到。例如,某CEO使用AI郵箱助理進(jìn)行回復(fù)。在發(fā)送郵件前,AI會進(jìn)行一些檢查以確保遵守編程規(guī)則(例如,不涉及緊急、敏感或?qū)S行畔ⅲ?。但如果郵件中包含一些對人眼不可見但被AI讀取的隱藏文字,可能會導(dǎo)致AI執(zhí)行未經(jīng)授權(quán)的操作、泄露機(jī)密信息,或生成不當(dāng)或有害的輸出。

通過這種方式,黑客可以利用AI的復(fù)雜性達(dá)成其惡意目的,這不僅對企業(yè)的安全構(gòu)成威脅,也對AI技術(shù)的發(fā)展提出了新的安全挑戰(zhàn)。

責(zé)任編輯:趙寧寧 來源: FreeBuf
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號