GenAI模型很容易受到攻擊
根據(jù)Lakera的報告,95%的網(wǎng)絡安全專家對GenAI的安全措施表示信心不足,同時紅隊數(shù)據(jù)表明,任何人都能輕易攻擊GenAI模型。
針對GenAI的特定攻擊方法,即提示攻擊,任何人都可以輕松利用這些方法來操縱應用程序,獲取未經(jīng)授權(quán)的訪問權(quán)限,竊取機密數(shù)據(jù)并執(zhí)行未經(jīng)授權(quán)的操作。意識到這一點,盡管有90%的受訪者積極使用或探索GenAI,但在接受調(diào)查的1000名網(wǎng)絡安全專家中,只有5%對保護其GenAI應用的安全措施有信心。
Lakera首席執(zhí)行官David Haber表示:“只需幾句話,即便是初學者也能操縱AI系統(tǒng),導致意想不到的操作和數(shù)據(jù)泄露。隨著企業(yè)越來越依賴GenAI來加速創(chuàng)新和管理敏感任務,他們無意中暴露在傳統(tǒng)網(wǎng)絡安全措施無法應對的新漏洞面前。在一個新興領(lǐng)域內(nèi),高采納率與低準備度的結(jié)合可能并不令人驚訝,但風險從未如此之高?!?/p>
在GenAI時代,每個人都有可能成為黑客
Lakera開發(fā)的AI教育游戲Gandalf吸引了超過一百萬名玩家,其中包括試圖突破其防御的網(wǎng)絡安全專家。令人驚訝的是,其中有20萬名玩家成功通過了游戲的七個關(guān)卡,展示了他們能夠操縱GenAI模型以執(zhí)行意外操作的能力。
這一點為問題的嚴重性提供了一個極其有價值的參考。玩家們僅需利用母語和一點創(chuàng)造力,就能在平均45分鐘內(nèi)成功欺騙Gandalf的第七關(guān),這一鮮明的例子突顯了一個令人不安的事實:如今,每個人都有可能成為黑客,企業(yè)需要為GenAI制定全新的安全策略。
前Cloudflare、Uber和Meta(Facebook)的首席安全官Joe Sullivan,也是Lakera的顧問,他表示:“由高層推動的GenAI競賽使得安全準備工作比以往任何技術(shù)演進中的關(guān)鍵時刻都更加重要。GenAI是一次千載難逢的變革。要發(fā)揮其潛力,企業(yè)必須考慮到它的挑戰(zhàn),而首當其沖的就是安全風險。為此做好準備并減輕這種風險,是那些率先采用GenAI的公司目前最重要的任務?!?/p>
LLM(大型語言模型)的可靠性和準確性是采納的最大障礙
35%的受訪者擔心LLM的可靠性和準確性,而34%的受訪者關(guān)注數(shù)據(jù)隱私和安全問題。缺乏熟練的人員占了28%的擔憂。
45%的受訪者正在探索GenAI的使用案例,42%的受訪者正在積極使用和實施GenAI,僅有9%的受訪者表示目前沒有采用大型語言模型(LLMs)的計劃。
只有22%的受訪者采用了專門針對AI的威脅建模,以應對GenAI特有的威脅。
各行業(yè)在安全措施的準備和采用程度上存在顯著差異。例如,金融行業(yè)占受訪者的8%,在嚴格的安全實踐上表現(xiàn)出更高的傾向性,其中20%的企業(yè)擁有專門的AI安全團隊,27%的企業(yè)將其準備程度評為最高級別(5分中的4分或5分)。
相比之下,教育行業(yè)占受訪者的12%,但只有9%的企業(yè)擁有專門的AI安全團隊,只有15%的企業(yè)將其準備程度評為最高級別。這些對比突顯了不同行業(yè)面臨的緊迫性和監(jiān)管壓力的差異。