Elastic企業(yè)的威脅與安全情報主管Jake King解釋了LLM如何對數(shù)據(jù)隱私構成重大風險，并概述了緩解這些安全風險的策略。

問：在你的研究中，你遇到的一些與LLM相關的主要漏洞是什么？

答：雖然許多企業(yè)正匆忙跟上GenAI的潮流，盡快部署LLM，但這增加了他們暴露于新風險和漏洞的可能性。

OWASP 的 LLM 安全和安全性十大排行榜強調(diào)了 Elastic 在直接觀察和安全測試中發(fā)現(xiàn)的許多問題領域，這些包括如提示注入等能力，威脅行為者操縱 LLM 輸入以控制生成的輸出，以及敏感數(shù)據(jù)暴露。重要的是要注意，許多漏洞與當前階段 LLM 的使用相關，較少與框架和工具鏈相關——盡管這對于威脅研究人員來說是一個新興的關注領域。

問：LLM 如何對數(shù)據(jù)隱私構成風險，企業(yè)應注意哪些具體威脅？

答：鑒于其廣泛的使用案例，從內(nèi)容創(chuàng)建到翻譯再到聊天機器人，LLM 收集了大量的個人和企業(yè)信息。如果這些數(shù)據(jù)泄露，可能會導致重大隱私和安全漏洞。關鍵在于理解，敏感數(shù)據(jù)暴露可以從憑證暴露、文檔和戰(zhàn)略共享，一直到源代碼暴露等范圍。企業(yè)必須批準和監(jiān)控員工使用 LLM 技術，并監(jiān)督客戶使用企業(yè)發(fā)布的任何 LLM 解決方案。

問：在 LLM 部署中緩解安全風險的最有效策略是什么？

答：對開發(fā)和生產(chǎn)環(huán)境中部署的系統(tǒng)進行持續(xù)和頻繁的監(jiān)控，對于確保安全操作至關重要。與許多新興技術類似，LLM 的日志記錄和監(jiān)控的全面性有限。因此，每個解決方案都應考慮其風險、優(yōu)點和缺點。

這應與有效的 LLM 供應鏈管理相結合，供應商應經(jīng)過適當審查，并展示出強大的安全衛(wèi)生標準。通過標準化的系統(tǒng)加固以減少組織的攻擊面，結合 LLM 安全最佳實踐，可以讓那些希望將 LLM 技術投入生產(chǎn)環(huán)境的組織保持低風險。例如，在提示注入的情況下，一些緩解最佳實踐包括調(diào)整 LLM 以識別和防止可疑輸入，或部署機制來驗證和清理輸入提示。

問：在管理 LLM 的安全性方面，治理有多重要，你推薦哪些框架或指南？

答：強有力的治理對于確保 LLM 的負責任、公平和安全使用至關重要。NIST 和 OWASP 發(fā)布了主要的出版物，并持續(xù)更新和提供有關 LLM 技術在企業(yè)中開發(fā)、使用和集成的相關背景信息，這些標準雖然是近期發(fā)布的，但對于那些希望加速在其組織中安全使用 LLM 的人來說，是一個關鍵資源。

需要考慮的是，治理和安全框架將有助于 LLM 技術的商業(yè)采用，但可能無法阻止對抗性團體利用強制性系統(tǒng)控制。正如我們過去所看到的那樣，LLM 創(chuàng)建者要求的控制措施可能會被規(guī)避，并且很可能會繼續(xù)被規(guī)避。

問：行業(yè)合作如何改善 LLM 的整體安全性？

答：透明度和知識共享是增強行業(yè)在 LLM 安全方面合作的關鍵。企業(yè)和研究人員應以開放的態(tài)度領導研究和發(fā)現(xiàn)，以確保我們能夠共同進步。鑒于 LLM 技術的快速發(fā)展以及針對這些系統(tǒng)的對抗性目標的性質(zhì)，作為一個社區(qū)，快速而開放地發(fā)布發(fā)現(xiàn)和研究結果是至關重要的。