人工智能（AI）和機器學習（ML）已經(jīng)進入企業(yè)環(huán)境。

根據(jù)IBM 的《2024 年人工智能在行動》報告，兩大群體正在加入人工智能：領導者和學習者。領導者看到了可量化的成果，三分之二的人報告收入增長了 25%（或更多）。與此同時，學習者表示他們正在遵循人工智能路線圖（72%），但只有 40% 的人表示他們的高管完全了解人工智能投資的價值。

他們有一個共同點？那就是數(shù)據(jù)安全挑戰(zhàn)。盡管他們在人工智能和機器學習方面取得了成功，但安全仍然是首要關注的問題。原因如下。

全速前進：人工智能和機器學習如何變得更智能

從歷史上看，計算機按照指令行事。跳出思維定式不是一種選擇——代碼行決定了什么是可能的和允許的。

AI和ML模型采用了不同的方法。AI 和 ML 模型沒有嚴格的結構，而是有一般的指導方針。公司提供大量訓練數(shù)據(jù)，幫助這些模型“學習”，從而提高其輸出。

一個簡單的例子是用于識別狗圖像的 AI 工具。底層 ML 結構提供了基本指導——狗有四條腿、兩只耳朵、一條尾巴和毛皮。數(shù)千張狗和非狗的圖像被提供給 AI。它“看到”的圖片越多，它區(qū)分狗的能力就越強。

脫軌：未經(jīng)授權的模型修改的風險

如果攻擊者能夠訪問 AI 模型，他們就可以修改模型輸出。請考慮上述示例。惡意行為者會破壞業(yè)務網(wǎng)絡，并用未標記的貓圖像和錯誤標記為狗的圖像充斥訓練模型。隨著時間的推移，模型準確性會受到影響，輸出不再可靠。

《福布斯》報道了最近的一場比賽，黑客試圖“越獄”流行的人工智能模型，并誘騙它們產(chǎn)生不準確或有害的內(nèi)容。生成工具的興起使這種保護成為優(yōu)先事項——2023 年，研究人員發(fā)現(xiàn)，只需在查詢末尾添加一串隨機符號，他們就可以說服生成人工智能 (gen AI)工具提供繞過模型安全過濾器的答案。

而且這種擔憂不僅僅是概念上的。正如The Hacker News所指出的，一種名為“Sleepy Pickle”的攻擊技術對 ML 模型構成了重大風險。通過將惡意負載插入 pickle 文件（用于序列化 Python 對象結構），攻擊者可以更改模型權衡和比較數(shù)據(jù)的方式并更改模型輸出。這可能使他們能夠生成對用戶造成傷害的錯誤信息、竊取用戶數(shù)據(jù)或生成包含惡意鏈接的內(nèi)容。

堅持到底：提高安全性的三個要素

為了降低人工智能和機器學習受損的風險，有三個要素至關重要：

1）保護數(shù)據(jù)

準確、及時和可靠的數(shù)據(jù)是可用模型輸出的基礎。然而，集中和關聯(lián)這些數(shù)據(jù)的過程為攻擊者創(chuàng)造了一個誘人的目標。如果他們能夠滲透到大規(guī)模人工智能數(shù)據(jù)存儲中，他們就可以操縱模型輸出。

因此，企業(yè)需要能夠自動、持續(xù)監(jiān)控人工智能基礎設施以發(fā)現(xiàn)受損跡象的解決方案。

2）保護模型

人工智能和機器學習模型的更改可能會導致輸出看似合法，但實際上已被攻擊者修改。在最好的情況下，這些輸出會給客戶帶來不便并減慢業(yè)務流程。在最壞的情況下，它們可能會對聲譽和收入產(chǎn)生負面影響。

為了降低模型操縱的風險，組織需要能夠識別安全漏洞和檢測錯誤配置的工具。

3）確保使用安全

誰在使用模型？使用什么數(shù)據(jù)？用于什么目的？即使數(shù)據(jù)和模型是安全的，惡意行為者的使用也可能使公司面臨風險。持續(xù)的合規(guī)性監(jiān)控對于確保合法使用至關重要。

充分利用模型

AI 和 ML 工具可以幫助企業(yè)發(fā)現(xiàn)數(shù)據(jù)洞察并增加收入。然而，如果模型受到攻擊，它們可能會被用來提供不準確的輸出或部署惡意代碼。

借助Guardium AI 安全，企業(yè)可以更好地管理敏感模型的安全風險。了解具體方法。