作者 | 陳峻

審校 | 重樓

今年初，隨著DeepSeek驚艷全球，各個(gè)企業(yè)和組織都敏銳地察覺到了人工智能（AI）技術(shù)為其賦能的機(jī)遇。雖然居多IT專業(yè)人員都認(rèn)為各項(xiàng)數(shù)字化服務(wù)都值得用AI進(jìn)行提速提效，但是相對(duì)于All in AI的狂熱，信息安全技術(shù)人員有必要在保持冷靜的同時(shí)，積極籌備，盡快制定出針對(duì)那些涉及AI應(yīng)用的安全性管控措施。

下面，我將以自己在企業(yè)中的項(xiàng)目經(jīng)驗(yàn)，依次從網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用、模型、數(shù)據(jù)、以及合規(guī)，六個(gè)層面和你討論一些具體、可落地的安全檢查要點(diǎn)。當(dāng)然，為了達(dá)到不僅只針對(duì)AI應(yīng)用的效果，我也與時(shí)俱進(jìn)地借助了AI的幫助，讓這些要點(diǎn)更具代表性和普遍性。

網(wǎng)絡(luò)層面

跨域隔離與通信限制

• 限制模型的監(jiān)聽范圍：僅允許其開放最少端口（如：11434）給本地（或內(nèi)網(wǎng)）應(yīng)用的訪問與調(diào)用，并且需要持續(xù)驗(yàn)證端口的運(yùn)行狀態(tài)。
• 在AI系統(tǒng)的環(huán)境中部署Web應(yīng)用防火墻WAF（如：ModSecurity），配置嚴(yán)格的防火墻規(guī)則，包括：對(duì)那些開放給公網(wǎng)的接口實(shí)施雙向端口過濾，并且阻斷內(nèi)部端口的出入站流量。
• 將AI應(yīng)用、API服務(wù)以及數(shù)據(jù)庫等邏輯上相對(duì)獨(dú)立的組件，盡量部署在不同的網(wǎng)段，以限制數(shù)據(jù)流的橫向（東西向）移動(dòng)。
• 在內(nèi)網(wǎng)資源充分的情況下，進(jìn)一步將AI訓(xùn)練、推理、及數(shù)據(jù)存儲(chǔ)分別部署在獨(dú)立的子網(wǎng)絡(luò)區(qū)域，通過虛擬私有云（VPC）、防火墻實(shí)現(xiàn)邏輯隔離，以限制非授權(quán)的組件接入。
• 使用專網(wǎng)或?qū)＞€連接的方式，訪問跨區(qū)域或云端公共AI的API資源。
• 部署API網(wǎng)關(guān)（如：Kong或Amazon API Gateway）并啟用IP白名單，以零信任架構(gòu)（如：BeyondCorp）和安全組的方式，僅授權(quán)可信的組件、以及特定IP的設(shè)備訪問API網(wǎng)關(guān)。
• 設(shè)置并啟用流量清洗規(guī)則（如：使用Cloudflare或AWS Shield高級(jí)版），防御網(wǎng)絡(luò)層面的分布式拒絕服務(wù)（DDoS）攻擊。
• 避免Http的傳統(tǒng)危險(xiǎn)操作（如：Push/Delete/Pull等），以及WebSocket請(qǐng)求頭，通過驗(yàn)證、鑒權(quán)、加密、流控、監(jiān)控、以及記錄的方式予以安全加固。
• 啟用沙箱機(jī)制。例如：在帶有AI互動(dòng)式問答的頁面上，若使用了<iframe>，則應(yīng)啟用sandbox屬性，限制腳本執(zhí)行、表單提交、彈出窗口等權(quán)限（例如：<iframe sandbox="allow-scripts allow-same-origin" src="..."></iframe>）。
• 啟用內(nèi)容安全策略（CSP），即：在HTTP頭中配置Content-Security-Policy，僅允許可信域名加載資源（如：Content-Security-Policy: script-src 'self' https://trusted-ai-domain.com，或Content-Security-Policy: frame-ancestors 'self';）、以及同域名頁面的嵌入，阻止惡意腳本的注入、以及惡意內(nèi)容的加載。
• 防止跨站請(qǐng)求偽造（CSRF）：為AI應(yīng)用的API接口添加CSRF令牌驗(yàn)證，以及使用SameSite屬性限制Cookie的跨站傳遞。

請(qǐng)求合法性驗(yàn)證

• Token鑒權(quán)：為JS SDK或iframe URL動(dòng)態(tài)生成一次性訪問令牌（Token），以驗(yàn)證請(qǐng)求來源合法性。
• Referer校驗(yàn)：服務(wù)端校驗(yàn)請(qǐng)求的Referer頭，僅允許指定域名調(diào)用AI服務(wù)。

防篡改與劫持防護(hù)

• HTTPS強(qiáng)制加密：所有資源的加載和服務(wù)通信都必須使用HTTPS，以防止中間人攻擊。
• 子資源完整性（SRI）：為JS文件添加integrity哈希值，以確保第三方的腳本未被篡改。
• 代碼混淆與壓縮：對(duì)JS代碼進(jìn)行混淆和壓縮，以增加逆向工程的難度。

系統(tǒng)層面

• 獨(dú)立容器/虛擬機(jī)：將AI應(yīng)用服務(wù)部署在獨(dú)立的容器中，或使用容器技術(shù)（如Docker）來隔離AI應(yīng)用的運(yùn)行環(huán)境，實(shí)現(xiàn)與主業(yè)務(wù)系統(tǒng)的隔離，進(jìn)而避免單點(diǎn)故障的擴(kuò)散。
• 資源配額限制：對(duì)AI服務(wù)分配CPU、內(nèi)存、請(qǐng)求速率/調(diào)用頻率等配額，以防止遭遇資源耗盡攻擊。
• 操作系統(tǒng)及容器鏡像需遵循互聯(lián)網(wǎng)安全中心（CIS）基準(zhǔn)予以加固，禁用非必要的服務(wù)端口。
• 定期更新與補(bǔ)丁管理：及時(shí)更新系統(tǒng)、依賴庫和AI應(yīng)用框架，并修復(fù)新發(fā)現(xiàn)的漏洞。
• 用戶需使用多因素認(rèn)證（MFA）或SSO登錄AI應(yīng)用，以增強(qiáng)身份驗(yàn)證的安全性。
• 最小權(quán)限原則：AI應(yīng)用及其相關(guān)服務(wù)對(duì)應(yīng)的賬號(hào)需運(yùn)行在最小權(quán)限下，避免使用root或管理員權(quán)限，以減少攻擊面。同時(shí)，應(yīng)限制其對(duì)不同系統(tǒng)資源（如：文件系統(tǒng)、網(wǎng)絡(luò)端口）的訪問。
• 定期備份AI應(yīng)用的配置和數(shù)據(jù)，以確保在發(fā)生故障時(shí)能夠快速恢復(fù)。

應(yīng)用層面

• 確保只有授權(quán)用戶才能訪問AI應(yīng)用，實(shí)施嚴(yán)格的API認(rèn)證和授權(quán)機(jī)制（如：OAuth 2.0或OpenID Connect等多因素認(rèn)證）。
• 根據(jù)基于角色的訪問控制（RBAC）或基于屬性的訪問控制（ABAC）原則，對(duì)AI服務(wù)接口按角色分配權(quán)限（如：僅客服管理員可訪問完整日志等）。
• 為API添加簽名機(jī)制（如：HMAC），以防止篡改。
• 限制API調(diào)用頻率和范圍，并通過定期更換API密鑰，以實(shí)現(xiàn)密鑰管理。
• 建立輸入驗(yàn)證機(jī)制（如：使用正則表達(dá)式或白名單機(jī)制限制輸入內(nèi)容，對(duì)特殊字符進(jìn)行轉(zhuǎn)義或過濾），防止惡意提示詞注入攻擊，以及防止跨站腳本攻擊（XSS）、SQL注入等攻擊。
• 建立輸出過濾機(jī)制，對(duì)輸出數(shù)據(jù)進(jìn)行編碼（如：HTML編碼、URL編碼），以避免惡意腳本的執(zhí)行。
• 使用安全的會(huì)話管理機(jī)制（如：JWT）。為了防止會(huì)話被劫持，使用強(qiáng)隨機(jī)數(shù)生成會(huì)話ID，并在用戶登出或超時(shí)后失效；同時(shí)設(shè)置會(huì)話超時(shí)機(jī)制，并定期更新會(huì)話ID，以及啟用HttpOnly和Secure標(biāo)志的Cookie，來防止XSS和中間人攻擊。
• 監(jiān)控AI服務(wù)的響應(yīng)時(shí)間、錯(cuò)誤率、輸入內(nèi)容特征，分析異常訪問行為（如：Darktrace），即時(shí)對(duì)異常觸發(fā)熔斷機(jī)制并告警。
• 集中記錄所有交互日志，以便對(duì)攻擊事件開展追蹤。
• 定期開展AI應(yīng)用安全評(píng)估與測(cè)試（如：Garak），從基線檢查、漏洞掃描、滲透測(cè)試、代碼審計(jì)等及時(shí)發(fā)現(xiàn)并修復(fù)安全漏洞。
• 避免在錯(cuò)誤提示信息中泄露敏感信息（如：堆棧跟蹤信息），使用統(tǒng)一的錯(cuò)誤處理機(jī)制。
• 定期使用靜態(tài)代碼分析工具（如：SonarQube）進(jìn)行代碼級(jí)別的審計(jì)。

模型層面

建立多層次保護(hù)機(jī)制（Depends in Depth）

• 在訓(xùn)練階段，實(shí)施嚴(yán)格的數(shù)據(jù)清洗與驗(yàn)證流程，加密傳輸分布式訓(xùn)練數(shù)據(jù)（如：使用TensorFlow Federated），以防范污染或泄露。
• 在部署階段，建立模型的完整性校驗(yàn)機(jī)制，防范未經(jīng)授權(quán)的修改（如：對(duì)模型文件進(jìn)行加密，使用數(shù)字簽名驗(yàn)證模型），以確保二進(jìn)制文件完整性。
• 在運(yùn)行階段，使用SIEM工具（如：Splunk、ELK）通過流量鏡像等方式，實(shí)時(shí)予以推理監(jiān)控和異常檢測(cè)，及時(shí)發(fā)現(xiàn)模型異常行為與性能指標(biāo)（如：Prometheus、Grafana）。

定期開展模型安全評(píng)估

• 建立攻擊模擬測(cè)試集（如：用CleverHans模擬FGSM、PGD），開展對(duì)抗樣本測(cè)試（如：Adversarial Robustness Toolbox）。
• 通過模型水印（如：IBM AI Fairness 360）檢測(cè)模型對(duì)于篡改的魯棒性。
• 檢查模型的公平性（如：AI Fairness 360偏見分析工具包）與解釋性（如：LIME/SHAP模型可解釋性輸出）。

數(shù)據(jù)層面

• 依據(jù)相關(guān)法律，對(duì)AI應(yīng)用的訓(xùn)練、使用、以及產(chǎn)生的數(shù)據(jù)予以分級(jí)（至少包括：公開、內(nèi)部、機(jī)密）。l
• 最小化數(shù)據(jù)采集：僅收集AI應(yīng)用服務(wù)必需的數(shù)據(jù)（如：用戶問題文本），避免存儲(chǔ)無關(guān)信息（如：IP、設(shè)備指紋等）。
• 匿名化處理：對(duì)在對(duì)話信息中出現(xiàn)的姓名、身份證號(hào)等用戶身份信息，予以替換或動(dòng)態(tài)遮蔽（如：使用Oracle DVE）、以及脫敏操作（如：Python Faker庫），確保數(shù)據(jù)不可被回溯到個(gè)人。
• 端到端加密：A.對(duì)訓(xùn)練數(shù)據(jù)的流轉(zhuǎn)過程啟用同態(tài)加密（如：Microsoft SEAL）；
  B.對(duì)推理結(jié)果返回的敏感數(shù)據(jù)（如：人事/財(cái)務(wù)）使用TLS 1.2/1.3（即HTTPS）進(jìn)行傳輸加密，并配置證書管理系統(tǒng)（如：Let's Encrypt和Certbot）；
  C.客戶端與服務(wù)端應(yīng)采用強(qiáng)加密算法（如：AES-256）配合密鑰輪換（如AWS KMS），對(duì)數(shù)據(jù)庫或文件系統(tǒng)予以存儲(chǔ)加密。

合規(guī)層面

• 用戶提示詞過濾：設(shè)置用戶問題違規(guī)提示、攔截、以及標(biāo)準(zhǔn)答復(fù)話術(shù)。
• 用戶知情同意：在用戶首次使用AI應(yīng)用時(shí)，應(yīng)以通知的形式提示并告知行為規(guī)范，以避免輸入個(gè)人與業(yè)務(wù)敏感信息。
• 隱私保護(hù)：對(duì)照GDPR、CCPA、HIPAA、PIPL等隱私相關(guān)的法規(guī)，建立檢查清單，采用橫向聯(lián)邦學(xué)習(xí)（如：FATE框架），以確保用戶數(shù)據(jù)處理的透明性和合法性。
• 制定AI倫理準(zhǔn)則，對(duì)照《生成式AI服務(wù)管理暫行辦法》建立合規(guī)檢查清單，重點(diǎn)落實(shí)算法備案、內(nèi)容標(biāo)識(shí)等義務(wù)，確保AI應(yīng)用的透明性和可解釋性。
• 建立AI合規(guī)的審查機(jī)制，確保數(shù)據(jù)存儲(chǔ)和處理被限制在特定區(qū)域內(nèi)，審查是否存在數(shù)據(jù)跨境傳輸。
• 確保第三方服務(wù)提供商符合相關(guān)法規(guī)（如：ISO 27001、SOC 2），按需簽訂數(shù)據(jù)保護(hù)協(xié)議（DPA），以明確責(zé)任。
• 持續(xù)治理AI應(yīng)用安全（如：參照《LLM安全與治理檢查清單》），完善事件響應(yīng)流程（如：參照NIST SP 800-53）。
• 審計(jì)與報(bào)告：定期進(jìn)行安全審計(jì)，生成合規(guī)報(bào)告，以確保符合相關(guān)法規(guī)和標(biāo)準(zhǔn)。

小結(jié)

上述六個(gè)層面便是我在企業(yè)中，對(duì)與AI相關(guān)的應(yīng)用項(xiàng)目，實(shí)施安全審查與管控的參考依據(jù)。總的來說，它們能夠協(xié)助我們構(gòu)建出涵蓋技術(shù)、管理和合規(guī)的多層次防御體系。當(dāng)然，目前對(duì)于AI安全的管控，仍處于初期的階段，甚至談不上對(duì)AI系統(tǒng)進(jìn)行網(wǎng)絡(luò)安全實(shí)施等級(jí)保護(hù)。因此上述實(shí)踐也難免掛一漏萬。相信你在自己的工作實(shí)踐中，能夠據(jù)此迭代出更加完備和成熟的管控要點(diǎn)。

作者介紹

陳峻（Julian Chen），51CTO社區(qū)編輯，具有十多年的IT項(xiàng)目實(shí)施經(jīng)驗(yàn)，善于對(duì)內(nèi)外部資源與風(fēng)險(xiǎn)實(shí)施管控，專注傳播網(wǎng)絡(luò)與信息安全知識(shí)與經(jīng)驗(yàn)。