譯者 | 晶顏

審校 | 重樓

想象一下：一個營銷經(jīng)理使用ChatGPT來起草一個個性化的電子郵件活動。與此同時，一名開發(fā)人員用經(jīng)過客戶數(shù)據(jù)訓(xùn)練的機器學(xué)習(xí)模型進(jìn)行了實驗，人力資源團隊集成了人工智能（AI）工具來篩選簡歷。但這些操作都沒有經(jīng)過IT部門的允許。如此一來的后果是什么？沒錯，就是“影子AI”泛濫！

影子IT——在工作中使用未經(jīng)批準(zhǔn)的軟件或工具——并不是什么新鮮事物。然而，隨著AI的快速采用，影子IT已經(jīng)演變成更復(fù)雜的東西：影子AI。員工現(xiàn)在可以輕松訪問ChatGPT、AutoML平臺和開源模型等AI工具，使他們無需等待批準(zhǔn)即可進(jìn)行創(chuàng)新。雖然這聽起來像是生產(chǎn)力的勝利，但它也帶來了嚴(yán)重的風(fēng)險。

對于采用AI驅(qū)動的解決方案的組織來說，影子AI越來越受到關(guān)注，因為它在IT治理的邊界之外運行。使用這些工具的員工可能會在不知不覺中暴露敏感數(shù)據(jù)，違反隱私法規(guī)，或?qū)⒂衅姷腁I模型引入關(guān)鍵工作流程。這種不受管理的AI應(yīng)用不僅僅是違反規(guī)則，還涉及道德、法律和運營方面的潛在后果。

什么是影子AI？

影子AI是指在組織內(nèi)未經(jīng)授權(quán)或未經(jīng)管理地使用AI工具、模型或平臺。這是一種新形式的影子IT，員工或團隊在未經(jīng)IT或治理團隊批準(zhǔn)的情況下采用AI技術(shù)。與傳統(tǒng)工具不同，AI對數(shù)據(jù)和決策能力的依賴使其風(fēng)險加劇。

影子AI的示例

1.營銷團隊和ChatGPT

市場實習(xí)生面臨著快速制作新聞稿的壓力。他們聽說了ChatGPT編寫內(nèi)容的能力，便決定嘗試一下。為此，實習(xí)生復(fù)制了之前包含機密客戶詳細(xì)信息的新聞稿，并將其粘貼到ChatGPT的輸入框中以獲取“靈感”。

ChatGPT生成了一份十分驚艷的草稿，但是平臺的數(shù)據(jù)策略允許它保留用戶輸入以改進(jìn)模型?，F(xiàn)在，敏感的客戶信息在公司不知情的情況下存儲到了外部服務(wù)器上。

2.數(shù)據(jù)科學(xué)家和流氓模型

數(shù)據(jù)科學(xué)家急于證明預(yù)測分析對公司銷售部門的價值。他在沒有正式獲得批準(zhǔn)的情況下下載了客戶購買歷史，并訓(xùn)練機器學(xué)習(xí)模型。他還使用開源數(shù)據(jù)集來補充訓(xùn)練數(shù)據(jù)，以節(jié)省時間。

然而，這個外部數(shù)據(jù)集包含有偏差的信息。該模型雖旨在預(yù)測購買行為，但由于訓(xùn)練數(shù)據(jù)的偏差，其結(jié)果是有傾向性的。在沒有監(jiān)督的情況下，該模型被用于做出關(guān)鍵的銷售決策。某些特定人群的客戶被不公平地排除在促銷活動之外，這對公司的聲譽造成了損害。

3.開發(fā)人員和API快捷方式

開發(fā)人員的任務(wù)是向公司的客戶服務(wù)門戶添加翻譯功能。她沒有在內(nèi)部構(gòu)建解決方案，而是找到了一個提供即時翻譯的第三方AI API。開發(fā)人員無需審查其提供者或通知IT部門即可集成API。

但是，該API卻包含開發(fā)人員不知道的漏洞。短短幾周內(nèi)，攻擊者便利用這些漏洞訪問了敏感的客戶通信日志。該公司遭受了嚴(yán)重的安全漏洞，導(dǎo)致運營停機和經(jīng)濟損失。

影子AI背后的驅(qū)動因素

影子AI正在蔓延，因為員工比以往任何時候都更容易獨立采用AI工具。但是這種獨立性伴隨著風(fēng)險，涵蓋從合規(guī)性問題到安全漏洞在內(nèi)的諸多隱患。而推動影子AI的主要因素包括以下幾點：

AI工具的可訪問性

AI工具現(xiàn)在比以往任何時候都更容易獲得，許多工具都是免費的、便宜的，或者只需要很少的設(shè)置，這使得它們對尋求快速解決方案的員工極具吸引力。

例如，一個銷售團隊可能會使用一個免費的AI聊天機器人來管理客戶查詢，在不知情的情況下上傳真實的客戶數(shù)據(jù)進(jìn)行培訓(xùn)。這些數(shù)據(jù)可能會保存在外部服務(wù)器上，從而造成潛在的隱私泄露。

這里的問題在于缺乏治理，因為在沒有監(jiān)督的情況下使用易于訪問的工具可能導(dǎo)致數(shù)據(jù)泄露或違反法規(guī)，從而給組織帶來重大風(fēng)險。

AI民主化

AutoML和Datarrobot等用戶友好型平臺，以及Hugging Face等平臺上的預(yù)訓(xùn)練模型，允許非技術(shù)用戶快速創(chuàng)建AI模型或部署AI解決方案。例如，營銷分析師可能會使用谷歌AutoML通過上傳購買歷史來訓(xùn)練模型，以預(yù)測客戶流失。

雖然該工具可以無縫地工作，但卻可能在不知不覺中違反公司的數(shù)據(jù)處理政策，因為它沒有將敏感信息匿名化，并將私人客戶數(shù)據(jù)暴露給第三方平臺。

這里的問題在于缺乏技術(shù)監(jiān)督，因為這種能力增加了錯誤、數(shù)據(jù)濫用和道德問題的風(fēng)險，潛在地?fù)p害了組織的安全性和合規(guī)性。

創(chuàng)新的壓力

創(chuàng)新的壓力往往會導(dǎo)致員工繞過IT治理，更快地部署AI工具，尤其是在面臨緊迫的最后期限時，等待批準(zhǔn)感覺像是一個“鎖喉術(shù)”般難受。

例如，一個產(chǎn)品團隊面臨著在幾周內(nèi)推出新功能的壓力，可能會跳過IT審批，部署GitHub上的開源AI推薦系統(tǒng)。

雖然系統(tǒng)能夠運行，但它會產(chǎn)生有偏見的推薦，從而疏遠(yuǎn)某些客戶群。這種沒有適當(dāng)監(jiān)督的急于創(chuàng)新會導(dǎo)致重大的后續(xù)問題，包括有偏見的決策、技術(shù)債務(wù)和聲譽損害，破壞組織的信任和績效。

組織AI戰(zhàn)略存在缺口

缺乏明確的AI政策或獲批工具往往迫使員工尋找自己的解決方案，創(chuàng)造了一個允許影子AI蓬勃發(fā)展的環(huán)境。例如，如果沒有可用的內(nèi)部選項，需要分析客戶情緒的員工可能會在不了解相關(guān)風(fēng)險的情況下使用外部平臺。

由于數(shù)據(jù)隱私和安全指導(dǎo)方針不明確，對AI風(fēng)險的培訓(xùn)不足，以及批準(zhǔn)的工具或平臺不可用，這種種治理方面的缺口都阻礙了負(fù)責(zé)任地采用AI，最終使組織暴露在合規(guī)性和安全漏洞之下。

與影子AI相關(guān)的風(fēng)險

影子AI給組織帶來了巨大的風(fēng)險，甚至遠(yuǎn)超與傳統(tǒng)影子IT相關(guān)的風(fēng)險。從數(shù)據(jù)泄露到道德困境，未經(jīng)管理的AI應(yīng)用可能會產(chǎn)生難以發(fā)現(xiàn)且緩解成本高昂的問題。

安全風(fēng)險

未經(jīng)授權(quán)的AI工具會帶來重大的安全風(fēng)險，主要是當(dāng)敏感數(shù)據(jù)在沒有適當(dāng)保護(hù)的情況下上傳或共享時，十分容易暴露。

例如，使用ChatGPT等免費生成式AI工具的員工可能會無意中上傳專有信息，如商業(yè)計劃或客戶數(shù)據(jù)，平臺可能會保留或共享這些信息以用于訓(xùn)練目的。

此外，開發(fā)人員下載開源AI模型來加速項目，可能會在不知不覺中引入帶有隱藏后門的惡意模型，這些后門會在使用過程中泄露敏感數(shù)據(jù)。

合規(guī)和法律風(fēng)險

影子AI經(jīng)常違反數(shù)據(jù)隱私法律和許可協(xié)議，使組織面臨監(jiān)管和法律風(fēng)險。

例如，醫(yī)療保健提供商可能使用未經(jīng)授權(quán)的AI診斷工具，在不知情的情況下將患者數(shù)據(jù)上傳到不合規(guī)的服務(wù)器，從而違反了HIPAA或GDPR等法規(guī)，并招致巨額罰款。

同樣地，一個團隊可能會使用具有限制許可條款的數(shù)據(jù)集來訓(xùn)練機器學(xué)習(xí)模型，并且在商業(yè)化后，該組織可能會面臨侵犯知識產(chǎn)權(quán)的法律訴訟。

倫理問題

在沒有適當(dāng)監(jiān)督的情況下部署的AI工具可能會使偏見永久化，做出不公平的決定，缺乏透明度，導(dǎo)致重大的道德和聲譽問題。

例如，基于偏見數(shù)據(jù)訓(xùn)練的招聘工具可能會無意中將合格的候選人排除在代表性不足的群體之外，從而加劇系統(tǒng)性不平等。

同樣地，使用不透明的AI模型的客戶信用評分系統(tǒng)可以在沒有明確解釋的情況下拒絕貸款，從而侵蝕信任并損害組織的可信度。

操作風(fēng)險

影子AI經(jīng)常導(dǎo)致系統(tǒng)碎片化、冗余工作和技術(shù)債務(wù)，破壞業(yè)務(wù)運營和效率。

例如，當(dāng)不同的部門獨立地采用AI工具來完成類似的任務(wù)時，它會產(chǎn)生效率低下和集成挑戰(zhàn)。此外，團隊可能在沒有適當(dāng)文檔或維護(hù)的情況下開發(fā)機器學(xué)習(xí)模型，導(dǎo)致組織無法在模型失敗時對其進(jìn)行故障排除或重建，從而加劇了技術(shù)債務(wù)和操作風(fēng)險。

緩解影子AI的策略

影子AI在沒有監(jiān)督、明確政策或可訪問工具的環(huán)境中茁壯成長。為了緩解其風(fēng)險，組織需要采取一種主動和全面的方法。

1.創(chuàng)建一個AI治理框架

強大的AI治理框架為在組織內(nèi)使用AI提供了明確的政策和指導(dǎo)方針，為管理與AI工具和模型相關(guān)的風(fēng)險奠定了基礎(chǔ)。這包括為已批準(zhǔn)的AI工具、模型開發(fā)和數(shù)據(jù)處理實踐建立規(guī)則和策略，以及指定可接受的用例，例如數(shù)據(jù)匿名化需求和許可遵從性。

該框架還應(yīng)該通過概述AI模型開發(fā)、部署、監(jiān)控和退役過程來實現(xiàn)模型生命周期管理，同時需要全面的數(shù)據(jù)集、算法和性能度量文檔。

此外，任命AI管理者——負(fù)責(zé)執(zhí)行治理政策和監(jiān)督AI項目的個人或團隊——確保始終遵守這些標(biāo)準(zhǔn)。

策略示例：“組織內(nèi)使用的AI工具必須得到IT和安全團隊的預(yù)先批準(zhǔn)。任何上傳到外部AI服務(wù)的數(shù)據(jù)都必須匿名化，并遵守相關(guān)的數(shù)據(jù)保護(hù)法?！?/span>

2.提高認(rèn)識

教育對于解決影子AI至關(guān)重要，員工大多都因缺乏對相關(guān)風(fēng)險的認(rèn)識而經(jīng)常使用未經(jīng)授權(quán)的工具。

舉辦關(guān)于AI倫理、數(shù)據(jù)隱私法（例如GDPR和HIPAA）以及影子AI危險的研討會和培訓(xùn)課程，有助于建立理解和問責(zé)制。通過時事通訊或內(nèi)部通信進(jìn)行定期更新可以使員工了解已批準(zhǔn)的工具、新政策和新出現(xiàn)的風(fēng)險。此外，進(jìn)行模擬演習(xí)或桌面場景可以生動地展示影子AI漏洞的潛在后果，加強合規(guī)并強調(diào)警惕的重要性。

培訓(xùn)實例：組織一場全公司范圍的培訓(xùn)課程，題為“影子AI的潛在風(fēng)險：保護(hù)我們的組織”。

3.實施安全控制

安全控制對于監(jiān)測和限制未經(jīng)授權(quán)使用AI工具，實現(xiàn)早期發(fā)現(xiàn)和緩解影子AI活動至關(guān)重要。

AI監(jiān)控工具（如MLFlow和Domino Data Lab）可以跟蹤組織內(nèi)的AI模型開發(fā)和部署。API和日志監(jiān)控解決方案有助于檢測與外部AI平臺的未經(jīng)授權(quán)的交互。數(shù)據(jù)泄漏預(yù)防（DLP）工具可以識別并阻止將敏感數(shù)據(jù)上傳到未經(jīng)批準(zhǔn)的AI平臺的嘗試。此外，網(wǎng)絡(luò)控制（包括已知外部AI服務(wù)的黑名單）可以限制對未經(jīng)授權(quán)的AI應(yīng)用程序的訪問，從而加強整體安全性。

4.提供認(rèn)可的替代方案

由于無法獲得滿足其需求的批準(zhǔn)工具，員工經(jīng)常求助于影子AI，因此提供替代方案以減少未經(jīng)授權(quán)平臺的吸引力至關(guān)重要。

進(jìn)行調(diào)查或訪談可以幫助確定員工需要的特定工具，同時將批準(zhǔn)的選項集中在文檔完備的目錄中，確?？稍L問性和清晰度。此外，為批準(zhǔn)的工具提供用戶友好的界面和培訓(xùn)，鼓勵采用并最大限度地減少對未經(jīng)批準(zhǔn)的解決方案的依賴。

合規(guī)性示例：提供對基于云的AI平臺（如谷歌Cloud AI或Azure AI）的預(yù)先批準(zhǔn)訪問，這些平臺配置了組織安全和合規(guī)性策略。

5.鼓勵合作

AI計劃的有效管理需要促進(jìn)IT、安全和業(yè)務(wù)團隊之間的溝通和協(xié)調(diào)，確保AI治理在維護(hù)安全性和合規(guī)性的同時支持運營目標(biāo)。

建立跨職能團隊，例如由IT、安全、法律和業(yè)務(wù)單位代表組成的AI治理委員會，可以促進(jìn)協(xié)作和全面監(jiān)督。

實施反饋循環(huán)允許員工要求新的工具或提出對AI治理政策的擔(dān)憂，確保他們的聲音被聽到。此外，將AI計劃與組織目標(biāo)結(jié)合起來，可以增強它們的重要性，并促進(jìn)團隊的共同承諾。

協(xié)作示例：召開季度AI治理會議，討論新工具，審查合規(guī)性更新，并處理員工反饋。

影子AI的未來

隨著AI的發(fā)展，管理其未經(jīng)授權(quán)使用的挑戰(zhàn)也在增加。AI的新興趨勢，如生成模型和基礎(chǔ)系統(tǒng)，帶來了機遇和風(fēng)險，進(jìn)一步放大了影子AI的復(fù)雜性。

將AI治理集成到DevSecOps中

AI治理越來越成為現(xiàn)代DevSecOps實踐的核心，確保AI生命周期中嵌入安全性、合規(guī)性和道德考慮。這包括左移AI治理，即在開發(fā)早期集成數(shù)據(jù)集驗證和模型偏差測試等治理檢查。

DevOps實踐也在不斷發(fā)展，以整合AI特定的CI/CD管道，包括模型驗證、性能基準(zhǔn)測試和部署期間的合規(guī)性檢查。此外，實時監(jiān)控和事件響應(yīng)機制，例如針對意外輸出或數(shù)據(jù)完整性違規(guī)等異常情況的自動警報，在維護(hù)AI系統(tǒng)的完整性和可靠性方面發(fā)揮著關(guān)鍵作用。

AI監(jiān)控工具的進(jìn)步

新的工具和技術(shù)正在出現(xiàn)，以應(yīng)對監(jiān)控AI系統(tǒng)的獨特挑戰(zhàn)，特別是那些自主運行的AI系統(tǒng)?？山忉屝院屯该鞫裙ぞ撸鏢HAP、LIME和ELI5，允許組織解釋模型決策，并確保與道德標(biāo)準(zhǔn)保持一致。

像Arize AI和Evidently AI這樣的連續(xù)模型監(jiān)測平臺提供持續(xù)的性能跟蹤，以檢測模型漂移或精度下降等問題?；诰W(wǎng)絡(luò)的監(jiān)控解決方案可以通過標(biāo)記與未經(jīng)批準(zhǔn)的AI API或平臺的交互來自動檢測未經(jīng)授權(quán)的AI使用。

生成式AI和基礎(chǔ)模型進(jìn)一步推動影子AI發(fā)展

生成式AI和基礎(chǔ)模型（如GPT和BERT）大大降低了開發(fā)AI驅(qū)動應(yīng)用程序的障礙，增加了影子AI的風(fēng)險和收益。它們的用戶友好性使非技術(shù)員工也能創(chuàng)建復(fù)雜的AI解決方案，增加了可訪問性。

然而，這種易用性使治理復(fù)雜化，因為這些工具通常依賴于大型、不透明的數(shù)據(jù)集，使合規(guī)性和道德監(jiān)督更具挑戰(zhàn)性。此外，生成模型可能產(chǎn)生有偏見的、不恰當(dāng)?shù)幕驒C密的內(nèi)容，進(jìn)一步放大組織完整性和聲譽風(fēng)險。

結(jié)語：管理影子AI的“雙刃劍”

隨著組織越來越多地采用AI驅(qū)動的解決方案，影子AI既是創(chuàng)新的催化劑，也是重大風(fēng)險的來源。一方面，它賦予員工解決問題、自動化任務(wù)和提高效率的能力。另一方面，它的非管理性也帶來了漏洞，涉及數(shù)據(jù)泄露、違反法規(guī)、道德挑戰(zhàn)和運營效率低下等諸多問題。

影子AI是AI可訪問性和民主化的副產(chǎn)品，反映了技術(shù)在現(xiàn)代工作流程中日益重要的作用。然而，其風(fēng)險也不容忽視。如果不加以控制，影子AI可能會侵蝕信任，擾亂運營，并使組織面臨監(jiān)管和聲譽方面的損害。

AI工具在現(xiàn)代工作中無處不在，但它們的潛在好處也伴隨著責(zé)任。員工和決策者必須做到以下幾點：

• 批判性地思考他們采用的工具及其更廣泛的含義。
• 仔細(xì)評估風(fēng)險，特別是在數(shù)據(jù)隱私、合規(guī)性和道德考慮方面。
• 跨團隊協(xié)作，使AI計劃與組織價值觀和社會標(biāo)準(zhǔn)保持一致。

最終，問題不在于影子AI是否會存在，而在于我們?nèi)绾喂芾硭?/span>

原文標(biāo)題：What is Shadow AI? The Hidden Risks and Challenges in Modern Organizations，作者：Sonya Moisset