所有人工智能項(xiàng)目在某種程度上都存在一些風(fēng)險(xiǎn)，生成式人工智能的快速增長(zhǎng)和部署凸顯了安全控制措施的局限性，同時(shí)也開(kāi)辟了新的脆弱性。

如果市場(chǎng)研究表明人工智能的使用方向，那么首席信息安全官可以預(yù)期70%的企業(yè)將通過(guò)使用ChatGPT來(lái)探索生成式人工智能。調(diào)研機(jī)構(gòu)普華永道公司在今年5月發(fā)布的一份研究報(bào)告表明，幾乎所有的商界領(lǐng)袖都表示，他們的公司在短期內(nèi)至少優(yōu)先考慮一項(xiàng)與人工智能系統(tǒng)有關(guān)的舉措。

生成式人工智能出現(xiàn)了投資熱潮。調(diào)研機(jī)構(gòu)高盛公司預(yù)測(cè)，生成式人工智能可以將全球GDP提高7%。麥肯錫公司表示，人工智能的主要用例是客戶運(yùn)營(yíng)、營(yíng)銷和銷售、研發(fā)和軟件工程。例如在軟件領(lǐng)域，根據(jù)全球戰(zhàn)略咨詢機(jī)構(gòu)Altman Solon公司進(jìn)行的一項(xiàng)調(diào)查，近25%的科技公司已經(jīng)在使用人工智能進(jìn)行軟件開(kāi)發(fā)，另有66%的企業(yè)可能在2024年采用人工智能。

人工智能驅(qū)動(dòng)網(wǎng)絡(luò)攻擊

根據(jù)Gartner公司進(jìn)行的調(diào)查，68%的企業(yè)高管認(rèn)為生成式人工智能的好處大于風(fēng)險(xiǎn)，相比之下，只有5%的高管認(rèn)為風(fēng)險(xiǎn)大于好處。然而，Gartner公司的分析師Frances Karamouzis在報(bào)告中表示，隨著投資的深化，企業(yè)高管可能會(huì)開(kāi)始轉(zhuǎn)變他們的觀點(diǎn)。Karamouzis說(shuō)：“隨著企業(yè)開(kāi)始開(kāi)發(fā)和部署生成式人工智能，他們可能會(huì)遇到一系列信任、風(fēng)險(xiǎn)、安全、隱私和道德問(wèn)題?！?/p>

最新的風(fēng)險(xiǎn)之一是提示注入攻擊，這是一個(gè)全新的企業(yè)威脅載體。Gartner公司的分析師Avivah Litan表示：“這是一種新的攻擊媒介，也是一種新的危害媒介，傳統(tǒng)的安全控制措施不夠好。”她表示，在其他情況下，聊天機(jī)器人用戶可以看到其他人的提示。

許多“越獄”的ChatGPT和其他大型語(yǔ)言模型的公開(kāi)實(shí)例已經(jīng)被看到欺騙。它做了一些不應(yīng)該做的事情——例如編寫惡意軟件或提供炸彈制作方法。一旦企業(yè)開(kāi)始推出自己的生成式人工智能，例如用于客戶服務(wù)的人工智能，“越獄”的ChatGPT可能會(huì)讓不良行為者訪問(wèn)他人的賬戶或?qū)嵤┢渌泻π袨椤?/p>

今年早些時(shí)候，全球性安全組織OWASP發(fā)布了在大型語(yǔ)言模型中發(fā)現(xiàn)的十大嚴(yán)重漏洞列表，提示注入排在第一位。網(wǎng)絡(luò)攻擊者還可以利用這些大型語(yǔ)言模型來(lái)執(zhí)行惡意代碼、訪問(wèn)受限資源或毒化訓(xùn)練數(shù)據(jù)。當(dāng)用戶自己部署模型時(shí)，他們可以在提示環(huán)境中設(shè)置防火墻，并在提示環(huán)境周圍采取可觀察性和異常檢測(cè)措施。Litan說(shuō)，“用戶可以看到發(fā)生了什么，也可以建立控制?！?/p>

第三方供應(yīng)商不一定是這樣。即使供應(yīng)商對(duì)最初用于創(chuàng)建模型的訓(xùn)練數(shù)據(jù)有一流的安全控制，聊天機(jī)器人也需要訪問(wèn)操作數(shù)據(jù)才能發(fā)揮作用。Litan說(shuō)：“傳統(tǒng)的保護(hù)控制不適用于進(jìn)入模型的數(shù)據(jù)和及時(shí)注入。把所有這些都保留在內(nèi)部部署設(shè)施確實(shí)很有意義，但必須將安全保護(hù)措施落實(shí)到位?！?/p>

降低使用人工智能帶來(lái)的數(shù)據(jù)暴露風(fēng)險(xiǎn)

求職招聘網(wǎng)站Glassdoor公司對(duì)9000多名美國(guó)專業(yè)人士進(jìn)行的一項(xiàng)調(diào)查表明，他們都很喜歡采用ChatGPT，80%的受訪者反對(duì)禁止這項(xiàng)技術(shù)。但是ChatGPT和類似的大型語(yǔ)言模型是基于它們與用戶的交互而不斷訓(xùn)練的。問(wèn)題是，如果用戶請(qǐng)求幫助編輯一份充滿企業(yè)機(jī)密的文件，人工智能系統(tǒng)可能會(huì)了解到這些秘密，并在未來(lái)向其他用戶透露這些秘密。Forrester Research公司的分析師Jeff Pollard表示：“這些都是非常合理和現(xiàn)實(shí)的擔(dān)憂?！?/p>

Cyberhaven公司的首席安全官Chris Hodson表示：“我們已經(jīng)看到醫(yī)生將患者信息上傳到ChatGPT，以便為患者描述病情?！?/p>

Forrester公司的Pollard表示，專門為企業(yè)用戶設(shè)計(jì)的平臺(tái)確實(shí)很重視這個(gè)問(wèn)題。他說(shuō)：“他們對(duì)保留他人的數(shù)據(jù)不感興趣，因?yàn)樗麄兠靼走@是采用的障礙?！?/p>

部署生成式人工智能最安全的方法是企業(yè)在自己的基礎(chǔ)設(shè)施上運(yùn)行私有模型。然而，Altman Solon表示，這并不是最受歡迎的選擇，只有20%的企業(yè)更喜歡這一選擇。大約三分之一的企業(yè)選擇通過(guò)使用提供商自己的運(yùn)營(yíng)環(huán)境，利用公共基礎(chǔ)設(shè)施來(lái)部署生成式人工智能。這是最不安全的選擇，要求企業(yè)對(duì)生成式人工智能供應(yīng)商給予極大的信任。

很多企業(yè) (48%)部署在第三方云計(jì)算環(huán)境中，例如虛擬私有云。例如，微軟公司在其Azure云中為企業(yè)客戶提供安全并且隔離的ChatGPT部署。微軟公司聲稱，今年3月，已有1000多家企業(yè)客戶在Azure OpenAI服務(wù)上使用ChatGPT和其他OpenAI模型，到今年5月中旬，這一數(shù)字已增長(zhǎng)到4500家。使用這項(xiàng)服務(wù)的企業(yè)包括梅賽德斯-奔馳、強(qiáng)生、AT&T、CarMax、DocuSign、沃爾沃以及宜家。

人工智能在治理和合規(guī)方面的風(fēng)險(xiǎn)

生成式人工智能創(chuàng)紀(jì)錄的采用率遠(yuǎn)遠(yuǎn)超過(guò)了企業(yè)監(jiān)管這項(xiàng)技術(shù)的能力。禮德律師事務(wù)所(Reed Smith LLP)專注于網(wǎng)絡(luò)安全和機(jī)器學(xué)習(xí)的合伙人Gerry Stegmaier表示：“我認(rèn)識(shí)的一些人采用ChatGPT工作，每周節(jié)省了大量時(shí)間，但這些人所在的企業(yè)卻不知道這一點(diǎn)。如今，員工在個(gè)人層面上的生產(chǎn)率正在大幅提高，但在很大程度上，企業(yè)高管并沒(méi)有意識(shí)到員工生產(chǎn)率的提高?！?/p>

根據(jù)Fishbowl公司在今年2月發(fā)布的一項(xiàng)調(diào)查報(bào)告，43%的專業(yè)人士使用過(guò)ChatGPT這樣的工具，但其中近70%的人是在企業(yè)高管不知情的情況下使用的。Stegmaier說(shuō)，這意味著企業(yè)可能會(huì)以法律和監(jiān)管風(fēng)險(xiǎn)的形式承擔(dān)技術(shù)債務(wù)，他們不知道也無(wú)法衡量這些債務(wù)。

Netskope公司最近的一份基于使用數(shù)據(jù)的報(bào)告表明，ChatGPT的使用量每月增長(zhǎng)25%，大約1%的員工每天使用ChatGPT。因此，目前約有10%的企業(yè)禁止員工使用ChatGPT。

企業(yè)可能對(duì)員工的所作所為缺乏了解，此外還缺乏對(duì)法律法規(guī)的了解。Stegmaier說(shuō)，“大型企業(yè)需要一定的可預(yù)測(cè)性，而目前的不確定性是不可估量的?！?/p>

知識(shí)產(chǎn)權(quán)和進(jìn)入模型的訓(xùn)練數(shù)據(jù)存在不確定性，隱私和數(shù)據(jù)安全法規(guī)存在不確定性，新的法律和合規(guī)風(fēng)險(xiǎn)一直在出現(xiàn)。例如，今年6月，OpenAI公司由于ChatGPT聲稱一名電臺(tái)主持人挪用資金而被起訴。OpenAI公司或其他公司由于其聊天機(jī)器人回答的內(nèi)容而被起訴，這些公司可能對(duì)機(jī)器人所說(shuō)的內(nèi)容負(fù)責(zé)，也可能不負(fù)責(zé)。這取決于產(chǎn)品責(zé)任法的適用方式。Stegmaier說(shuō)：“如果為了獲利，人們就會(huì)在他們的法律理論中發(fā)揮創(chuàng)造性?！?/p>

Stegmaier認(rèn)為，關(guān)于軟件是否是一種產(chǎn)品的問(wèn)題已經(jīng)發(fā)生了一些變化，潛在的影響可能是巨大的。也有可能出臺(tái)有關(guān)數(shù)據(jù)隱私的新法律，其中包括歐盟的《人工智能法案》。他預(yù)計(jì)美國(guó)在不久的將來(lái)并不會(huì)出臺(tái)類似的法律，因?yàn)楹茈y達(dá)成共識(shí)，美國(guó)聯(lián)邦貿(mào)易委員會(huì)一直在發(fā)布有關(guān)人工智能的聲明。他表示：“人工智能對(duì)消費(fèi)者、對(duì)企業(yè)、對(duì)監(jiān)管機(jī)構(gòu)都非常有吸引力。當(dāng)這三件事結(jié)合在一起時(shí)，往往會(huì)出現(xiàn)新的執(zhí)法或新的監(jiān)管活動(dòng)?！?/p>

為了保持行業(yè)領(lǐng)先地位，他建議企業(yè)提高他們的生成式人工智能學(xué)習(xí)曲線，這樣他們就可以應(yīng)用他們目前的最佳實(shí)踐工具，包括隱私設(shè)計(jì)、安全設(shè)計(jì)和反歧視原則。Stegmaier表示：“就生成式人工智能而言，‘快速運(yùn)行并打破現(xiàn)狀’在規(guī)模上不會(huì)是一種可接受的策略，尤其是對(duì)大型企業(yè)來(lái)說(shuō)。”

不幸的是，根據(jù)部署的不同模型，企業(yè)可能很少或根本不了解生成式人工智能正在發(fā)生什么，即使他們知道它正在發(fā)生。例如，如果一名員工要求ChatGPT幫助給客戶寫信，那么ChatGPT將需要獲得有關(guān)客戶的一些信息，至少在提出答案時(shí)是這樣。這意味著在一段時(shí)間內(nèi)，數(shù)據(jù)將存儲(chǔ)在OpenAI公司的服務(wù)器上。此外，如果員工使用ChatGPT保存會(huì)話歷史記錄，則數(shù)據(jù)將無(wú)限期地保留在這些服務(wù)器上。

Insight Enterprises公司杰出工程師Carm Taglienti表示，在歐洲和其他有數(shù)據(jù)駐留法的司法管轄區(qū)，數(shù)據(jù)遷移問(wèn)題尤為重要。他說(shuō)：“人們并不真正了解它的去向，也不知道在提交的數(shù)據(jù)上發(fā)生了什么操作。一旦無(wú)法控制，它就成為了一個(gè)漏洞?！彼ㄗh，如果企業(yè)計(jì)劃使用生成式人工智能，他們應(yīng)該認(rèn)真考慮需要采取的控制措施。他建議，可以從美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)的人工智能風(fēng)險(xiǎn)管理框架開(kāi)始。

在理想情況下，企業(yè)在選擇平臺(tái)之前應(yīng)該考慮治理問(wèn)題。然而，根據(jù)畢馬威公司進(jìn)行的一項(xiàng)調(diào)查，只有6%的企業(yè)有專門的團(tuán)隊(duì)來(lái)評(píng)估生成人工智能的風(fēng)險(xiǎn)并實(shí)施風(fēng)險(xiǎn)遷移策略。此外，只有35%的企業(yè)高管表示，他們的公司計(jì)劃在未來(lái)12個(gè)月內(nèi)專注于改善人工智能系統(tǒng)的治理，只有32%的風(fēng)險(xiǎn)專業(yè)人士表示，他們現(xiàn)在參與了生成式人工智能應(yīng)用的規(guī)劃和戰(zhàn)略階段。最后，只有5%的企業(yè)制定了成熟的負(fù)責(zé)任的人工智能治理計(jì)劃，盡管19%的企業(yè)正在制定這樣的計(jì)劃，近一半的企業(yè)表示將制定這樣的計(jì)劃。

企業(yè)首先應(yīng)該做什么?Omdia公司企業(yè)安全管理首席分析師Curtis Franklin表示：“我的建議是，企業(yè)領(lǐng)導(dǎo)者應(yīng)該立即開(kāi)始教育員工，讓他們了解使用生成式人工智能的潛在風(fēng)險(xiǎn)。他們不太可能阻止生成式人工智能的使用，但需要讓員工知道與之相關(guān)的風(fēng)險(xiǎn)。這是直接的措施。人們應(yīng)該在考慮如何做到這一點(diǎn)?！?/p>

下一步措施是成立一個(gè)來(lái)自不同業(yè)務(wù)部門的利益相關(guān)者參與的委員會(huì)，研究如何在企業(yè)中合法地使用生成式人工智能，并開(kāi)始平衡這些好處和風(fēng)險(xiǎn)。Franklin說(shuō)，“企業(yè)應(yīng)該有一個(gè)基于風(fēng)險(xiǎn)的框架，在這個(gè)基礎(chǔ)上決定將如何使用它，并保護(hù)企業(yè)免受潛在的濫用或不良使用?！?/p>