Thales的全球副總裁Ashvin Kamaraju深入探討了人們對(duì)AI風(fēng)險(xiǎn)的日益擔(dān)憂，隨著企業(yè)擁抱AI，他解釋了最大的風(fēng)險(xiǎn)，并概述了領(lǐng)導(dǎo)者保護(hù)其AI生態(tài)系統(tǒng)的戰(zhàn)略方法。

廣泛可用的GenAI平臺(tái)和工具的興起，促使企業(yè)的決策者評(píng)估該技術(shù)在其堆棧中的哪些地方可以被利用來(lái)增強(qiáng)運(yùn)營(yíng)。根據(jù)GitHub的調(diào)查，92%的開發(fā)人員已經(jīng)在使用AI編碼工具，這些平臺(tái)正在成為企業(yè)中一切的基礎(chǔ)——從流程到解決方案和思維方式。

對(duì)增加AI使用率的日益關(guān)注，引發(fā)了圍繞這項(xiàng)技術(shù)的潛在風(fēng)險(xiǎn)的討論。盡管如此，隨著它變得更加普遍，一個(gè)更令人擔(dān)憂的因素必須被考慮：對(duì)AI的風(fēng)險(xiǎn)。

AI面臨的四大風(fēng)險(xiǎn)以及領(lǐng)導(dǎo)者需要知道的事

• 竊取模型：威脅參與者可以通過(guò)復(fù)制模型來(lái)瞄準(zhǔn)使用公共API的機(jī)器學(xué)習(xí)模型。通過(guò)手頭有準(zhǔn)確的模型，網(wǎng)絡(luò)罪犯可以了解其能力的細(xì)節(jié)，測(cè)試限制，看看他們?nèi)绾纬晒Φ孛闇?zhǔn)真正的東西。隨著企業(yè)尋求整合AI，但沒(méi)有預(yù)算為代價(jià)高昂的開發(fā)提供資金，這種威脅載體正在增長(zhǎng)。他們求助于更具成本效益的選項(xiàng)，如GPT-4，為付費(fèi)客戶提供對(duì)其數(shù)據(jù)的洞察。
• 數(shù)據(jù)中毒：用于訓(xùn)練深度學(xué)習(xí)模型的公共數(shù)據(jù)集有可能被篡改。如果壞人可以訪問(wèn)這些集合，這些集合就可以被操縱，而對(duì)有毒數(shù)據(jù)進(jìn)行訓(xùn)練的模型會(huì)產(chǎn)生錯(cuò)誤或惡意的預(yù)測(cè)和決定。雖然目前還沒(méi)有報(bào)道的例子，但如果成功完成，這種情況可能會(huì)造成巨大的損害。
• 快速注入：已經(jīng)證明其對(duì)AI有害的風(fēng)險(xiǎn)是快速注入。大型語(yǔ)言模型是AI工具的基礎(chǔ)，它們通過(guò)預(yù)測(cè)接下來(lái)會(huì)發(fā)生什么來(lái)工作——對(duì)于聊天機(jī)器人來(lái)說(shuō)，這是用來(lái)驅(qū)動(dòng)響應(yīng)和發(fā)出指令的。黑客正在使用提示注入技術(shù)，通過(guò)輸入一系列提示或問(wèn)題來(lái)欺騙應(yīng)用程序，以覆蓋其現(xiàn)有指令，從而“欺騙”聊天機(jī)器人。
• 提取機(jī)密信息：人們?cè)絹?lái)越擔(dān)心這些AI平臺(tái)存儲(chǔ)的是什么。由于土地管理公司接受了數(shù)據(jù)方面的培訓(xùn)，因此上傳到這些平臺(tái)上的信息可以存儲(chǔ)起來(lái)，如果查詢正確，則可以重新分發(fā)。隨著企業(yè)將大型語(yǔ)言模型添加到他們的技術(shù)堆棧中，最大的風(fēng)險(xiǎn)將是上傳的數(shù)據(jù)。如果團(tuán)隊(duì)上傳個(gè)人身份信息或機(jī)密信息，企業(yè)將面臨公開共享這些數(shù)據(jù)的風(fēng)險(xiǎn)。

企業(yè)如何緩解AI面臨的風(fēng)險(xiǎn)

AI在企業(yè)中的廣泛使用是一個(gè)日益增長(zhǎng)的趨勢(shì)，這意味著除非得到適當(dāng)?shù)慕鉀Q，否則AI面臨的風(fēng)險(xiǎn)將持續(xù)存在。實(shí)施這些AI系統(tǒng)的企業(yè)應(yīng)該負(fù)責(zé)任地這樣做，納入安全行業(yè)指導(dǎo)，并將這些系統(tǒng)納入威脅格局。

那么，企業(yè)如何才能撐起AI責(zé)任的盡頭呢?通過(guò)確定適當(dāng)?shù)腁I業(yè)務(wù)用例來(lái)領(lǐng)先于威脅，這些使用案例包括：

• 利用AI作為一種靈活的防御：今天的威脅需要一種主動(dòng)的安全方法，而不是被動(dòng)的方法。通過(guò)將AI添加到他們的安全堆棧中，企業(yè)可以先發(fā)制人地應(yīng)對(duì)威脅。使用基于AI的系統(tǒng)，IT和安全團(tuán)隊(duì)可以訪問(wèn)不斷收集的大量威脅情報(bào)資源，使他們能夠快速實(shí)施新策略，并更好地了解壞人不斷演變的策略。AI為團(tuán)隊(duì)配備了緩解現(xiàn)代風(fēng)險(xiǎn)所需的洞察力和解決方案，這在網(wǎng)絡(luò)犯罪分子轉(zhuǎn)向AI以推進(jìn)他們的方法時(shí)至關(guān)重要。
• 利用GenAI進(jìn)行高級(jí)異常檢測(cè)：借助AI系統(tǒng)收集的威脅情報(bào)，IT和安全團(tuán)隊(duì)可以進(jìn)行實(shí)時(shí)異常檢測(cè)。誤報(bào)可能會(huì)使內(nèi)部團(tuán)隊(duì)難以檢測(cè)異常，因?yàn)樗麄兒Y選結(jié)果以確保系統(tǒng)識(shí)別真正的異常。與其對(duì)數(shù)據(jù)進(jìn)行分類，還可以對(duì)生成模型進(jìn)行訓(xùn)練，以便更好地理解“正常數(shù)據(jù)”模式，從而幫助減少誤報(bào)。GenAI可以通過(guò)從數(shù)據(jù)集中提取信息來(lái)幫助警報(bào)尖峰、機(jī)器人和其他可能針對(duì)系統(tǒng)的攻擊。準(zhǔn)確高效地支持團(tuán)隊(duì)挫敗攻擊。
• 減少工作量：以前，安全團(tuán)隊(duì)需要某些編程語(yǔ)言等領(lǐng)域的專家來(lái)幫助在攻擊過(guò)程中為決策過(guò)程提供信息。AI消除了對(duì)每種語(yǔ)言專家的需求。如果企業(yè)因惡意腳本試圖攻擊其系統(tǒng)而面臨攻擊，IT和安全團(tuán)隊(duì)可以求助于GenAI來(lái)輸入腳本，并收到有關(guān)修補(bǔ)任何現(xiàn)有漏洞以防御攻擊的即時(shí)指示，這不僅允許快速補(bǔ)救，而且還減輕了內(nèi)部團(tuán)隊(duì)的負(fù)擔(dān)。

AI風(fēng)險(xiǎn)責(zé)任不僅僅是企業(yè)的責(zé)任

在所有技術(shù)中，該行業(yè)在塑造未來(lái)使用方面發(fā)揮著關(guān)鍵作用。幾乎在一夜之間，AI變得迅速普及，其進(jìn)步也同樣迅速。美國(guó)有開發(fā)更負(fù)責(zé)任的AI的需求，但缺乏明確的法規(guī)，對(duì)那些不太熟悉這項(xiàng)技術(shù)的人來(lái)說(shuō)，幾乎沒(méi)有什么清晰的東西。

隨著AI繼續(xù)滲透到工作場(chǎng)所，企業(yè)面臨著快速、安全地部署基于AI的系統(tǒng)以滿足新需求，同時(shí)避免將自己暴露在不斷擴(kuò)大的威脅矢量中的巨大負(fù)擔(dān)，這一巨大的重量并不是企業(yè)本身可以承受的，因此制定法規(guī)、提供指導(dǎo)和框架對(duì)工作場(chǎng)所AI的未來(lái)至關(guān)重要。

拜登政府發(fā)布的AI行政命令有助于為AI的安全和安保建立新的標(biāo)準(zhǔn)。白宮最近的努力也推動(dòng)了領(lǐng)先的AI公司承諾推動(dòng)安全、可靠的AI發(fā)展，這將進(jìn)一步提高實(shí)施這些公司解決方案的企業(yè)對(duì)AI的使用。盡管取得了進(jìn)展，但監(jiān)管需要時(shí)間才能充分發(fā)揮作用，AI的進(jìn)步也不會(huì)因?yàn)榈却邔?shí)施而放緩。

幸運(yùn)的是，現(xiàn)有的框架、指導(dǎo)和資源可供企業(yè)在等待更嚴(yán)格的法規(guī)時(shí)確保適當(dāng)?shù)臉I(yè)務(wù)使用和AI的實(shí)現(xiàn)。例如，美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)推出了NIST AI風(fēng)險(xiǎn)管理框架，這個(gè)框架旨在更好地管理與AI相關(guān)的個(gè)人、企業(yè)和社會(huì)的風(fēng)險(xiǎn)。

在過(guò)去的一年里，我們看到了AI發(fā)展的如此之快。隨著我們等待對(duì)提供更多定義流程的技術(shù)的進(jìn)一步監(jiān)管，企業(yè)應(yīng)該求助于像NIST這樣的現(xiàn)有框架來(lái)最好地裝備自己。

協(xié)作將是保護(hù)AI的關(guān)鍵

為了成功地使用AI，很明顯，企業(yè)需要轉(zhuǎn)變心態(tài)，專注于這項(xiàng)技術(shù)的風(fēng)險(xiǎn)。通過(guò)將資源放在保護(hù)AI的背后，并呼吁商業(yè)領(lǐng)袖、監(jiān)管機(jī)構(gòu)和行業(yè)專家的合作，可以清楚地看到一條從AI創(chuàng)新中受益的更安全的未來(lái)。