生成式人工智能（GenAI）正處于技術(shù)創(chuàng)新的前沿，為各個行業(yè)變革發(fā)展帶來新的可能性。然而，隨著這些技術(shù)的不斷應(yīng)用與整合，企業(yè)組織也必須謹慎對待其應(yīng)用安全性和監(jiān)管合規(guī)，以負責任和可持續(xù)的方式實現(xiàn)GenAI技術(shù)的價值落地。日前，專業(yè)媒體Helpnetsecurity收集整理了多家研究機構(gòu)在2023年開展的GenAI技術(shù)應(yīng)用調(diào)查，并對其主要預(yù)測觀點進行了總結(jié)。通過對這些觀點的總結(jié)和觀察，將有助于企業(yè)組織在2024年更好地應(yīng)用GenAI技術(shù)。

1. 中小型企業(yè)更希望擁抱GenAI，但往往會忽視安全措施

Zscaler公司今年針對900多名全球IT決策者進行了一項調(diào)查，數(shù)據(jù)顯示，盡管89%的組織認為像ChatGPT這樣的GenAI工具存在潛在的安全風險，但仍然有95%的受訪組織已經(jīng)在其業(yè)務(wù)中以某種形式使用了這些技術(shù)。

令人擔憂的是，23%的用戶根本沒有監(jiān)控GenAI的使用情況，33%的用戶還沒有為GenAI應(yīng)用采取額外的安全措施。這種情況在小型企業(yè)（500-999名員工）中尤為明顯。51%的受訪者預(yù)計，其所在的企業(yè)在2024年對GenAI工具的關(guān)注度將進一步增加，因此需要迅速采取行動，以縮小GenAI采用和安全之間的缺口。

2. 大多數(shù)企業(yè)不知道如何應(yīng)對GenAI應(yīng)用風險

ISG研究數(shù)據(jù)顯示，85%的受訪公司認為，在未來24個月內(nèi)，對GenAI的投資是重要或關(guān)鍵的。然而，大多數(shù)公司并沒有采取“空白名單”（blank slate）的方式，而是要求或通過服務(wù)提供商將GenAI應(yīng)用整合到現(xiàn)有服務(wù)中。

關(guān)于生成式人工智能的最大擔憂之一是偏見和誤解。當生成式人工智能無法生成一個問題的正確答案時，“人工智能幻覺”就會形成。此外，企業(yè)在應(yīng)用AI時，還要擔心數(shù)據(jù)質(zhì)量和模型被破壞或中毒的可能性。雖然很多企業(yè)組織看到了GenAI的潛力，但很少有企業(yè)知道該如何處理AI技術(shù)的應(yīng)用風險。ISG報告指出，在通過AI技術(shù)實現(xiàn)飛躍式發(fā)展之前，企業(yè)需要克服的障礙包括安全、版權(quán)問題、道德考慮和法律問題。

3. ChatGPT的應(yīng)用流行引發(fā)了全球GenAI投資的激增

人工智能并不是一項新技術(shù)，多年來，眾多科技公司一直在大力投資于預(yù)測和可解釋型人工智能。但研究機構(gòu)IDC表示，OpenAI所發(fā)布的GPT-3.5系列應(yīng)用，吸引了全世界的關(guān)注，并引發(fā)了對GenAI投資的激增。IDC預(yù)計，到2027年，全球在人工智能解決方案上的支出將增長到5000億美元以上。大多數(shù)組織都要經(jīng)歷一個向人工智能增強產(chǎn)品/服務(wù)過渡的轉(zhuǎn)變過程。

4. 企業(yè)技術(shù)領(lǐng)導者難以跟上AI的發(fā)展

Harvey Nash最新報告指出，AI技術(shù)正在全面挑戰(zhàn)組織傳統(tǒng)的發(fā)展模式，但只有15%的企業(yè)技術(shù)領(lǐng)導者表示已經(jīng)為GenAI的應(yīng)用做好了準備，88%的受訪者表示加強對AI技術(shù)應(yīng)用的監(jiān)管至關(guān)重要。研究人員發(fā)現(xiàn)，盡管AI的市場預(yù)測呈爆炸式增長，但僅有10%的組織大規(guī)模實施了AI，而更多組織還是處于試點或小規(guī)模實施階段。

對AI有效應(yīng)用的擔憂是顯著的，近45%的企業(yè)技術(shù)領(lǐng)導者表示，AI技術(shù)是企業(yè)目前最短缺的技能領(lǐng)域，技能短缺將使企業(yè)無法跟上技術(shù)變革的步伐。

5. 企業(yè)有充分的理由擔心GenAI應(yīng)用安全性

據(jù)Portal26發(fā)布的調(diào)研數(shù)據(jù)顯示，三分之二的受訪者承認在過去一年中發(fā)生過GenAI安全或濫用事件。73%的受訪者已經(jīng)經(jīng)歷過與GenAI相關(guān)的安全事件，其中67%發(fā)生在2023年。研究人員認為，企業(yè)組織對GenAI應(yīng)用的安全性擔憂正在不斷增長，并且應(yīng)用風險仍未得到有效解決，具體擔心包括影子AI應(yīng)用（占比58%）、數(shù)據(jù)隱私（56%）、合規(guī)治理（63%）、知識產(chǎn)權(quán)保護（62%）、訓練偏見（55%）、數(shù)據(jù)安全（60%）以及員工培訓（58%）等方面。

6. CISO需要提前為AI技術(shù)引發(fā)的網(wǎng)絡(luò)攻擊做好準備

根據(jù)Abnormal Security公司提供的監(jiān)測數(shù)據(jù)，企業(yè)組織在2023年所經(jīng)歷的電子郵件攻擊數(shù)量和復(fù)雜程度都出現(xiàn)了明顯增長，而主要原因很可能就是因為攻擊者廣泛使用了GenAI技術(shù)。

讓安全研究人員最擔心的是，GenAI不僅使電子郵件攻擊變得越來越復(fù)雜，還能夠幫助攻擊者根據(jù)公開可用的信息制作高度針對性和個性化的欺詐電子郵件。

2023年，有許多人已經(jīng)在經(jīng)歷這些威脅，80.3%的受訪者證實，他們的組織已經(jīng)收到由AI生成的電子郵件攻擊。但絕大多數(shù)安全負責人并沒有做好充分準備，難以防范AI生成的電子郵件攻擊。傳統(tǒng)的安全防護方法難以應(yīng)對AI生成的網(wǎng)絡(luò)攻擊，因此，有46%的受訪者對檢測和阻止人工智能生成的攻擊缺乏信心。

7. 通過構(gòu)建GenAI能力促進業(yè)務(wù)增長

IDC的研究人員表示，現(xiàn)代企業(yè)組織應(yīng)該盡快踏上GenAI技術(shù)采用之旅以實現(xiàn)業(yè)務(wù)成功，這需要不斷開展與GenAI投資相關(guān)的基礎(chǔ)活動，確定用例優(yōu)先級的指導，以及確定構(gòu)建和實施成功計劃所必需的關(guān)鍵利益相關(guān)者。構(gòu)建和使用GenAI模型將需要新的能力，例如“提示工程師”為GenAI系統(tǒng)編寫和測試提示。每個組織都必須為核心AI技術(shù)和業(yè)務(wù)能力創(chuàng)建新的技能地圖，以便在整個組織中大規(guī)模部署GenAI。組織還應(yīng)該為關(guān)鍵角色建立個性化的培訓計劃。

8. GenAI可能會將DevOps和SecOps引入到危險領(lǐng)域

Sonatype公司研究表示，企業(yè)應(yīng)用安全領(lǐng)導者和軟件開發(fā)領(lǐng)導者們都一直認為，GenAI技術(shù)將導致軟件開發(fā)中更普遍的安全漏洞，可能會將DevOps和SecOps引入到危險領(lǐng)域。

調(diào)查顯示，97%的受訪DevOps和SecOps領(lǐng)導者目前已經(jīng)開始使用GenAI技術(shù)。但大多數(shù)受訪者都認為，安全風險是他們對該技術(shù)應(yīng)用最大擔憂。不過，雖然DevOps和SecOps受訪者對GenAI的風險看法高度，但在采用率方面卻存在顯著差異。45%的SecOps領(lǐng)導者已經(jīng)在軟件開發(fā)過程中實施了GenAI，而DevOps的這一比例為31%。57%的SecOps受訪者表示GenAI每周至少為他們節(jié)省6個小時，而DevOps方面只有31%的受訪者表示節(jié)省了同樣時間。

9. 企業(yè)對GenAI的SaaS化服務(wù)安全影響感到焦慮

Snow Software公司表示，企業(yè)的IT領(lǐng)導者正在努力應(yīng)對GenAI應(yīng)用風險挑戰(zhàn)，盡管96%的受訪者仍然對其組織的SaaS安全措施“有信心或非常有信心”，然而，IT領(lǐng)導者現(xiàn)在必須將GenAI的風險影響納入其整體SaaS安全方法中。23%的受訪者表示，GenAI應(yīng)用程序是最令人擔憂的SaaS安全問題。57%的受訪者表示，如果SaaS供應(yīng)商在他們不知情的情況下使用GenAI，這會讓他們感到震驚和焦慮。

參考鏈接：https://www.helpnetsecurity.com/2023/12/22/genai-cybersecurity-surveys/