編譯丨伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

對(duì)生成性人工智能（generative AI）的需求正不斷增長(zhǎng)，而對(duì)LLM安全和可靠性的擔(dān)憂也變得比以往任何時(shí)候都更加突出。企業(yè)希望能確保為內(nèi)外部使用而開(kāi)發(fā)的大規(guī)模語(yǔ)言模型（LLM）能夠提供高質(zhì)量的輸出，而不會(huì)偏離到未知領(lǐng)域。

微軟認(rèn)識(shí)到這些擔(dān)憂，長(zhǎng)期以來(lái)，微軟使用OpenAI的模型只能調(diào)用API，對(duì)黑盒里的秘密缺少掌控的方法。微軟近期宣布推出了新的Azure AI工具，用以幫助解決大模型的幻覺(jué)問(wèn)題，同時(shí)能夠解決安全漏洞問(wèn)題，如提示注入攻擊，即模型被欺騙生成侵犯隱私或其他有害內(nèi)容——就像微軟自己的AI圖像創(chuàng)作器生成的泰勒·斯威夫特深度偽造圖像一樣。

據(jù)悉，安全工具將在未來(lái)幾個(gè)月內(nèi)廣泛推出，目前尚未公開(kāi)具體的時(shí)間表。

1.Azure AI在大模型的安全做些什么？

隨著LLM的普及，提示注入攻擊問(wèn)題變得格外突出。本質(zhì)上，攻擊者可以以一種方式改變模型的輸入提示（prompt），以繞過(guò)模型的正常操作，包括安全控制，并操縱它以顯示個(gè)人或有害內(nèi)容，從而危及安全或隱私。這些攻擊可以通過(guò)兩種方式進(jìn)行：直接攻擊，即攻擊者直接與LLM交互；或間接攻擊，這涉及使用第三方數(shù)據(jù)源，如惡意網(wǎng)頁(yè)。

為了解決這兩種形式的提示注入，微軟正在將提示盾（Prompt Shields）添加到Azure AI。這是一個(gè)綜合能力，使用先進(jìn)的機(jī)器學(xué)習(xí)（ML）算法和自然語(yǔ)言處理自動(dòng)分析提示和第三方數(shù)據(jù)的惡意意圖，并阻止它們到達(dá)模型。

它將集成到微軟的三個(gè)相關(guān)產(chǎn)品中：Azure OpenAI服務(wù)（編者注：Azure OpenAI 是微軟推出的一款基于云的服務(wù)產(chǎn)品，它提供了對(duì)OpenAI強(qiáng)大語(yǔ)言模型的訪問(wèn)能力。Azure OpenAI 的核心優(yōu)勢(shì)在于它結(jié)合了OpenAI的先進(jìn)技術(shù)和微軟Azure的安全性及企業(yè)級(jí)承諾）、Azure AI內(nèi)容安全和Azure AI工作室。

除了努力阻止威脅安全和安全的提示注入攻擊外，微軟還引入了專注于生成型AI應(yīng)用程序可靠性的工具。這包括預(yù)建的安全中心系統(tǒng)消息模板和一個(gè)新的功能，稱為“基礎(chǔ)性檢測(cè)”（Groundedness Detection）。

正如微軟所解釋的，安全中心系統(tǒng)消息模板允許開(kāi)發(fā)人員構(gòu)建引導(dǎo)模型行為朝著安全、負(fù)責(zé)和數(shù)據(jù)基礎(chǔ)輸出的系統(tǒng)消息。而基礎(chǔ)性檢測(cè)使用一個(gè)經(jīng)過(guò)微調(diào)的定制語(yǔ)言模型來(lái)檢測(cè)模型產(chǎn)生的文本輸出中的幻覺(jué)或不準(zhǔn)確材料。兩者都將在Azure AI工作室和Azure OpenAI產(chǎn)品中提供服務(wù)。

值得注意的是，檢測(cè)基礎(chǔ)性的指標(biāo)還將伴隨著自動(dòng)化評(píng)估，以壓力測(cè)試生成型AI應(yīng)用程序的風(fēng)險(xiǎn)和安全性。這些指標(biāo)將衡量應(yīng)用程序被越獄并產(chǎn)生任何不適當(dāng)內(nèi)容的可能性。評(píng)估還將包括自然語(yǔ)言解釋，以指導(dǎo)開(kāi)發(fā)人員如何構(gòu)建適當(dāng)?shù)木徑獯胧﹣?lái)解決問(wèn)題。

“今天，許多組織缺乏壓力測(cè)試其生成型AI應(yīng)用程序的資源，以便他們可以自信地從原型轉(zhuǎn)向市場(chǎng)應(yīng)用。首先，構(gòu)建一個(gè)反映新出現(xiàn)風(fēng)險(xiǎn)范圍的高質(zhì)量測(cè)試數(shù)據(jù)集可能是具有挑戰(zhàn)性的，例如越獄攻擊。即使有高質(zhì)量的數(shù)據(jù)，評(píng)估也可能是一個(gè)復(fù)雜且手動(dòng)的過(guò)程，開(kāi)發(fā)團(tuán)隊(duì)可能會(huì)發(fā)現(xiàn)很難解釋結(jié)果以通知有效的緩解措施，”微軟安全AI首席產(chǎn)品官Sarah Bird在博客文章中指出。

2.Azure AI將實(shí)時(shí)“監(jiān)控”大模型

Azure AI在實(shí)際使用過(guò)程中，微軟將提供實(shí)時(shí)監(jiān)控，幫助開(kāi)發(fā)人員密切關(guān)注觸發(fā)安全功能（如提示盾）的輸入和輸出。這項(xiàng)功能被集成在Azure OpenAI服務(wù)和AI工作室產(chǎn)品中，將生成詳細(xì)的可視化圖表，突出顯示被阻止的用戶輸入/模型輸出的數(shù)量和比例，以及按嚴(yán)重性/類別的細(xì)分。

利用這種可視化的實(shí)時(shí)監(jiān)測(cè)，開(kāi)發(fā)人員能夠了解有害請(qǐng)求趨勢(shì)隨時(shí)間的變化，并調(diào)整其內(nèi)容過(guò)濾器配置、控制以及更廣泛的應(yīng)用程序設(shè)計(jì)，以增強(qiáng)安全性。

微軟致力于加強(qiáng)其AI產(chǎn)品已經(jīng)有很長(zhǎng)的時(shí)間了。此前，微軟CEO薩提亞·納德拉（Satya Nadella）在采訪中強(qiáng)調(diào)，微軟并沒(méi)有完全依賴于OpenAI，同時(shí)也在發(fā)展自己的AI項(xiàng)目，以及幫助OpenAI建設(shè)其產(chǎn)品：“我對(duì)于我們現(xiàn)在的關(guān)系感到很滿意。我也認(rèn)為，這樣有助于我們掌握各自公司的命運(yùn)?！?/p>

改變了“All in OpenAI”的格局，微軟也使用了包括Mistral在內(nèi)的大模型。最近，微軟新成立的團(tuán)隊(duì)Microsoft AI動(dòng)作頻頻，它甚至聘請(qǐng)了來(lái)自Inflection AI的Mustafa Suleyman及其團(tuán)隊(duì)。這似乎是一種減少對(duì)Sam Altman及OpenAI依賴的方法。

現(xiàn)在，這些新的安全和可靠性工具的加入建立在公司已經(jīng)完成的工作基礎(chǔ)上，為開(kāi)發(fā)人員提供了一個(gè)更好、更安全的方式來(lái)構(gòu)建其提供的模型之上的生成型AI應(yīng)用程序。

參考鏈接：https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm-safety-and-reliability-risks/

來(lái)源： ??51CTO技術(shù)棧??作者：伊風(fēng)