自動(dòng)評(píng)估和安全平臺(tái)Patronus AI（守護(hù)神）發(fā)布了一個(gè)診斷測(cè)試套件SimpleSafetyTest的結(jié)果，該套件顯示了大型語(yǔ)言模型(LLM)中的關(guān)鍵安全風(fēng)險(xiǎn)。該公告揭示了人工智能模型的局限性，并強(qiáng)調(diào)了改進(jìn)的必要性，特別是對(duì)金融等高度監(jiān)管行業(yè)的人工智能用例。

來(lái)自Patronus AI的發(fā)現(xiàn)，正值人們?cè)絹?lái)越擔(dān)心ChatGPT等GenAI（生成式人工智能）系統(tǒng)的準(zhǔn)確性，以及GenAI系統(tǒng)對(duì)查詢提供有害回復(fù)的可能性。人們也越來(lái)越需要對(duì)人工智能的使用進(jìn)行道德和法律監(jiān)督。

Patronus AI SimpleSafetyTest的結(jié)果是基于對(duì)SEC(美國(guó)證券交易委員會(huì))文件中一些最流行的開(kāi)源LLM的測(cè)試。該測(cè)試包括100個(gè)測(cè)試提示，旨在測(cè)試高優(yōu)先級(jí)傷害領(lǐng)域的脆弱性，如虐待兒童、身體傷害和自殺。LLM們?cè)跍y(cè)試中只有79%的答案是正確的。一些模型產(chǎn)生了超過(guò)20%的不安全響應(yīng)。

令人擔(dān)憂的低分?jǐn)?shù)可能是來(lái)自潛在訓(xùn)練數(shù)據(jù)分布的問(wèn)題。LLM也有一種“幻覺(jué)”的傾向，這意味著他們產(chǎn)生的文本與事實(shí)不符，無(wú)意中過(guò)于放縱，或者毫無(wú)意義。如果LLM在不完整或矛盾的數(shù)據(jù)上進(jìn)行訓(xùn)練，系統(tǒng)可能會(huì)在關(guān)聯(lián)中犯錯(cuò)誤，從而導(dǎo)致錯(cuò)誤的輸出。

Patronus人工智能測(cè)試表明，LLM會(huì)產(chǎn)生幻覺(jué)的數(shù)字和事實(shí)，沒(méi)有在美國(guó)證券交易委員會(huì)的文件。研究還表明，增加“護(hù)欄”，比如強(qiáng)調(diào)安全的提示，可以減少10%的不安全反應(yīng)，但風(fēng)險(xiǎn)仍然存在。

成立于2023年的Patronus AI一直把測(cè)試重點(diǎn)放在監(jiān)管嚴(yán)格的行業(yè)，在這些行業(yè)，錯(cuò)誤的答案可能會(huì)造成嚴(yán)重后果。這家初創(chuàng)公司的使命是成為評(píng)估人工智能模型安全風(fēng)險(xiǎn)的值得信賴的第三方。一些早期采用者甚至將Patronus人工智能描述為“人工智能中的穆迪（Moody）”。

今年早些時(shí)候，Patronus AI的創(chuàng)始人Rebecca Qian和Anand Kannappan接受采訪時(shí)分享了他們對(duì)Patronus AI的愿景，希望成為“第一個(gè)幫助企業(yè)自信地使用語(yǔ)言模型的自動(dòng)化驗(yàn)證和安全平臺(tái)”，并幫助“企業(yè)能夠大規(guī)模地發(fā)現(xiàn)語(yǔ)言模型錯(cuò)誤”。

組織希望將GenAI納入其運(yùn)營(yíng)中，SimpleSafetyTest的最新結(jié)果突出了人工智能模型面臨的一些挑戰(zhàn)，。GenAI最有前途的用例之一是它快速提取重要數(shù)字并對(duì)財(cái)務(wù)敘述進(jìn)行分析的潛力。然而，如果對(duì)該模型的準(zhǔn)確性存在擔(dān)憂，可能會(huì)對(duì)該模型在高度監(jiān)管行業(yè)的應(yīng)用產(chǎn)生嚴(yán)重質(zhì)疑。

麥肯錫最近的一份報(bào)告顯示，銀行業(yè)從GenAI技術(shù)中受益的潛力最大。它每年可以為該行業(yè)增加相當(dāng)于2.6萬(wàn)億至4.4萬(wàn)億美元的價(jià)值。

在大多數(shù)行業(yè)中，SimpleSafetyTest中錯(cuò)誤回答的百分比是不可接受的。Patronus AI創(chuàng)始人認(rèn)為，隨著不斷改進(jìn)，這些模型可以為金融行業(yè)(包括分析師和投資者)提供寶貴的支持。雖然GenAI的巨大潛力是不可否認(rèn)的，但要真正實(shí)現(xiàn)這一潛力，在部署之前需要進(jìn)行嚴(yán)格的測(cè)試。