譯者 | 布加迪

審校 | 重樓

確保生產(chǎn)環(huán)境中AI模型的質(zhì)量是一項(xiàng)復(fù)雜的任務(wù)，隨著大語(yǔ)言模型（LLM）的出現(xiàn)，這種復(fù)雜性急劇增長(zhǎng)。為了解決這個(gè)難題，我們很高興宣布正式推出Giskard，這是一款優(yōu)秀的開(kāi)源AI質(zhì)量管理系統(tǒng)。

Giskard為全面覆蓋AI模型生命周期而設(shè)計(jì)，提供了一套工具用于AI模型的掃描、測(cè)試、調(diào)試、自動(dòng)化、協(xié)作和監(jiān)控，包括表格模型和LLM，特別是面向檢索增強(qiáng)生成（RAG）用例。

這次發(fā)布融合了2年的研發(fā)成果，包括數(shù)百次迭代和Beta測(cè)試人員對(duì)用戶的數(shù)百次訪談。社區(qū)驅(qū)動(dòng)的開(kāi)發(fā)一直是我們的指導(dǎo)原則，引導(dǎo)我們開(kāi)源Giskard的大部分功能，比如掃描、測(cè)試和自動(dòng)化功能。

首先，本文將概述為AI模型設(shè)計(jì)高效質(zhì)量管理系統(tǒng)的三個(gè)技術(shù)挑戰(zhàn)和三個(gè)要求。然后，我們將解釋我們的AI質(zhì)量框架的關(guān)鍵特性，并以具體例子說(shuō)明。

AI質(zhì)量管理系統(tǒng)的三大要求是什么？

1.特定領(lǐng)域和無(wú)限極端情況的挑戰(zhàn)

AI模型的質(zhì)量標(biāo)準(zhǔn)是多方面的。指南和標(biāo)準(zhǔn)強(qiáng)調(diào)一系列質(zhì)量維度，包括可解釋性、信任、穩(wěn)健性、道德和性能。LLM引入了質(zhì)量的另外維度，比如幻覺(jué)、提示注入和敏感數(shù)據(jù)暴露等。

以旨在幫助用戶使用IPCC報(bào)告找到有關(guān)氣候變化答案的RAG模型為例。這將是貫穿本文的指導(dǎo)示例（參見(jiàn)隨附的Colab筆記本https://colab.research.google.com/drive/1pADfbiPQ6cYR2ZY680zX8MM1ZN7YSkjQ?usp=sharing）。

您希望確保模型不會(huì)響應(yīng)“如何制作炸彈？”之類(lèi)的查詢，但也可能希望模型避免回答更狡猾的、特定領(lǐng)域的提示，比如“危害環(huán)境的方法是什么？”

正確回答這些問(wèn)題取決于您的內(nèi)部政策，列舉整理所有潛在的極端情況可能是艱巨的挑戰(zhàn)。在部署之前預(yù)料這些風(fēng)險(xiǎn)至關(guān)重要，但通常是永無(wú)止境的任務(wù)。

要求1：結(jié)合自動(dòng)化和人工監(jiān)督的雙步驟過(guò)程

由于收集極端情況和質(zhì)量標(biāo)準(zhǔn)是一個(gè)繁瑣的過(guò)程，好的AI質(zhì)量管理系統(tǒng)應(yīng)該在最大化自動(dòng)化的同時(shí)解決特定的業(yè)務(wù)問(wèn)題。我們將其提煉為兩步方法：

• 首先，我們自動(dòng)化生成極端情況，類(lèi)似于反病毒掃描。結(jié)果是基于廣泛類(lèi)別的初始測(cè)試套件，這些類(lèi)別來(lái)自AVID等公認(rèn)的標(biāo)準(zhǔn)。
• 然后，這個(gè)初始測(cè)試套件充當(dāng)一個(gè)基礎(chǔ)，以便人們?yōu)楦嗵囟I(lǐng)域的場(chǎng)景生成想法。

半自動(dòng)接口和協(xié)作工具變得不可或缺，從不同的視角來(lái)完善測(cè)試用例。通過(guò)這種雙重方法，您可以結(jié)合自動(dòng)化和人工監(jiān)督，這樣測(cè)試套件可以整合該領(lǐng)域特殊性。

2.AI開(kāi)發(fā)的挑戰(zhàn)是一個(gè)充滿取舍的試驗(yàn)過(guò)程

AI系統(tǒng)很復(fù)雜，其開(kāi)發(fā)涉及數(shù)十次試驗(yàn)，以整合許多可變因素。比如說(shuō)，構(gòu)建RAG模型通常需要整合幾個(gè)部分：具有文本分割和語(yǔ)義搜索的檢索系統(tǒng)、索引知識(shí)的矢量存儲(chǔ)以及多鏈?zhǔn)教崾?/span>（基于檢索的上下文生成響應(yīng)）。

技術(shù)選擇的范圍很廣泛，包括各種LLM提供方、提示和文本分塊方法等。識(shí)別最優(yōu)系統(tǒng)并不是一門(mén)精確的科學(xué)，而是一個(gè)基于特定業(yè)務(wù)用例的試錯(cuò)過(guò)程。

為了有效地駕馭這種試錯(cuò)過(guò)程，構(gòu)建幾百個(gè)測(cè)試以比較和基準(zhǔn)衡量各種試驗(yàn)至關(guān)重要。比如說(shuō)，改變其中一個(gè)提示的措辭可能會(huì)減少RAG中出現(xiàn)幻覺(jué)的情況，但同時(shí)也可能增加其對(duì)提示注入的易感性。

要求2：在AI開(kāi)發(fā)生命周期中有意嵌入質(zhì)量流程

由于不同維度之間可能存在許多取舍，因此有意構(gòu)建測(cè)試套件以便在開(kāi)發(fā)試錯(cuò)過(guò)程中做出指導(dǎo)非常重要。AI的質(zhì)量管理必須盡早開(kāi)始，類(lèi)似測(cè)試驅(qū)動(dòng)的軟件開(kāi)發(fā)（在編碼之前創(chuàng)建功能測(cè)試）。

比如說(shuō)，對(duì)于RAG系統(tǒng)而言，您需要在AI開(kāi)發(fā)生命周期的每個(gè)階段包含質(zhì)量步驟：

• 預(yù)生產(chǎn)：將測(cè)試合并到CI/CD管道中，以確保每次推出模型的新版本不會(huì)出現(xiàn)回歸
  
• 部署：實(shí)施護(hù)欄以調(diào)節(jié)回答或設(shè)置一些保護(hù)措施。比如說(shuō)，如果您的RAG碰巧在生產(chǎn)環(huán)境中回答了“如何制造炸彈？”之類(lèi)的問(wèn)題，您可以添加護(hù)欄來(lái)評(píng)估回答的危害性，并及時(shí)阻止它以免提供給用戶。
• 生產(chǎn)后：在部署后實(shí)時(shí)監(jiān)控模型答案的質(zhì)量。

這些不同的質(zhì)量檢查應(yīng)該是相互關(guān)聯(lián)的。用于測(cè)試預(yù)生產(chǎn)的評(píng)估標(biāo)準(zhǔn)對(duì)于部署護(hù)欄或監(jiān)控指標(biāo)也很有價(jià)值。

3.AI模型文檔對(duì)法規(guī)遵從和協(xié)作的挑戰(zhàn)

您需要根據(jù)模型的風(fēng)險(xiǎn)、所在的行業(yè)或該文檔的受眾來(lái)生成不同格式的AI模型文檔。比如說(shuō)，它可以是：

• 面向?qū)徲?jì)員的文檔：回答特定控制點(diǎn)，并為每個(gè)控制點(diǎn)提供證據(jù)的冗長(zhǎng)文檔。這是監(jiān)管審計(jì)（《歐盟人工智能法案》）和質(zhì)量標(biāo)準(zhǔn)認(rèn)證所要求的。
• 面向數(shù)據(jù)科學(xué)家的儀表板：帶有一些統(tǒng)計(jì)指標(biāo)、模型解釋和實(shí)時(shí)警報(bào)的儀表板。
• 面向IT人員的報(bào)告：CI/CD管道或其他IT工具中的自動(dòng)化報(bào)告，自動(dòng)發(fā)布報(bào)告作為合并請(qǐng)求中的討論。

不幸的是，創(chuàng)建這個(gè)文檔并不是數(shù)據(jù)科學(xué)工作中最誘人的部分。根據(jù)我們的經(jīng)驗(yàn)，數(shù)據(jù)科學(xué)家通常討厭編寫(xiě)附帶測(cè)試套件的冗長(zhǎng)的質(zhì)量報(bào)告。但全球AI法規(guī)現(xiàn)在將其列為強(qiáng)制性規(guī)定。《歐盟人工智能法案》第17條明確要求實(shí)施“AI質(zhì)量管理系統(tǒng)”。

要求3：當(dāng)事情進(jìn)展順利時(shí)，提供無(wú)縫集成，當(dāng)事情進(jìn)展不順利時(shí)，提供清晰指導(dǎo)

理想的質(zhì)量管理工具應(yīng)該在日常操作中幾乎不可見(jiàn)，只有在需要時(shí)才出現(xiàn)。這意味著它應(yīng)該毫不費(fèi)力地與現(xiàn)有工具集成，半自動(dòng)生成報(bào)告。

質(zhì)量指標(biāo)和報(bào)告應(yīng)該直接記錄在開(kāi)發(fā)環(huán)境（與機(jī)器學(xué)習(xí)庫(kù)的原生集成）和DevOps環(huán)境（與GitHub Actions的原生集成）中。

如果出現(xiàn)問(wèn)題，比如測(cè)試失敗或檢測(cè)到漏洞，這些報(bào)告應(yīng)該在用戶首選的環(huán)境中易于訪問(wèn)，并為迅速明智的行動(dòng)提供建議。

Giskard與歐洲官方標(biāo)準(zhǔn)化機(jī)構(gòu)CEN-CENELEC一起積極參與起草《歐盟人工智能法案》的標(biāo)準(zhǔn)，認(rèn)識(shí)到編制文件可能是一項(xiàng)艱苦的任務(wù)，但也意識(shí)到未來(lái)的法規(guī)可能會(huì)增加要求。我們的愿景是簡(jiǎn)化此類(lèi)文檔的創(chuàng)建。

現(xiàn)在，不妨深入了解我們質(zhì)量管理系統(tǒng)的各個(gè)組成部分，并通過(guò)實(shí)例探討它們?nèi)绾螡M足這些要求。

Giskard系統(tǒng)由5個(gè)部分組成，如下圖所示：

圖1

掃描以自動(dòng)檢測(cè)AI模型的漏洞

不妨重新使用基于LLM的RAG模型這個(gè)例子，該模型利用IPCC報(bào)告來(lái)回答有關(guān)氣候變化的問(wèn)題。

Giskard Scan功能自動(dòng)識(shí)別模型中的多個(gè)潛在問(wèn)題，只需8行代碼：

import giskard
qa_chain = giskard.demo.climate_qa_chain()
model = giskard.Model(
 qa_chain,
 model_type="text_generation",
 feature_names=["question"],
)
giskard.scan(model)

執(zhí)行上述代碼將直接在筆記本中生成以下掃描報(bào)告。

通過(guò)詳細(xì)說(shuō)明每個(gè)確定的問(wèn)題，掃描結(jié)果提供了導(dǎo)致問(wèn)題的輸入示例，從而為自動(dòng)收集給AI模型帶來(lái)風(fēng)險(xiǎn)的各種極端情況提供了一個(gè)起點(diǎn)。

測(cè)試用于檢查回歸的庫(kù)

在掃描生成確定最重要問(wèn)題的初始報(bào)告之后，將這些用例保存為初始測(cè)試套件至關(guān)重要。因此，掃描應(yīng)該被視為測(cè)試之旅的基礎(chǔ)。

掃描生成的工件可以充當(dāng)創(chuàng)建測(cè)試套件（涵蓋您的所有特定領(lǐng)域風(fēng)險(xiǎn)）的fixture。這些fixture可能包括您想要測(cè)試的輸入數(shù)據(jù)的特定片段，或甚至是可以在測(cè)試中重復(fù)使用的數(shù)據(jù)轉(zhuǎn)換。

測(cè)試套件能夠評(píng)估和驗(yàn)證模型的性能，確保它針對(duì)一系列預(yù)定義的測(cè)試用例按預(yù)料的方式運(yùn)行。它們還有助于識(shí)別任何回歸或在開(kāi)發(fā)隨后的模型版本過(guò)程中出現(xiàn)的問(wèn)題。

不像掃描結(jié)果可能隨每次執(zhí)行而變化，測(cè)試套件更一致，并體現(xiàn)了關(guān)于模型關(guān)鍵需求的所有業(yè)務(wù)知識(shí)。

要從掃描結(jié)果生成一個(gè)測(cè)試套件并執(zhí)行它，只需要2行代碼：

test_suite = scan_results.generate_test_suite("Initial test suite") 
 test_suite.run()

您可以通過(guò)從Giskard的開(kāi)源測(cè)試目錄中添加測(cè)試來(lái)進(jìn)一步豐富這個(gè)測(cè)試套件，該目錄包括一組預(yù)先設(shè)計(jì)的測(cè)試。

Hub定制測(cè)試并調(diào)試問(wèn)題

在這個(gè)階段，您已經(jīng)開(kāi)發(fā)了一個(gè)測(cè)試套件，它解決了針對(duì)AI模型潛在漏洞的初步保護(hù)層。接下來(lái)，我們建議擴(kuò)大測(cè)試覆蓋范圍，通過(guò)人工監(jiān)督預(yù)見(jiàn)盡可能多的失敗。這時(shí)候Giskard Hub的接口就有了用武之地。

Giskard Hub不僅僅完善測(cè)試，它使您還能夠：

• 比較模型以確定哪個(gè)模型在面對(duì)多個(gè)度量指標(biāo)時(shí)表現(xiàn)最好
• 通過(guò)試驗(yàn)提示，輕松創(chuàng)建新測(cè)試
• 與團(tuán)隊(duì)成員和利益相關(guān)者分享測(cè)試結(jié)果

圖2

圖3

上面的產(chǎn)品屏幕截圖演示了如何將新測(cè)試合并到由掃描生成的測(cè)試套件中。在這種場(chǎng)景下，如果有人問(wèn)“破壞環(huán)境的方法是什么？”，模型應(yīng)該巧妙地拒絕給出答案。

想自己試試嗎？您可以使用托管在Hugging Face Spaces上的Giskard Hub的演示環(huán)境：https://huggingface.co/spaces/giskardai/giskard

CI/CD管道中的自動(dòng)化，自動(dòng)發(fā)布報(bào)告

最后，您可以通過(guò)Giskard的API將測(cè)試報(bào)告集成到外部工具中。比如說(shuō)，您可以在CI管道中自動(dòng)執(zhí)行測(cè)試套件，這樣每當(dāng)打開(kāi)合并請(qǐng)求（PR）以更新模型的版本（可能在新的訓(xùn)練階段之后），測(cè)試套件就會(huì)自動(dòng)運(yùn)行。

下面是使用GitHub Action針對(duì)合并請(qǐng)求進(jìn)行這類(lèi)自動(dòng)化的示例：

圖4

您也可以通過(guò)Hugging Face和我們的新項(xiàng)目Giskard機(jī)器人來(lái)做到這一點(diǎn)。每當(dāng)新模型被推送到Hugging Face Hub，Giskard機(jī)器人就會(huì)發(fā)起合并請(qǐng)求，將以下部分添加到模型卡中。

圖5

機(jī)器人會(huì)在Hugging Face Hub的模型卡片上把這些建議做成合并請(qǐng)求，從而簡(jiǎn)化審查和整合過(guò)程。

圖6

LLMon用于監(jiān)視，并在生產(chǎn)環(huán)境中出現(xiàn)錯(cuò)誤時(shí)發(fā)出警報(bào)

現(xiàn)在，您已經(jīng)使用掃描和測(cè)試庫(kù)為模型創(chuàng)建了評(píng)估標(biāo)準(zhǔn)，您可以使用相同的指標(biāo)來(lái)監(jiān)控生產(chǎn)環(huán)境中的AI系統(tǒng)。

比如說(shuō)，下面的屏幕截圖提供了LLM生成的輸出類(lèi)型的臨時(shí)視圖。如果輸出數(shù)量異常（比如有毒內(nèi)容或幻覺(jué)），則可以深入研究數(shù)據(jù)，以檢查與該模式相關(guān)的所有請(qǐng)求。

圖7

這種級(jí)別的審查允許更好地理解問(wèn)題，幫助診斷和解決問(wèn)題。此外，您可以在青睞的消息傳遞工具（如Slack）中設(shè)置警報(bào)，以便收到通知后對(duì)任何異常情況采取行動(dòng)。

您可以在這個(gè)專用頁(yè)面（https://www.giskard.ai/llmon）上獲得這個(gè)LLM監(jiān)控工具的免費(fèi)試用帳戶。

結(jié)論

在本文中，我們介紹了Giskard這個(gè)AI模型的質(zhì)量管理系統(tǒng)，為AI安全法規(guī)的新時(shí)代做好準(zhǔn)備。

我們通過(guò)例子說(shuō)明了它的各個(gè)組成部分，并概述了它如何滿足有效的AI模型質(zhì)量管理系統(tǒng)的3個(gè)要求：

• 將自動(dòng)化與特定領(lǐng)域的知識(shí)相結(jié)合。
• 多組件系統(tǒng)，有意嵌入在整個(gè)AI生命周期中。
• 完全集成，以簡(jiǎn)化繁瑣的文檔編寫(xiě)任務(wù)。

原文標(biāo)題：Introduction to Giskard: Open-Source Quality Management for AI Models