Hello folks，我是 Luga，今天我們來聊一下人工智能(AI)生態(tài)領(lǐng)域相關(guān)的技術(shù) - LLM 評估 。

一、傳統(tǒng)文本評估面臨的挑戰(zhàn)

近年來，隨著大型語言模型(LLM)的快速發(fā)展和改進(jìn)，傳統(tǒng)的文本評估方法在某些方面可能已經(jīng)不再適用。在文本評估領(lǐng)域，我們可能已經(jīng)聽說過一些方法，例如基于“單詞出現(xiàn)”的評估方法，比如 BLEU，以及基于“預(yù)訓(xùn)練的自然語言處理模型”的評估方法，比如 BERTScore。

盡管這些方法在過去一直非常出色，但隨著 LLM 的生態(tài)技術(shù)的不斷發(fā)展，它們顯得有點(diǎn)力不從心，無法完全滿足當(dāng)前的需求。

隨著 LLM 的快速發(fā)展和改進(jìn)，我們正在面對新的挑戰(zhàn)和機(jī)遇。LLM 的能力和表現(xiàn)水平不斷提高，這使得基于單詞出現(xiàn)的評估方法(如 BLEU)可能無法完全捕捉到 LLM 生成文本的質(zhì)量和語義準(zhǔn)確性。LLM 能夠生成更加流暢、連貫且語義豐富的文本，而傳統(tǒng)的基于單詞出現(xiàn)的評估方法則無法準(zhǔn)確衡量這些方面的優(yōu)勢。

此外，基于預(yù)訓(xùn)練模型的評估方法(如 BERTScore)也面臨一些挑戰(zhàn)。盡管預(yù)訓(xùn)練模型在許多任務(wù)上表現(xiàn)出色，但它們可能無法充分考慮到 LLM 的獨(dú)特特征以及其在特定任務(wù)上的表現(xiàn)。LLM 在處理特定任務(wù)時可能會展現(xiàn)出與預(yù)訓(xùn)練模型不同的行為和性能，因此僅僅依賴基于預(yù)訓(xùn)練模型的評估方法可能無法全面評估 LLM 的能力。

二、為什么需要 LLM 指導(dǎo)評估?以及帶來的挑戰(zhàn) ?

通常來講，在實(shí)際的業(yè)務(wù)場景中，采用 LLM 指導(dǎo)評估這種方法最為價值的地方主要在于“速度”和“靈敏度”。

1.高效

首先，通常來說，實(shí)施速度更快。相比于以前的評估管道所需的工作量，創(chuàng)建 LLM 指導(dǎo)評估的首次實(shí)施相對較快且容易。對于 LLM 指導(dǎo)的評估，我們只需要準(zhǔn)備兩件事情：用文字描述評估標(biāo)準(zhǔn)，并提供一些在提示模板中使用的示例。相對于構(gòu)建自己的預(yù)訓(xùn)練 NLP 模型(或微調(diào)現(xiàn)有的 NLP 模型)以用作評估器所需的工作量和數(shù)據(jù)收集量，使用 LLM 來完成這些任務(wù)更為高效。使用 LLM，評估標(biāo)準(zhǔn)的迭代速度要快得多。

2.敏感性

其次，LLM 通常更加敏感。這種敏感性可能帶來積極的方面，與預(yù)訓(xùn)練的 NLP 模型和之前討論的評估方法相比，LLM 更能靈活地處理這些情況。然而，這種敏感性也可能導(dǎo)致 LLM 的評估結(jié)果變得非常不可預(yù)測。

正如我們之前討論的那樣，與其他評估方法相比，LLM 評估者更加敏感。將 LLM 作為評估器有許多不同的配置方法，根據(jù)所選擇的配置，其行為可能會有很大的差異。同時，另一個挑戰(zhàn)在于，如果評估涉及太多的推理步驟或需要同時處理太多的變量，LLM 評估者可能會陷入困境。

由于 LLM 的特性，其評估結(jié)果可能會受到不同配置和參數(shù)設(shè)置的影響。這意味著對 LLM 進(jìn)行評估時，需要仔細(xì)選擇和配置模型，以確保其行為符合預(yù)期。不同的配置可能導(dǎo)致不同的輸出結(jié)果，因此評估者需要花費(fèi)一定的時間和精力來調(diào)整和優(yōu)化 LLM 的設(shè)置，以獲得準(zhǔn)確和可靠的評估結(jié)果。

此外，當(dāng)面對需要進(jìn)行復(fù)雜推理或同時處理多個變量的評估任務(wù)時，評估者可能會面臨一些挑戰(zhàn)。這是因?yàn)?LLM 的推理能力在處理復(fù)雜情境時可能受限。LLM 可能需要進(jìn)行更多的努力來解決這些任務(wù)，以確保評估的準(zhǔn)確性和可靠性。

三、什么是 Arthur Bench ?

Arthur Bench 是一個開源的評估工具，用于比較生成文本模型 (LLM) 的性能。它可以用于評估不同 LLM 模型、提示和超參數(shù)，并提供有關(guān) LLM 在各種任務(wù)上的性能的詳細(xì)報(bào)告。

Arthur Bench 的主要功能包括：Arthur Bench 的主要功能包括：

• 比較不同 LLM 模型：Arthur Bench 可以用于比較不同 LLM 模型的性能，包括來自不同供應(yīng)商的模型、不同版本的模型以及使用不同訓(xùn)練數(shù)據(jù)集的模型。
• 評估提示：Arthur Bench 可以用于評估不同提示對 LLM 性能的影響。提示是用于指導(dǎo) LLM 生成文本的指令。
• 測試超參數(shù)：Arthur Bench 可以用于測試不同超參數(shù)對 LLM 性能的影響。超參數(shù)是控制 LLM 行為的設(shè)置。

通常而言，Arthur Bench 工作流程主要涉及如下階段，具體詳細(xì)解析如下所示：

1. 任務(wù)定義

在此階段，我們需要明確我們的評估目標(biāo)，Arthur Bench 支持多種評估任務(wù)，包括：

• 問答：測試 LLM 對開放式、挑戰(zhàn)性或多義性問題的理解和回答能力。
• 摘要：評估 LLM 提取文本關(guān)鍵信息并生成簡潔摘要的能力。
• 翻譯：考察 LLM 在不同語言之間進(jìn)行準(zhǔn)確、流暢翻譯的能力。
• 代碼生成：測試 LLM 根據(jù)自然語言描述生成代碼的能力。

2. 模型選擇

在此階段，主要工作為篩選評估對象。Arthur Bench 支持多種 LLM 模型，涵蓋來自 OpenAI、Google AI、Microsoft 等知名機(jī)構(gòu)的領(lǐng)先技術(shù)，如 GPT-3、LaMDA、Megatron-Turing NLG 等。我們可以根據(jù)研究需求選擇特定模型進(jìn)行評估。

3. 參數(shù)配置

完成模型選擇后，接下來進(jìn)行精細(xì)化調(diào)控工作。為了更精準(zhǔn)地評估 LLM 性能，Arthur Bench 允許用戶配置提示和超參數(shù)。

• 提示：指引 LLM 生成文本的方向和內(nèi)容，例如問題、描述或指令。
• 超參數(shù)：控制 LLM 行為的關(guān)鍵設(shè)置，例如學(xué)習(xí)率、訓(xùn)練步數(shù)、模型架構(gòu)等。

通過精細(xì)化配置，我們可以深入探索 LLM 在不同參數(shù)設(shè)置下的表現(xiàn)差異，獲得更具參考價值的評估結(jié)果。

4. 評估運(yùn)行：自動化流程

最后一步，即借助自動化流程進(jìn)行任務(wù)評估。通常情況下，Arthur Bench 提供自動化評估流程，只需簡單配置即可運(yùn)行評估任務(wù)。它將自動執(zhí)行以下步驟：

• 調(diào)用 LLM 模型并生成文本輸出。
• 針對特定任務(wù)，應(yīng)用相應(yīng)的評估指標(biāo)進(jìn)行分析。
• 生成詳細(xì)報(bào)告，呈現(xiàn)評估結(jié)果。

四、Arthur Bench 使用場景分析

作為一種快速、數(shù)據(jù)驅(qū)動的 LLM 評估的關(guān)鍵，Arthur Bench 主要提供如下解決方案，具體涉及：

1.模型選擇和驗(yàn)證

模型選擇和驗(yàn)證是人工智能領(lǐng)域中至關(guān)重要的關(guān)鍵步驟，對于確保模型的有效性和可靠性具有重要意義。在這個過程中，Arthur Bench 的角色非常關(guān)鍵。他的目標(biāo)是為公司提供一個可靠的比較框架，通過使用一致的指標(biāo)和評估方法，幫助他們在眾多大型語言模型(LLM)選項(xiàng)中做出明智的決策。

Arthur Bench 將運(yùn)用他的專業(yè)知識和經(jīng)驗(yàn)來評估每個 LLM 選項(xiàng)，并確保使用一致的指標(biāo)來比較它們的優(yōu)勢和劣勢。他將綜合考慮諸如模型性能、準(zhǔn)確性、速度、資源需求等因素，以確保公司能夠做出明智而明確的選擇。

通過使用一致的指標(biāo)和評估方法，Arthur Bench 將為公司提供一個可靠的比較框架，使他們能夠全面評估每個 LLM 選項(xiàng)的優(yōu)點(diǎn)和局限性。這將使公司能夠做出明智的決策，以最大程度地利用人工智能領(lǐng)域的快速發(fā)展，并確保他們的應(yīng)用程序能夠獲得最佳的體驗(yàn)效果。

2.預(yù)算和隱私優(yōu)化

在選擇人工智能模型時，并非所有應(yīng)用程序都需要最先進(jìn)或最昂貴的大型語言模型(LLM)。在某些情況下，使用成本更低的人工智能模型也可以滿足任務(wù)需求。

這種預(yù)算優(yōu)化的方法可以幫助公司在有限的資源下做出明智的選擇。而不必追求最昂貴或最先進(jìn)的模型，而是根據(jù)具體需求選擇合適的模型。較為經(jīng)濟(jì)實(shí)惠的模型可能在某些方面的性能略低于最先進(jìn)的 LLM，但對于一些簡單或標(biāo)準(zhǔn)的任務(wù)來說，Arthur Bench 仍然能夠提供滿足需求的解決方案。

此外，Arthur Bench 強(qiáng)調(diào)將模型引入內(nèi)部可以更好地控制數(shù)據(jù)隱私。對于涉及敏感數(shù)據(jù)或隱私問題的應(yīng)用程序，公司可能更傾向于使用自己內(nèi)部訓(xùn)練的模型，而不是依賴外部的第三方LLM。通過使用內(nèi)部模型，公司可以更好地掌握數(shù)據(jù)的處理和存儲，更好地保護(hù)數(shù)據(jù)隱私。

3.將學(xué)術(shù)基準(zhǔn)轉(zhuǎn)化為現(xiàn)實(shí)世界的表現(xiàn)

學(xué)術(shù)基準(zhǔn)是指在學(xué)術(shù)研究中建立的模型評估指標(biāo)和方法。這些指標(biāo)和方法通常是針對特定任務(wù)或領(lǐng)域的，能夠有效評估模型在該任務(wù)或領(lǐng)域的性能。

然而，學(xué)術(shù)基準(zhǔn)并不總是能夠直接反映模型在現(xiàn)實(shí)世界中的表現(xiàn)。這是因?yàn)楝F(xiàn)實(shí)世界中的應(yīng)用場景往往更加復(fù)雜，需要考慮更多因素，例如數(shù)據(jù)分布、模型部署環(huán)境等。

Arthur Bench 可以幫助將學(xué)術(shù)基準(zhǔn)轉(zhuǎn)化為現(xiàn)實(shí)世界的表現(xiàn)。 它通過以下方式實(shí)現(xiàn)這一目標(biāo)：

• 提供一組全面的評估指標(biāo)， 涵蓋模型的準(zhǔn)確性、效率、魯棒性等多個方面。這些指標(biāo)不僅能夠反映模型在學(xué)術(shù)基準(zhǔn)下的表現(xiàn)，也能反映模型在現(xiàn)實(shí)世界中的潛在表現(xiàn)。
• 支持多種模型類型， 能夠?qū)Σ煌愋偷哪Ｐ瓦M(jìn)行比較。這使得企業(yè)能夠選擇最適合其應(yīng)用場景的模型。
• 提供可視化分析工具， 幫助企業(yè)直觀地了解不同模型的表現(xiàn)差異。這使得企業(yè)能夠更容易地做出決策。

五、Arthur Bench 特性分析

作為一種快速、數(shù)據(jù)驅(qū)動的 LLM 評估的關(guān)鍵，Arthur Bench 具有如下特性：

1.全套評分指標(biāo)

Arthur Bench 擁有一整套評分指標(biāo)，涵蓋了從總結(jié)質(zhì)量到用戶體驗(yàn)的各個方面。他可以隨時利用這些評分指標(biāo)來對不同的模型進(jìn)行評估和比較。這些評分指標(biāo)的綜合運(yùn)用可以幫助他全面了解每個模型的優(yōu)勢和劣勢。

這些評分指標(biāo)的范圍非常廣泛，包括但不限于總結(jié)質(zhì)量、準(zhǔn)確性、流暢性、語法正確性、上下文理解能力、邏輯連貫性等。Arthur Bench 將根據(jù)這些指標(biāo)對每個模型進(jìn)行評估，并將結(jié)果整合為一個綜合評分，以輔助公司做出明智的決策。

此外，如果公司有特定的需求或關(guān)注點(diǎn)，Arthur Bench 還可以根據(jù)公司的要求創(chuàng)建和添加自定義的評分指標(biāo)。這樣以便能夠更好地滿足公司的具體需求，并確保評估過程與公司的目標(biāo)和標(biāo)準(zhǔn)相符合。

2.本地版本和基于云的版本

對于那些更喜歡本地部署和自主控制的用戶，可以從 GitHub 存儲庫中獲取訪問權(quán)限，并將 Arthur Bench 部署到自己的本地環(huán)境中。這樣，大家可以完全掌握和控制 Arthur Bench 的運(yùn)行，并根據(jù)自己的需求進(jìn)行定制和配置。

另一方面，對于那些更傾向于便捷和靈活性的用戶，也提供了基于云的 SaaS 產(chǎn)品。大家可以選擇注冊，通過云端訪問和使用 Arthur Bench。這種方式無需繁瑣的本地安裝和配置，而是能夠立即享受到所提供的功能和服務(wù)。

3.完全開源

Arthur Bench 作為一個開源項(xiàng)目，在透明性、可擴(kuò)展性和社區(qū)協(xié)作等方面展現(xiàn)出其典型的開源特點(diǎn)。這種開源性質(zhì)為用戶提供了豐富的優(yōu)勢和機(jī)會，使他們能夠更深入地了解項(xiàng)目的工作原理，并根據(jù)自身需求進(jìn)行定制和擴(kuò)展。同時，Arthur Bench 的開放性還鼓勵用戶積極參與社區(qū)協(xié)作，與其他用戶共同合作和發(fā)展。這種開放式的合作模式有助于推動項(xiàng)目的不斷發(fā)展和創(chuàng)新，同時，也為用戶創(chuàng)造了更大的價值和機(jī)遇。

總之，Arthur Bench 提供了一個開放且靈活的框架，使用戶能夠自定義評估指標(biāo)，并且已經(jīng)在金融領(lǐng)域得到廣泛應(yīng)用。與 Amazon Web Services 和 Cohere 的合作進(jìn)一步推動了該框架的發(fā)展，鼓勵開發(fā)人員為 Bench 創(chuàng)建新的指標(biāo)，為語言模型評估領(lǐng)域的進(jìn)步做出貢獻(xiàn)。

Reference ：

• [1] https://github.com/arthur-ai/bench
• [2] https://neurohive.io/en/news/arthur-bench-framework-for-evaluating-language-models/