大型語言模型（LLM）正在風(fēng)靡全球，它們的一個重要應(yīng)用就是聊天，并在問答、客服和其他許多方面都有應(yīng)用。然而，聊天機器人是出了名的難以評估。究竟這些模型在什么情況下最好用，我們目前尚不明晰。因此，LLM 的測評非常重要。

此前一位名叫 Marco Tulio Ribeiro 的 Medium 博主在一些復(fù)雜任務(wù)上對 Vicuna-13B、MPT-7b-Chat 和 ChatGPT 3.5 進行了測試。結(jié)果表明，Vicuna 對于許多任務(wù)來說是 ChatGPT (3.5) 的可行替代品，而 MPT 還沒有準(zhǔn)備好在現(xiàn)實世界中使用。

近日，CMU 副教授 Graham Neubig 對已有七種聊天機器人進行了詳細(xì)測評，并制作了一個實現(xiàn)自動比較的開源工具，最后形成了一份測評報告。

在這份報告中，測評者展示了一些聊天機器人的初步評估、比較結(jié)果，目的是讓人們更容易地了解最近出現(xiàn)的所有開源模型以及基于 API 的模型現(xiàn)狀。

具體來說，測評者創(chuàng)建了一個新的開源工具包 ——Zeno Build，用于評估 LLM。該工具包結(jié)合了：（1）通過 Hugging Face 或在線 API 使用開源 LLM 的統(tǒng)一界面；（2）使用 Zeno 瀏覽和分析結(jié)果的在線界面，以及（3）使用 Critique 對文本進行 SOTA 評估的指標(biāo)。

具體結(jié)果參加：https://zeno-ml-chatbot-report.hf.space/

以下是評估結(jié)果匯總：

• 測評者評估了 7 種語言模型：GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command 和 ChatGPT (gpt-3.5-turbo)；
• 這些模型是根據(jù)它們在客戶服務(wù)數(shù)據(jù)集上創(chuàng)建類似人類的響應(yīng)的能力進行評估的；
• ChatGPT 拔得頭籌，但開源模型 Vicuna 也很有競爭力；
• 測評者發(fā)現(xiàn)，使用具有較長上下文窗口的 chat-tuned 模型非常重要；
• 在對話的前幾個回合，prompt 工程對于提升模型對話的表現(xiàn)非常有用，但在有更多上下文的后期回合中，效果就不那么明顯了；
• 即使是像 ChatGPT 這樣強大的模型也存在很多明顯的問題，比如出現(xiàn)幻覺、未能探求更多信息、給出重復(fù)內(nèi)容等。

以下是評測的詳細(xì)信息。

設(shè)置

模型概況

測評者使用的是 DSTC11 客戶服務(wù)數(shù)據(jù)集。DSTC11 是一個對話系統(tǒng)技術(shù)挑戰(zhàn)賽的數(shù)據(jù)集，旨在支持更具信息性和吸引力的任務(wù)導(dǎo)向?qū)υ?，通過利用評論帖子中的主觀知識來實現(xiàn)。

DSTC11 數(shù)據(jù)集包含多個子任務(wù)，如多輪對話、多領(lǐng)域?qū)υ挼鹊?。例如，其中一個子任務(wù)是基于電影評論的多輪對話，其中用戶和系統(tǒng)之間的對話旨在幫助用戶找到適合他們口味的電影。

他們測試了以下 7 個模型：

• GPT-2：2019 年的一個經(jīng)典語言模型。測評者把它作為一個基線加入，看看最近語言建模方面的進展對建立更好的聊天模型有多大影響。
• LLaMa：一個最初由 Meta AI 訓(xùn)練的語言模型，使用的是直接的語言建模目標(biāo)。測試中使用的是 7B 版本的模型，以下開源模型采用的也是同等規(guī)模版本；
• Alpaca：一個基于 LLaMa 的模型，但進行了指令調(diào)優(yōu)；
• Vicuna：一個基于 LLaMa 的模型，為基于聊天機器人的應(yīng)用做了進一步的明確調(diào)整；
• MPT-Chat：一個以類似于 Vicuna 的方式從頭開始訓(xùn)練的模型，它有一個更商業(yè)化的許可；
• Cohere Command：Cohere 推出的一個基于 API 的模型，進行了指令遵循方面的微調(diào)；
• ChatGPT（gpt-3.5-turbo）：標(biāo)準(zhǔn)的基于 API 的聊天模型，由 OpenAI 研發(fā)。

對于所有的模型，測評者使用了默認(rèn)的參數(shù)設(shè)置。其中包括溫度（temperature）為 0.3，上下文窗口（context window）為 4 個先前的對話輪次，以及一個標(biāo)準(zhǔn)的 prompt：「You are a chatbot tasked with making small-talk with people」。

評價指標(biāo)

測評者根據(jù)這些模型的輸出與人類客服反應(yīng)的相似程度來評估這些模型。這是用 Critique 工具箱提供的指標(biāo)完成的：

• chrf：測量字符串的重疊度；
• BERTScore：衡量兩個語篇之間嵌入的重疊程度；
• UniEval Coherence：預(yù)測輸出與前一個聊天回合的連貫性如何。

他們還測量了長度比，用輸出的長度除以黃金標(biāo)準(zhǔn)的人類回復(fù)的長度，以此衡量聊天機器人是否啰嗦。

更進一步的分析

為了更深入地挖掘結(jié)果，測評者使用了 Zeno 的分析界面，特別是使用了它的報告生成器，根據(jù)對話中的位置（開始、早期、中期和后期）和人類回應(yīng)的黃金標(biāo)準(zhǔn)長度（短、中、長）對例子進行細(xì)分，使用其探索界面來查看自動評分不佳的例子，并更好地了解每個模型的失敗之處。

結(jié)果

模型的總體表現(xiàn)如何？

根據(jù)所有這些指標(biāo)，gpt-3.5-turbo 是明顯的贏家；Vicuna 是開源的贏家；GPT-2 和 LLaMa 不是很好，表明了直接在聊天中訓(xùn)練的重要性。

這些排名也與 lmsys chat arena 的排名大致相符，lmsys chat arena 使用人類 A/B 測試來比較模型，但 Zeno Build 的結(jié)果是在沒有任何人類評分的情況下獲得的。

關(guān)于輸出長度，gpt3.5-turbo 比其他模型的輸出要冗長得多，而且看起來，在聊天方向進行調(diào)優(yōu)的模型一般都會給出冗長的輸出。

黃金標(biāo)準(zhǔn)響應(yīng)長度的準(zhǔn)確性

接下來，測評者使用 Zeno report UI 進行深入挖掘。首先，他們按照人類回復(fù)的長度將準(zhǔn)確性分別進行了測量。他們將回復(fù)分為短（≤35 個字符）、中等（36-70 個字符）和長（≥71 個字符）三個類別，并對它們的準(zhǔn)確性進行了單獨的評估。

gpt-3.5-turbo 和 Vicuna 即使在更長的對話輪次中也能保持準(zhǔn)確性，而其他模型的準(zhǔn)確性則有所下降。

接下來的問題是上下文窗口大小有多重要？測評者用 Vicuna 進行了實驗，上下文窗口的范圍是 1-4 個之前的語篇。當(dāng)他們增加上下文窗口時，模型性能上升，表明更大的上下文窗口很重要。

測評結(jié)果顯示，較長的上下文在對話的中間和后期尤其重要，因為這些位置的回復(fù)沒有那么多的模板，更多的是依賴于之前所說的內(nèi)容。

當(dāng)試圖生成黃金標(biāo)準(zhǔn)較短的輸出時（可能是因為有更多的歧義），更多的上下文尤為重要。

prompt 有多重要？

測評者嘗試了 5 個不同的 prompt，其中 4 個是通用的，另外一個是專門為保險領(lǐng)域的客服聊天任務(wù)量身定制的：

• 標(biāo)準(zhǔn)的：「你是一個聊天機器人，負(fù)責(zé)與人閑聊?！?/span>
• 友好的：「你是一個善良、友好的聊天機器人，你的任務(wù)是用一種讓人感到愉快的方式與人閑聊?！?/span>
• 有禮貌的：「你是一個非常有禮貌的聊天機器人，說話非常正式，盡量避免在回答中犯任何錯誤?！?/span>
• 憤世嫉俗的：「你是一個憤世嫉俗的聊天機器人，對世界有著非常黑暗的看法，通常喜歡指出任何可能存在的問題?！?/span>
• 保險行業(yè)專用的：「你是 Rivertown 保險服務(wù)臺的工作人員，主要幫助解決保險索賠問題?！?/span>

總的來說，利用這些 prompt，測評者并沒有測出不同 prompt 導(dǎo)致的顯著差異，但「憤世嫉俗」的聊天機器人稍微差一點，而量身定制的「保險」聊天機器人總體上稍微好一點。

在對話的第一個回合中，不同 prompt 帶來的差異尤其明顯，這表明當(dāng)沒有什么其他上下文可以利用時，prompt 是最重要的。

發(fā)現(xiàn)的錯誤以及可能的緩解措施

最后，測評者使用 Zeno 的 exploration UI ，試圖通過 gpt-3.5-turbo 找到可能的錯誤。具體來說，他們查看了所有 chrf 較低（<0.1）的例子，并手動查看了這些例子以發(fā)現(xiàn)趨勢。

Probe 的失敗

有時模型無法在實際需要時 Probe（探測）更多信息，例如模型在處理號碼這一事件中尚未完善（電話號碼必須是 11 位數(shù)字，模型給出的數(shù)字長度與答案不匹配）。這時可以通過修改 prompt 來緩解，以提醒模型某些信息所需的長度。

內(nèi)容重復(fù)

有時，同樣的內(nèi)容會重復(fù)多次，比如聊天機器人在這里說了兩次「謝謝」。

回答合理，但與人類方式不同

有時候，這種響應(yīng)是合理的，只是與人類的反應(yīng)不同。

以上就是評測結(jié)果。最后，測評者希望這份報告對研究者有所幫助！如果你繼續(xù)想嘗試其他模型、數(shù)據(jù)集、prompt 或其他超參數(shù)設(shè)置，可以跳轉(zhuǎn)到 zeno-build 存儲庫上的聊天機器人示例進行嘗試。