新測試基準(zhǔn)發(fā)布，最強(qiáng)開源Llama 3尷尬了
如果試題太簡單，學(xué)霸和學(xué)渣都能考90分，拉不開差距……
隨著Claude 3、Llama 3甚至之后GPT-5等更強(qiáng)模型發(fā)布，業(yè)界急需一款更難、更有區(qū)分度的基準(zhǔn)測試。
大模型競技場背后組織LMSYS推出下一代基準(zhǔn)測試Arena-Hard，引起廣泛關(guān)注。
Llama 3的兩個(gè)指令微調(diào)版本實(shí)力到底如何，也有了最新參考。
與之前大家分?jǐn)?shù)都相近的MT Bench相比，Arena-Hard區(qū)分度從22.6%提升到87.4%，孰強(qiáng)孰弱一目了然。
Arena-Hard利用競技場實(shí)時(shí)人類數(shù)據(jù)構(gòu)建，與人類偏好一致率也高達(dá)89.1%。
除了上面兩個(gè)指標(biāo)都達(dá)到SOTA之外，還有一個(gè)額外的好處：
實(shí)時(shí)更新的測試數(shù)據(jù)包含人類新想出的、AI在訓(xùn)練階段從未見過的提示詞，減輕潛在的數(shù)據(jù)泄露。
并且新模型發(fā)布后，無需再等待一周左右時(shí)間讓人類用戶參與投票，只需花費(fèi)25美元快速運(yùn)行測試管線，即可得到結(jié)果。
有網(wǎng)友評(píng)價(jià)，使用真實(shí)用戶提示詞而不是高中考試來測試，真的很重要。
新基準(zhǔn)測試如何運(yùn)作？
簡單來說，通過大模型競技場20萬個(gè)用戶查詢中，挑選500個(gè)高質(zhì)量提示詞作為測試集。
首先，挑選過程中確保多樣性，也就是測試集應(yīng)涵蓋廣泛的現(xiàn)實(shí)世界話題。
為了確保這一點(diǎn)，團(tuán)隊(duì)采用BERTopic中主題建模管道，首先使用OpenAI的嵌入模型（text-embedding-3-small）轉(zhuǎn)換每個(gè)提示，使用 UMAP 降低維度，并使用基于層次結(jié)構(gòu)的模型聚類算法 (HDBSCAN) 來識(shí)別聚類，最后使用GPT-4-turbo進(jìn)行匯總。
同時(shí)確保入選的提示詞具有高質(zhì)量，有七個(gè)關(guān)鍵指標(biāo)來衡量：
- 具體性：提示詞是否要求特定的輸出？
- 領(lǐng)域知識(shí)：提示詞是否涵蓋一個(gè)或多個(gè)特定領(lǐng)域？
- 復(fù)雜性：提示詞是否有多層推理、組成部分或變量？
- 解決問題：提示詞是否直接讓AI展示主動(dòng)解決問題的能力？
- 創(chuàng)造力：提示詞是否涉及解決問題的一定程度的創(chuàng)造力？
- 技術(shù)準(zhǔn)確性：提示詞是否要求響應(yīng)具有技術(shù)準(zhǔn)確性？
- 實(shí)際應(yīng)用：提示詞是否與實(shí)際應(yīng)用相關(guān)？
使用GPT-3.5-Turbo和GPT-4-Turbo對(duì)每個(gè)提示進(jìn)行從 0 到 7 的注釋，判斷滿足多少個(gè)條件。然后根據(jù)提示的平均得分給每個(gè)聚類評(píng)分。
高質(zhì)量的問題通常與有挑戰(zhàn)性的話題或任務(wù)相關(guān)，比如游戲開發(fā)或數(shù)學(xué)證明。
新基準(zhǔn)測試準(zhǔn)嗎？
Arena-Hard目前還有一個(gè)弱點(diǎn)：使用GPT-4做裁判更偏好自己的輸出。官方也給出了相應(yīng)提示。
可以看出，最新兩個(gè)版本的GPT-4分?jǐn)?shù)高過Claude 3 Opus一大截，但在人類投票分?jǐn)?shù)中差距并沒有那么明顯。
其實(shí)關(guān)于這一點(diǎn)，最近已經(jīng)有研究論證，前沿模型都會(huì)偏好自己的輸出。
研究團(tuán)隊(duì)還發(fā)現(xiàn)，AI天生就可以判斷出一段文字是不是自己寫的，經(jīng)過微調(diào)后自我識(shí)別的能力還能增強(qiáng)，并且自我識(shí)別能力與自我偏好線性相關(guān)。
那么使用Claude 3來打分會(huì)使結(jié)果產(chǎn)生什么變化？LMSYS也做了相關(guān)實(shí)驗(yàn)。
首先，Claude系列的分?jǐn)?shù)確實(shí)會(huì)提高。
但令人驚訝的是，它更喜歡幾種開放模型如Mixtral和零一萬物Yi，甚至對(duì)GPT-3.5的評(píng)分都有明顯提高。
總體而言，使用Claude 3打分的區(qū)分度和與人類結(jié)果的一致性都不如GPT-4。
所以也有很多網(wǎng)友建議，使用多個(gè)大模型來綜合打分。
除此之外，團(tuán)隊(duì)還做了更多消融實(shí)驗(yàn)來驗(yàn)證新基準(zhǔn)測試的有效性。
比如在提示詞中加入“讓答案盡可能詳盡”，平均輸出長度更高，分?jǐn)?shù)確實(shí)會(huì)提高。
但把提示詞換成“喜歡閑聊”，平均輸出長度也有提高，但分?jǐn)?shù)提升就不明顯。
此外在實(shí)驗(yàn)過程中還有很多有意思的發(fā)現(xiàn)。
比如GPT-4來打分非常嚴(yán)格，如果回答中有錯(cuò)誤會(huì)狠狠扣分；而Claude 3即使識(shí)別出小錯(cuò)誤也會(huì)寬大處理。
對(duì)于代碼問題，Claude 3傾向于提供簡單結(jié)構(gòu)、不依賴外部代碼庫，能幫助人類學(xué)習(xí)編程的答案；而GPT-4-Turbo更傾向最實(shí)用的答案，不管其教育價(jià)值如何。
另外即使設(shè)置溫度為0，GPT-4-Turbo也可能產(chǎn)生略有不同的判斷。
從層次結(jié)構(gòu)可視化的前64個(gè)聚類中也可以看出，大模型競技場用戶的提問質(zhì)量和多樣性確實(shí)是高。
這里面也許就有你的貢獻(xiàn)。
Arena-Hard GitHub：??https://github.com/lm-sys/arena-hard???
Arena-Hard HuggingFace：???https://huggingface.co/spaces/lmsys/arena-hard-browser???
大模型競技場：???https://arena.lmsys.org??
本文轉(zhuǎn)自 量子位 ，作者：量子位
