3 月 28 日消息，根據(jù) LMSYS Org 公布的最新基準(zhǔn)測(cè)試報(bào)告，Claude-3 得分以微弱優(yōu)勢(shì)超越 GPT-4，成為該平臺(tái)“最佳”大語(yǔ)言模型。

IT之家首先介紹下 LMSYS Org，該機(jī)構(gòu)是由加州大學(xué)伯克利分校、加州大學(xué)圣地亞哥分校和卡內(nèi)基梅隆大學(xué)合作創(chuàng)立的研究組織。

該機(jī)構(gòu)推出 Chatbot Arena，這是一個(gè)針對(duì)大型語(yǔ)言模型（LLM） 的基準(zhǔn)平臺(tái)，以眾包方式匿名、隨機(jī)對(duì)抗測(cè)評(píng)大模型產(chǎn)品，其評(píng)級(jí)基于國(guó)際象棋等競(jìng)技游戲中廣泛使用的 Elo 評(píng)分系統(tǒng)。

評(píng)分結(jié)果通過(guò)用戶投票產(chǎn)生，系統(tǒng)每次會(huì)隨機(jī)選擇兩個(gè)不同的大模型機(jī)器人和用戶聊天，并讓用戶在匿名的情況下選擇哪款大模型產(chǎn)品的表現(xiàn)更好一些，整體而言相對(duì)公正。

Chatbot Arena 自去年上線以來(lái)，GPT-4 一直穩(wěn)居頭把交椅，甚至成為了評(píng)估大模型的黃金標(biāo)準(zhǔn)。

不過(guò)昨天 Anthropic 的 Claude 3 Opus 以 1253 比 1251 的微弱優(yōu)勢(shì)擊敗了 GPT-4，OpenAI 的 LLM 被擠下了榜首位置。由于比分過(guò)于接近，出于誤差率方面的考量，該機(jī)構(gòu)讓 Claude 3 和 GPT-4 并列第一，GPT-4 的另一個(gè)預(yù)覽版也并列第一。

更令人印象深刻的是 Claude 3 Haiku 進(jìn)入前十名。Haiku 是 Anthropic 的 local size 模型，相當(dāng)于谷歌的 Gemini Nano。

它比擁有數(shù)萬(wàn)億參數(shù)的 Opus 要小得多，因此相比之下速度要快得多。根據(jù) LMSYS 的數(shù)據(jù)，Haiku 在排行榜上名列第七，有媲美 GPT-4 的表現(xiàn)。