在2023年的「百模大戰(zhàn)」中，眾多實踐者推出了各類模型，這些模型有的是原創(chuàng)的，有的是針對開源模型進(jìn)行微調(diào)的；有些是通用的，有些則是行業(yè)特定的。如何能合理地評價這些模型的能力，成為關(guān)鍵問題。

盡管國內(nèi)外存在多個模型能力評測榜單，但它們的質(zhì)量參差不齊，排名差異顯著，這主要是因為評測數(shù)據(jù)和測試方法尚不成熟和科學(xué)。我們認(rèn)為，好的評測方法應(yīng)當(dāng)具備開放性、動態(tài)性、科學(xué)性和權(quán)威性。

為提供客觀、科學(xué)的評測標(biāo)準(zhǔn)，清華大學(xué)基礎(chǔ)模型研究中心聯(lián)合中關(guān)村實驗室研制了SuperBench大模型綜合能力評測框架，旨在推動大模型技術(shù)、應(yīng)用和生態(tài)的健康發(fā)展。

最近，2024年3月版《SuperBench大模型綜合能力評測報告》正式發(fā)布。

評測共包含了14個海內(nèi)外具有代表性的模型。其中，對于閉源模型，選取API和網(wǎng)頁兩種調(diào)用模式中得分較高的一種進(jìn)行評測。

根據(jù)評測結(jié)果，可以得出以下幾個主要結(jié)論：

● 整體來說，GPT-4系列模型和Claude-3等國外模型在多個能力上依然處于領(lǐng)先地位，國內(nèi)頭部大模型GLM-4和文心一言4.0表現(xiàn)亮眼，與國際一流模型水平接近，且差距已經(jīng)逐漸縮小。

● 國外大模型中，GPT-4系列模型表現(xiàn)穩(wěn)定，Claude-3也展現(xiàn)了較強(qiáng)的綜合實力，在語義理解和作為智能體兩項能力評測中更是獲得了榜首，躋身國際一流模型。

● 國內(nèi)大模型中，GLM-4和文心一言4.0在本次評測中表現(xiàn)最好，為國內(nèi)頭部模型；通義千問2.1、Abab6、moonshot網(wǎng)頁版以及qwen1.5-72b-chat緊隨其后，在部分能力評測中亦有不俗表現(xiàn)；但是國內(nèi)大模型對比國際一流模型在代碼編寫、作為智能體兩個能力上依然有較大差距，國內(nèi)模型仍需努力。

大模型能力遷移&SuperBench

自大語言模型誕生之初，評測便成為大模型研究中不可或缺的一部分。隨著大模型研究的發(fā)展，對其性能重點(diǎn)的研究也在不斷遷移。根據(jù)我們的研究，大模型能力評測大概經(jīng)歷如下5個階段：

2018年-2021年：語義評測階段

早期的語言模型主要關(guān)注自然語言的理解任務(wù)（e.g. 分詞、詞性標(biāo)注、句法分析、信息抽取)，相關(guān)評測主要考察語言模型對自然語言的語義理解能力。代表工作：BERT、GPT、T5等。

2021年-2023年：代碼評測階段

隨著語言模型能力的增強(qiáng)，更具應(yīng)用價值的代碼模型逐漸出現(xiàn)。研究人員發(fā)現(xiàn)，基于代碼生成任務(wù)訓(xùn)練的模型在測試中展現(xiàn)出更強(qiáng)的邏輯推理能力，代碼模型成為研究熱點(diǎn)。代表工作：Codex、CodeLLaMa、CodeGeeX等。

2022年-2023年：對齊評測階段

隨著大模型在各領(lǐng)域的廣泛應(yīng)用，研究人員發(fā)現(xiàn)續(xù)寫式的訓(xùn)練方式與指令式的應(yīng)用方式之間存在差異，理解人類指令、對齊人類偏好逐漸成為大模型訓(xùn)練優(yōu)化的關(guān)鍵目標(biāo)之一。對齊好的模型能夠準(zhǔn)確理解并響應(yīng)用戶的意圖，為大模型的廣泛應(yīng)用奠定了基礎(chǔ)。代表工作：InstructGPT、ChatGPT、GPT4、ChatGLM等。

2023年-2024年：智能體評測階段

基于指令遵從和偏好對齊的能力，大模型作為智能中樞對復(fù)雜任務(wù)進(jìn)行拆解、規(guī)劃、決策和執(zhí)行的能力逐漸被發(fā)掘。大模型作為智能體解決實際問題也被視為邁向通用人工智能（AGI）的重要方向。代表工作：AutoGPT、AutoGen等。

2023年-future：安全評測階段

隨著模型能力的提升，對模型安全性和價值觀的評估、監(jiān)管與強(qiáng)化逐漸成為研究人員關(guān)注的重點(diǎn)。加強(qiáng)對潛在風(fēng)險的研判，確保大模型的可控、可靠和可信，是未來「AI可持續(xù)發(fā)展」的關(guān)鍵問題。

因此，為了全面地評估大模型的各項能力，SuperBench評測體系包含了語義、代碼、對齊、智能體和安全等五個評測大類，28個子類。

PART 1 語義評測

ExtremeGLUE是一個包含72個中英雙語傳統(tǒng)數(shù)據(jù)集的高難度集合，旨在為語言模型提供更嚴(yán)格的評測標(biāo)準(zhǔn)，采用零樣本 CoT 評測方式，并根據(jù)特定要求對模型輸出進(jìn)行評分。

首先，使用超過20種語言模型進(jìn)行初步測試，包括了GPT-4、Claude、Vicuna、WizardLM和ChatGLM等。

然后，基于所有模型的綜合表現(xiàn)，決定每個分類中挑選出難度最大的10%～20%數(shù)據(jù)，將它們組合為「高難度傳統(tǒng)數(shù)據(jù)集」。

評測方法&流程

● 評測方式：收集了72個中英雙語傳統(tǒng)數(shù)據(jù)集，提取其中高難度的題目組成4個維度的評測數(shù)據(jù)集，采取零樣本CoT評測方式，各維度得分計算方式為回答正確的題目數(shù)所占百分比，最終總分取各維度的平均值。

● 評測流程：根據(jù)不同題目的形式和要求，對于模型的零樣本CoT生成的結(jié)果進(jìn)行評分。

整體表現(xiàn)：

在語義理解能力評測中，各模型形成了三個梯隊，70分檔為第一梯隊，包括Claude-3、GLM-4、文心一言4.0以及GPT-4系列模型。其中，Claude-3得分為76.7，位居第一；國內(nèi)模型GLM-4和文心一言4.0則超過GPT-4系列模型位居第二和第三位，但是和Claude-3有3分差距。

分類表現(xiàn)：

● 知識-常識：Claude-3以79.8分領(lǐng)跑，國內(nèi)模型GLM-4表現(xiàn)亮眼，超過GPT-4網(wǎng)頁版位居第二；文心一言4.0表現(xiàn)不佳，距離榜首Claude-3有12.7分差距。

● 知識-科學(xué)：Claude-3依然領(lǐng)先，并且是唯一一個80分以上模型；文心一言4.0、GPT-4系列模型以及GLM-4模型均在75分以上，為第一梯隊模型。

● 數(shù)學(xué)：Claude-3和文心一言4.0并列第一，得65.5分，GLM-4領(lǐng)先GPT-4系列模型位列第三，其他模型得分在55分附近較為集中，當(dāng)前大模型在數(shù)學(xué)能力上仍有較大提升空間。

● 閱讀理解：各分?jǐn)?shù)段分布相對較為平均，文心一言4.0超過GPT-4 Turbo、Claude-3以及GLM-4拿下榜首。

PART 2 代碼評測

NaturalCodeBench（NCB）是一個評估模型代碼能力的基準(zhǔn)測試，傳統(tǒng)的代碼能力評測數(shù)據(jù)集主要考察模型在數(shù)據(jù)結(jié)構(gòu)與算法方面的解題能力，而NCB數(shù)據(jù)集側(cè)重考察模型在真實編程應(yīng)用場景中寫出正確可用代碼的能力。

所有問題都從用戶在線上服務(wù)中的提問篩選得來，問題的風(fēng)格和格式更加多樣，涵蓋數(shù)據(jù)庫、前端開發(fā)、算法、數(shù)據(jù)科學(xué)、操作系統(tǒng)、人工智能、軟件工程等七個領(lǐng)域的問題，可以簡單分為算法類和功能需求類兩類。

題目包含java和python兩類編程語言，以及中文、英文兩種問題語言。每個問題都對應(yīng)10個人類撰寫矯正的測試樣例，9個用于測試生成代碼的功能正確性，剩下1個用于代碼對齊。

評測方法&流程

● 評測方式：運(yùn)行模型生成的函數(shù)，將輸出結(jié)果與準(zhǔn)備好的測例結(jié)果進(jìn)行比對進(jìn)行打分。將輸出結(jié)果與準(zhǔn)備好的測例結(jié)果進(jìn)行比對進(jìn)行打分，最終計算生成代碼的一次通過率pass@1。

● 評測流程：給定問題、單元測試代碼、以及測例，模型首先根據(jù)問題生成目標(biāo)函數(shù)；運(yùn)行生成的目標(biāo)函數(shù)，以測例中的輸入作為參數(shù)得到函數(shù)運(yùn)行輸出，與測例中的標(biāo)準(zhǔn)輸出進(jìn)行比對，輸出匹配得分，輸出不匹配或函數(shù)運(yùn)行錯誤均不得分。

整體表現(xiàn)：

在代碼編寫能力評測中，國內(nèi)模型與國際一流模型之間仍有明顯差距，GPT-4系列模型、Claude-3模型在代碼通過率上明顯領(lǐng)先，國內(nèi)模型中GLM-4，文心一言4.0與訊飛星火3.5表現(xiàn)突出，綜合得分達(dá)到40分以上。

然而，即使是表現(xiàn)最好的模型在代碼的一次通過率上仍只有50%左右，代碼生成任務(wù)對目前的大模型來說仍是一大挑戰(zhàn)。

分類表現(xiàn)：

在Python、Java、中文、英文四個維度的數(shù)據(jù)集中GPT-4系列模型包攬頭名，體現(xiàn)出強(qiáng)大而全面的代碼能力，除Claude-3外其余模型差距明顯。

● 英文代碼指令：GPT-4 Turbo比Claude-3在Python和Java問題上分別高出6.8分和1.5分，比GLM-4在Python和Java問題上分別高出14.2分和5.1分，國內(nèi)模型與國際模型在英文代碼指令上差距比較明顯。

● 中文代碼指令：GPT-4 Turbo比Claude-3在Python上高出3.9分，在Java上低2.3分，差距不大。GPT-4 Turbo比GLM-4在Python和Java問題上分別高出5.4分和2.8分，國內(nèi)模型在中文編碼能力上與國際一流模型仍存在一定差距。

PART 3 對齊評測

AlignBench旨在全面評測大模型在中文領(lǐng)域與人類意圖的對齊度，通過模型打分評測回答質(zhì)量，衡量模型的指令遵循和有用性。

它包括8個維度，如基本任務(wù)和專業(yè)能力，使用真實高難度問題，并有高質(zhì)量參考答案。優(yōu)秀表現(xiàn)要求模型具有全面能力、指令理解和生成有幫助的答案。

「中文推理」維度重點(diǎn)考察了大模型在中文為基礎(chǔ)的數(shù)學(xué)計算、邏輯推理方面的表現(xiàn)。這一部分主要由從真實用戶提問中獲取并撰寫標(biāo)準(zhǔn)答案，涉及多個細(xì)粒度領(lǐng)域的評估：

● 數(shù)學(xué)計算上，囊括了初等數(shù)學(xué)、高等數(shù)學(xué)和日常計算等方面的計算和證明。

● 邏輯推理上，則包括了常見的演繹推理、常識推理、數(shù)理邏輯、腦筋急轉(zhuǎn)彎等問題，充分地考察了模型在需要多步推理和常見推理方法的場景下的表現(xiàn)。

「中文語言」部分著重考察大模型在中文文字語言任務(wù)上的通用表現(xiàn)，具體包括六個不同的方向：基本任務(wù)、中文理解、綜合問答、文本寫作、角色扮演、專業(yè)能力。

這些任務(wù)中的數(shù)據(jù)大多從真實用戶提問中獲取，并由專業(yè)的標(biāo)注人員進(jìn)行答案撰寫與矯正，從多個維度充分地反映了大模型在文本應(yīng)用方面的表現(xiàn)水平。具體來說：

● 基本任務(wù)考察了在常規(guī)NLP任務(wù)場景下，模型泛化到用戶指令的能力；

● 中文理解上，著重強(qiáng)調(diào)了模型對于中華民族傳統(tǒng)文化和漢字結(jié)構(gòu)淵源的理解；

● 綜合問答則關(guān)注模型回答一般性開放問題時的表現(xiàn)；

● 文本寫作則揭示了模型在文字工作者工作中的表現(xiàn)水平；

● 角色扮演是一類新興的任務(wù)，考察模型在用戶指令下服從用戶人設(shè)要求進(jìn)行對話的能力；

● 專業(yè)能力則研究了大模型在專業(yè)知識領(lǐng)域的掌握程度和可靠性。

評測方法&流程

● 評測方式：通過強(qiáng)模型（如GPT-4）打分評測回答質(zhì)量，衡量模型的指令遵循能力和有用性。打分維度包括事實正確性、滿足用戶需求、清晰度、完備性、豐富度等多項，且不同任務(wù)類型下打分維度不完全相同，并基于此給出綜合得分作為回答的最終分?jǐn)?shù)。

● 評測流程：模型根據(jù)問題生成答案、GPT-4根據(jù)生成的答案和測試集提供的參考答案進(jìn)行詳細(xì)的分析、評測和打分。

整體表現(xiàn)：

在人類對齊能力評測中，GPT-4網(wǎng)頁版占據(jù)榜首，文心一言4.0和GPT-4 Turbo同分（7.74）緊隨其后，國內(nèi)模型中GLM-4同樣表現(xiàn)優(yōu)異，超越Claude-3，位列第四，通義千問2.1略低于Claude-3，排名第六，同為第一梯隊大模型。

分類表現(xiàn)：

中文推理整體分?jǐn)?shù)明顯低于中文語言，當(dāng)下大模型推理能力整體有待加強(qiáng)：

● 中文推理：GPT-4系列模型表現(xiàn)最好，略高于國內(nèi)模型文心一言4.0，并且和其他模型拉開明顯差距。

● 中文語言：國內(nèi)模型包攬了前四名，分別是KimiChat網(wǎng)頁版（8.05分）、通義千問2.1（7.99分）、GLM-4（7.98分）、文心一言4.0（7.91分），超過GPT-4系列模型和Claude-3等國際一流模型。

各分類細(xì)拆分析：

中文推理：

● 數(shù)學(xué)計算：GPT-4系列模型包攬前兩名，國內(nèi)模型文心一言4.0、通義千問2.1分?jǐn)?shù)超過Claude-3，但與GPT-4系列模型仍有一定差距。

● 邏輯推理：7分以上為第一梯隊，由國內(nèi)模型文心一言4.0領(lǐng)跑，同在第一梯隊的還有GPT-4系列模型、Claude-3、GLM-4和Abab6。

中文語言：

● 基本任務(wù)：GLM-4拿下榜首，通義千問2.1、Claude-3和GPT-4網(wǎng)頁版占據(jù)二到四位，國內(nèi)其他大模型中文心一言4.0和KimiChat網(wǎng)頁版也表現(xiàn)較好，超過了GPT-4 Turbo。

● 中文理解：國內(nèi)模型整體表現(xiàn)較好，包攬了前四名，文心一言4.0領(lǐng)先優(yōu)勢明顯，領(lǐng)先第二名GLM-4 0.41分；國外模型中，表現(xiàn)尚可，排在第五位，但GPT-4系列模型表現(xiàn)較差，排在中下游，并且和第一名分差超過1分。

● 綜合問答：各大模型均表現(xiàn)較好，超過8分的模型達(dá)到了6家，GPT-4網(wǎng)頁版和KimiChat網(wǎng)頁版拿下最高分，GLM-4和Claude-3分?jǐn)?shù)相同，與榜首分?jǐn)?shù)接近，并列第三。

● 文本寫作：KimiChat網(wǎng)頁版表現(xiàn)最好，同時也是唯一一個8分以上的模型，GPT-4 Turbo和分列二、三位。

● 角色扮演：國內(nèi)模型Abab6、通義千問2.1和KimiChat網(wǎng)頁版包攬前三名，且均在8分以上，超過GPT-4系列模型和Claude-3等國際一流模型。

● 專業(yè)能力：GPT-4 Turbo占據(jù)了首位，KimiChat網(wǎng)頁版超過GPT-4網(wǎng)頁版拿下第二名，國內(nèi)其他模型中，GLM-4和通義千問2.1同樣表現(xiàn)不俗，并列排名第四。

PART 4 智能體評測

AgentBench是一個評估語言模型在操作系統(tǒng)、游戲和網(wǎng)頁等多種實際環(huán)境中作為智能體性能的綜合基準(zhǔn)測試工具包。

代碼環(huán)境：該部分關(guān)注LLMs在協(xié)助人類與計計算機(jī)代碼接口互動方面的潛在應(yīng)用。LLMs以其出色的編碼能力和推理能力，有望成為強(qiáng)大的智能代理，協(xié)助人們更有效地與計算機(jī)界面進(jìn)行互動。為了評估LLMs在這方面的表現(xiàn)，我們引入了三個代表性的環(huán)境，這些環(huán)境側(cè)重于編碼和推理能力。這些環(huán)境提供了實際的任務(wù)和挑戰(zhàn)，測試LLMs在處理各種計算機(jī)界面和代碼相關(guān)任務(wù)時的能力。

游戲環(huán)境：游戲環(huán)境是AgentBench的一部分，旨在評估LLMs在游戲場景中的表現(xiàn)。在游戲中，通常需要智能體具備強(qiáng)大的策略設(shè)計、遵循指令和推理能力。與編碼環(huán)境不同，游戲環(huán)境中的任務(wù)不要求對編碼具備專業(yè)知識，但更需要對常識和世界知識的綜合把握。這些任務(wù)挑戰(zhàn)LLMs在常識推理和策略制定方面的能力。

網(wǎng)絡(luò)環(huán)境：網(wǎng)絡(luò)環(huán)境是人們與現(xiàn)實世界互動的主要界面，因此在復(fù)雜的網(wǎng)絡(luò)環(huán)境中評估智能體的行為對其發(fā)展至關(guān)重要。在這里，我們使用兩個現(xiàn)有的網(wǎng)絡(luò)瀏覽數(shù)據(jù)集，對LLMs進(jìn)行實際評估。這些環(huán)境旨在挑戰(zhàn)LLMs在網(wǎng)絡(luò)界面操作和信息檢索方面的能力。

評測方法&流程

●  評測方式：模型和預(yù)先設(shè)定好的環(huán)境進(jìn)行多輪交互以完成各個特定的任務(wù)，情景猜謎子類會使用GPT-3.5-Turbo對最終答案進(jìn)行評分，其余子類的評分方式根據(jù)確定的規(guī)則對模型完成任務(wù)的情況進(jìn)行打分。

●  評測流程：模型與模擬環(huán)境進(jìn)行交互，之后對模型給出的結(jié)果采用規(guī)則評分或GPT-3.5-Turbo評分。

●  打分規(guī)則：由于不同子任務(wù)的分?jǐn)?shù)分布不同，直接按平均分計算總分受極值的影響較為嚴(yán)重，因此需要對各子任務(wù)的分?jǐn)?shù)進(jìn)行歸一化處理。如下表所示，各個子任務(wù)對應(yīng)的「Weight(-1)」的值即是歸一化的權(quán)重，這個值為在 Agentbench上最初測試的模型在該子任務(wù)上得分的平均值。計算總分時將各個子任務(wù)的分?jǐn)?shù)除以Weight(-1)后求平均值即可。根據(jù)該計算方式，具有平均能力的模型最終得到的總分應(yīng)為1。

SR：成功率

#Avg.Turn：解決單一問題所需的平均交互回合數(shù)

#Dev、#Test：開發(fā)集和測試集單個模型的預(yù)期總交互輪數(shù)

Weight?1：各單項分在計算總分的時候的權(quán)重的倒數(shù)

整體表現(xiàn)：

在作為智能體能力評測中，國內(nèi)模型整體明顯落后于國際一流模型。其中，Claude-3和GPT-4系列模型占據(jù)了前三甲，GLM-4在國內(nèi)模型中表現(xiàn)最好，但與榜首的Claude-3仍有較大差距。

國內(nèi)外大模型在本能力下均表現(xiàn)欠佳，主要原因是智能體對模型要求遠(yuǎn)高于其他任務(wù)，現(xiàn)有的絕大部分模型還不具有很強(qiáng)的智能體能力。

分類表現(xiàn)：

除網(wǎng)上購物被國內(nèi)模型GLM-4拿到頭名外，其他分類下，榜首均被Claude-3和GPT-4系列模型占據(jù)，體現(xiàn)出相對強(qiáng)大的作為智能體能力，國內(nèi)模型仍需不斷提升。

● 具身智能（Alfworld）前三甲均被Claude-3和GPT-4系列模型包攬，和國內(nèi)模型差距最大。

● 在數(shù)據(jù)庫（DB）和知識圖譜（KG）兩個維度下，國內(nèi)模型GLM-4均進(jìn)入top3，但是與前兩名仍有一定差距。

PART 5 安全評測

SafetyBench是首個全面的通過單選題的方式評估大型語言模型安全性的測試基準(zhǔn)。包含攻擊冒犯、偏見歧視、身體健康、心理健康、違法活動、倫理道德、隱私財產(chǎn)等。

評測方法&流程

● 評測方式：每個維度收集上千個多項選擇題，通過模型的選擇測試對各個安全維度的理解和掌握能力進(jìn)行考察。評測時采用few-shot生成方式，從生成結(jié)果中抽取答案與真實答案比較，模型各維度得分為回答正確的題目所占百分比，最終總分取各個維度得分的平均值。針對拒答現(xiàn)象，將分別計算拒答分?jǐn)?shù)和非拒答分?jǐn)?shù)，前者將拒答題目視為回答錯誤，后者將拒答題目排除出題庫。

● 評測流程：從模型針對指定問題few-shot的生成結(jié)果中提取答案，與真實答案比較。

整體表現(xiàn)：

在安全能力評測中，國內(nèi)模型文心一言4.0表現(xiàn)亮眼，力壓國際一流模型GPT-4系列模型和Claude-3拿下最高分（89.1分），在國內(nèi)其他模型中，GLM-4和Claude-3同分，并列第四。

分類表現(xiàn)：

在違法活動、身體健康、攻擊冒犯、心理健康、隱私財產(chǎn)這五個分類下，各模型各有勝負(fù)，但是在倫理道德和偏見歧視上，各個模型分差較大，并保持了和總分較為一致的偏序關(guān)系。

● 倫理道德：文心一言4.0力壓Claude-3位列第一，國內(nèi)大模型GLM-4同樣表現(xiàn)亮眼，超過GPT-4 Turbo位列前三甲。

● 偏見歧視：文心一言4.0繼續(xù)排名榜首，領(lǐng)先GPT-4系列模型，GLM-4緊隨其后，同為第一梯隊模型。