在2023杭州云棲大會(huì)上，阿里云首席技術(shù)官周靖人發(fā)布千億級(jí)參數(shù)大模型通義千問(wèn)2.0。在10個(gè)權(quán)威測(cè)評(píng)中，通義千問(wèn)2.0綜合性能超過(guò)GPT-3.5，正在加速追趕GPT-4。

據(jù)悉，過(guò)去6個(gè)月，通義千問(wèn)2.0在性能上取得巨大飛躍，相比4月發(fā)布的1.0版本，通義千問(wèn)2.0在復(fù)雜指令理解、文學(xué)創(chuàng)作、通用數(shù)學(xué)、知識(shí)記憶、幻覺(jué)抵御等能力上均有顯著提升。目前，通義千問(wèn)的綜合性能已經(jīng)超過(guò)GPT-3.5，加速追趕GPT-4。

在MMLU、C-Eval、GSM8K、HumanEval、MATH等10個(gè)主流Benchmark測(cè)評(píng)集上，通義千問(wèn)2.0的得分整體超越Meta的Llama-2-70B，相比OpenAI的Chat-3.5是九勝一負(fù)，相比GPT-4則是四勝六負(fù)，與GPT-4的差距進(jìn)一步縮小。

中英文理解能力是大語(yǔ)言模型的基本功。英語(yǔ)任務(wù)方面，通義千問(wèn)2.0在MMLU基準(zhǔn)的得分是82.5，僅次于GPT-4，通過(guò)大幅增加參數(shù)量，通義千問(wèn)2.0能更好地理解和處理復(fù)雜的語(yǔ)言結(jié)構(gòu)和概念;中文任務(wù)方面，通義千問(wèn)2.0以明顯優(yōu)勢(shì)在C-Eval基準(zhǔn)獲得最高得分，這是由于模型在訓(xùn)練中學(xué)習(xí)了更多中文語(yǔ)料，進(jìn)一步強(qiáng)化了中文理解和表達(dá)能力。

在數(shù)學(xué)推理、代碼理解等領(lǐng)域，通義千問(wèn)2.0進(jìn)步明顯。在推理基準(zhǔn)測(cè)試GSM8K中，通義千問(wèn)排名第二，展示了強(qiáng)大的計(jì)算和邏輯推理能力;在HumanEval測(cè)試中，通義千問(wèn)得分緊跟GPT-4和GPT-3.5，該測(cè)試主要衡量大模型理解和執(zhí)行代碼片段的能力，這一能力是大模型應(yīng)用于編程輔助、自動(dòng)代碼修復(fù)等場(chǎng)景的基礎(chǔ)。