高性能、可商用，國產(chǎn)大模型又有開源新動(dòng)向。

8 月 7 日，百億參數(shù)高性能通用大模型「XVERSE-13B」宣布開源。

• Hugging Face：https://huggingface.co/xverse/XVERSE-13B
• Github：https://github.com/xverse-ai/XVERSE-13B

而 XVERSE-13B 的打造者，正是前騰訊公司副總裁姚星老師于2021年初創(chuàng)立的AI 與元宇宙技術(shù)服務(wù)公司元象 XVERSE。

在離職創(chuàng)業(yè)之前，姚星主導(dǎo)創(chuàng)建了騰訊首個(gè)人工智能實(shí)驗(yàn)室 AI Lab（2016 年）和首個(gè)機(jī)器人實(shí)驗(yàn)室 Robotics X （2018 年），曾推進(jìn)騰訊在機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、語音到自然語言處理等前沿 AI 技術(shù)的研究與應(yīng)用，主導(dǎo)推出多個(gè)有行業(yè)影響力的應(yīng)用與產(chǎn)品，包括國家圍棋隊(duì) AI 陪練「絕藝」、王者榮耀 AI「絕悟」、中國首款臨床用智能顯微鏡、AI 驅(qū)動(dòng)的新藥發(fā)現(xiàn)平臺(tái)「云深智藥」及騰訊智慧種植方案 iGrow 等。

打造最強(qiáng)性能的開源大模型

XVERSE-13B 是目前同尺寸中效果最好的多語言大模型，可免費(fèi)商用。它具備了高性能、全開源、可商用等諸多優(yōu)勢(shì)，能大大降低高校和企業(yè)部署使用大模型的成本，不僅實(shí)現(xiàn)了國產(chǎn)可替代，也是中文應(yīng)用更好的選擇。

在多項(xiàng)權(quán)威的標(biāo)準(zhǔn)中文和英文測(cè)評(píng)中，性能超越了 Llama-2-13B、Baichuan-13B 等國內(nèi)外開源大模型（見下圖一）。

圖一：經(jīng)過多項(xiàng)權(quán)威測(cè)評(píng)，XVERSE-13B 是目前同尺寸中效果最好的多語言大模型。

作為一個(gè)通用大模型，XVERSE-13B 可提供文本生成、自動(dòng)化寫作、數(shù)據(jù)分析、知識(shí)問答、多語言翻譯、個(gè)性化交互、人物角色扮演、專業(yè)小助手等多方面的生成服務(wù)，在醫(yī)療、文旅、金融和娛樂等多個(gè)行業(yè)具有廣闊應(yīng)用前景。

據(jù)了解，元象近期還將發(fā)布大模型 Chat 版，開箱即用，持續(xù)優(yōu)化開發(fā)者體驗(yàn)。

訓(xùn)練語料對(duì)大模型效果至關(guān)重要。XVERSE-13B 構(gòu)建了一個(gè)高達(dá) 1.4 萬億高質(zhì)量、多樣化 tokens 的訓(xùn)練數(shù)據(jù)集，同時(shí)優(yōu)化采樣策略和數(shù)據(jù)組織方式，讓模型支持中、英、俄、西等 40 多種語言，并且多語言任務(wù)處理的性能與效果俱佳。

XVERSE-13B 支持 8192 的上下文窗口，是同尺寸模型中最長(zhǎng)的，從而能出色應(yīng)對(duì)復(fù)雜場(chǎng)景，比如更長(zhǎng)的多輪對(duì)話、知識(shí)問答與摘要等，應(yīng)用范圍更廣泛。

模型使用標(biāo)準(zhǔn) Transformer 網(wǎng)絡(luò)結(jié)構(gòu)，從零開始訓(xùn)練，還自主研發(fā)多項(xiàng)關(guān)鍵技術(shù)，包括高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù) - 計(jì)算 - 通信重疊、平臺(tái)和框架協(xié)同等，讓訓(xùn)練效率更高，模型穩(wěn)定性強(qiáng)，在千卡集群上的峰值算力利用率可達(dá)到 58.5%，位居業(yè)界前列。

多個(gè)權(quán)威中文測(cè)評(píng)中表現(xiàn)優(yōu)異，超越 Baichuan-13B

為驗(yàn)證模型各項(xiàng)能力，XVERSE-13B 通過 C-Eval、AGIEval 和 GAOKAO-Bench 等三個(gè)最具影響力的中文測(cè)評(píng)基準(zhǔn)的綜合評(píng)估（圖二），表現(xiàn)優(yōu)異，超越了同參數(shù)規(guī)模主流模型，如 Baichuan-13B、Llama-2-13B、Ziya-LLaMA-13B 等。 

圖二：在多個(gè)權(quán)威中文測(cè)評(píng)中，XVERSE-13B 表現(xiàn)超越了同參數(shù)規(guī)模的主流模型。

在中文 C-Eval 的測(cè)評(píng)中（圖三），XVERSE-13B 綜合評(píng)分達(dá)到了 54.7 分，超越了同參數(shù)規(guī)模的主流模型。C-EVAL 測(cè)評(píng)基準(zhǔn)由上海交通大學(xué)、清華大學(xué)以及愛丁堡大學(xué)聯(lián)合創(chuàng)建，是面向中文語言模型的綜合考試測(cè)試集，覆蓋了 52 個(gè)來自不同行業(yè)領(lǐng)域的學(xué)科。

圖三：C-Eval 中文測(cè)評(píng)結(jié)果。

在 AGIEval 測(cè)評(píng)里，XVERSE-13B 綜合評(píng)分達(dá)到 41.4 分，超越了同參數(shù)規(guī)模主流模型（圖二）。AGIEval 測(cè)評(píng)基準(zhǔn)由微軟研究院發(fā)起，旨在全面評(píng)估基礎(chǔ)模型在人類認(rèn)知和問題解決相關(guān)任務(wù)上的能力，包含了中國的高考、司法考試，以及美國的 SAT、LSAT、GRE 和 GMAT 等 20 個(gè)公開且嚴(yán)謹(jǐn)?shù)墓俜饺雽W(xué)和職業(yè)資格考試。

在 GAOKAO-Bench 測(cè)評(píng)中，XVERSE-13B 綜合評(píng)分達(dá)到了 53.9 分，顯著領(lǐng)先于同參數(shù)規(guī)模的主流模型（圖二）。GAOKAO-Bench 測(cè)評(píng)基準(zhǔn)是復(fù)旦大學(xué)研究團(tuán)隊(duì)創(chuàng)建的測(cè)評(píng)框架，以中國高考題目作為數(shù)據(jù)集，用于測(cè)評(píng)大模型在中文語言理解和邏輯推理能力方面的表現(xiàn)。

英文測(cè)評(píng)表現(xiàn)領(lǐng)先 Llama-2-13B

XVERSE-13B 的英文表現(xiàn)同樣出色，在英文最權(quán)威評(píng)測(cè) MMLU 中，其綜合評(píng)分高達(dá) 55.1 分，幾乎在所有維度超越了同參數(shù)規(guī)模的主流模型（圖四），包括 Llama-2-13B、Baichuan-13B 等。

圖四：MMLU 英文測(cè)評(píng)結(jié)果。

MMLU 由加州大學(xué)伯克利分校等知名高校共同打造，集合了科學(xué)、工程、數(shù)學(xué)、人文、社會(huì)科學(xué)等領(lǐng)域的 57 個(gè)科目，主要目標(biāo)是對(duì)模型的英文跨學(xué)科專業(yè)能力進(jìn)行深入測(cè)評(píng)。其內(nèi)容廣泛，從初級(jí)水平一直涵蓋到高級(jí)專業(yè)水平。

需要強(qiáng)調(diào)的是，測(cè)評(píng)只反映了大模型底座的核心能力，元象將持續(xù)迭代優(yōu)化，全面提升模型能力。

免費(fèi)可商用 哈工大率先使用助力研究

秉持開源精神，XVERSE-13B 代碼采用 Apache-2.0 協(xié)議，向?qū)W術(shù)研究完全開源，企業(yè)只需簡(jiǎn)單登記，即可免費(fèi)商用。

哈爾濱工業(yè)大學(xué)（下稱「哈工大」）作為我國最早從事自然語言處理研究的頂級(jí)科研團(tuán)隊(duì)，已經(jīng)率先使用 XVERSE-13B 大模型推進(jìn)相關(guān)研究工作。哈工大計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院張偉男教授表示，「開源是互聯(lián)網(wǎng)時(shí)代主流模式，不僅能貢獻(xiàn)社區(qū)，推動(dòng)技術(shù)持續(xù)創(chuàng)新，還能利用協(xié)同解決算法透明性、穩(wěn)定性、公眾信任度等共性問題?！?/span>

元象 XVERSE 創(chuàng)始人姚星表示：「真實(shí)世界的感知智能（3D），與真實(shí)世界的認(rèn)知智能（AI），是探索通用人工智能（AGI）的必由之路，也是元象持續(xù)探索 3D 與 AI 前沿技術(shù)的動(dòng)力。XVERSE-13B 是我們?cè)趪a(chǎn)技術(shù)自立自強(qiáng)上邁出的一小步，而開源開放將激發(fā)大模型生態(tài)活力，讓 AI 的未來發(fā)展邁出一大步，為實(shí)體經(jīng)濟(jì)、數(shù)字經(jīng)濟(jì)的發(fā)展注入強(qiáng)勁動(dòng)力。我們期待與眾多企業(yè)與開發(fā)者攜手，開創(chuàng)大模型商用新紀(jì)元?！?/span>