百模大戰(zhàn)，最備受期待的一位選手，終于正式亮相！

它便是來自李開復(fù)博士創(chuàng)辦的AI 2.0公司零一萬物的首款開源大模型——Yi系列大模型：

Yi-34B和Yi-6B。

雖然Yi系列大模型出道時間相對較晚，但從效果上來看，絕對稱得上是后發(fā)制人。

一出手即問鼎多項全球第一：

• Hugging Face英文測試榜單位居第一，以34B的大小碾壓Llama-2 70B和Falcon-180B等一眾大尺寸大模型；
• 唯一成功登頂HuggingFace的國產(chǎn)大模型；
• C-Eval中文能力排行榜位居第一，超越了全球所有開源模型；
• MMLU、BBH等八大綜合能力表現(xiàn)全部勝出；
• 拿下全球最長上下文窗口寶座，達(dá)到200K，可直接處理40萬漢字超長文本輸入。
• ……

值得注意的是，零一萬物及其大模型并非是一蹴而就，而是醞釀了足足半年有余。

由此不免讓人產(chǎn)生諸多疑問：

例如為什么要憋半年之久的大招，選擇在臨近歲末之際出手？

再如是如何做到一面世即能拿下如此之多的第一？

帶著這些問題，我們與零一萬物做了獨家交流，現(xiàn)在就來一一揭秘。

擊敗千億參數(shù)大模型

具體來看，零一萬物最新發(fā)布開源的Yi系列大模型主要有兩大亮點：

• “以小博大”擊敗千億參數(shù)模型
• 全球最長上下文窗口支持40萬字

在Hugging Face英文測試公開單 Pretrained 預(yù)訓(xùn)練開源模型排名中，Yi-34B以70.72分?jǐn)?shù)位列全球第一，超過了LLaMA-70B和Falcon-180B。

要知道，Yi-34B的參數(shù)量僅為后兩者的1/2、1/5。不僅“以小博大”問鼎榜單，而且實現(xiàn)了跨數(shù)量級的反超，以百億規(guī)模擊敗千億級大模型。

其中在MMLU（大規(guī)模多任務(wù)語言理解）、TruthfulQA（真實性基準(zhǔn)）兩項指標(biāo)中，Yi-34B都大幅超越其他大模型。

△Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜，Yi-34B高居榜首（2023年11月5日）

聚焦到中文能力方面，Yi-34B在C-Eval中文能力能力排行榜上超越所有開源模型。

同樣開源的Yi-6B也超過了同規(guī)模所有開源模型。

△C-Eval 排行榜：公開訪問的模型，Yi-34B 全球第一（2023年11月5日）

在CMMLU、E-Eval、Gaokao三個主要中文指標(biāo)上，明顯領(lǐng)先于GPT-4，彰顯強(qiáng)大的中文優(yōu)勢，對咱們更知根知底。

在BooIQ、OBQA兩個問答指標(biāo)上，和GPT-4水平相當(dāng)。

另外，在大模型最關(guān)鍵評測指標(biāo)MMLU（Massive Multitask Language Understanding，大規(guī)模多任務(wù)語言理解）、BBH等反映模型綜合能力的評測集上，Yi-34B在通用能力、知識推理、閱讀理解等多項指標(biāo)評比中全面超越，與Hugging Face評測高度一致。

△各評測集得分：Yi 模型 v.s. 其他開源模型

不過在發(fā)布中零一萬物也表示，Yi系列模型在GSM8k、MBPP的數(shù)學(xué)和代碼測評中表現(xiàn)還不及GPT模型。

這是因為團(tuán)隊希望在預(yù)訓(xùn)練階段先盡可能保留模型的通用能力，所以訓(xùn)練數(shù)據(jù)中沒有加入過多數(shù)學(xué)和代碼數(shù)據(jù)。

目前團(tuán)隊正在針對數(shù)學(xué)方向展開研究，提出了可以解決一般數(shù)學(xué)問題的大模型MammoTH，利用CoT和PoT解決數(shù)學(xué)問題，在各個規(guī)模版本、內(nèi)外部測試集上均優(yōu)于SOTA模型。其中MammoTH-34B在MATH上的準(zhǔn)確率達(dá)到44%，超過了GPT-4的CoT結(jié)果。

后續(xù)Yi系列也將推出專長代碼和數(shù)學(xué)的繼續(xù)訓(xùn)練模型。

而除了亮眼的刷榜成績外，Yi-34B還將大模型上下文窗口長度刷新到了200K，可處理約40萬漢字超長文本輸入。

這相當(dāng)于能一次處理兩本《三體 1》小說、理解超過1000頁的PDF文檔，甚至能替代很多依賴于向量數(shù)據(jù)庫構(gòu)建外部知識庫的場景。

超長上下文窗口是體現(xiàn)大模型實力的一個重要維度，擁有更長的上下文窗口則能處理更豐富的知識庫信息，生成更連貫、準(zhǔn)確的文本，也能支持大模型更好處理文檔摘要/問答等任務(wù)。

要知道，目前大模型的諸多垂直行業(yè)應(yīng)用中（如金融、法律、財務(wù)等），文檔處理能力是剛需。

如GPT-4可支持32K、約2.5萬漢字，Claude 2可支持100K、約20萬字。

零一萬物不僅刷新了業(yè)界紀(jì)錄，同時也是首家將超長上下文窗口在開源社區(qū)開放的大模型公司。

所以，Yi系列是如何煉成的？

超強(qiáng)Infra+自研訓(xùn)練平臺

零一萬物表示，Yi系列煉成的秘訣來自兩方面：

• 自研規(guī)?；?xùn)練實驗平臺
• 超強(qiáng)Infra團(tuán)隊

如上二者結(jié)合，能讓大模型訓(xùn)練過程更加高效、準(zhǔn)確、自動化。在多?；鞈?zhàn)的當(dāng)下，節(jié)省寶貴的時間、計算、人力成本。

它們是Yi系列大模型為何會“慢”的原因之一，但也因為有了它們，所以“慢即是快”。

首先來看模型訓(xùn)練部分。

這是大模型能力打基礎(chǔ)的環(huán)節(jié)，訓(xùn)練數(shù)據(jù)質(zhì)量和方法如何，直接關(guān)乎模型最終效果。

所以，零一萬物自建了智能數(shù)據(jù)處理管線和規(guī)?；?xùn)練實驗平臺。

智能數(shù)據(jù)處理管線高效、自動、可評價、可擴(kuò)展，團(tuán)隊由前Google大數(shù)據(jù)和知識圖譜專家領(lǐng)銜。

“規(guī)?；?xùn)練實驗平臺”可以指導(dǎo)模型的設(shè)計和優(yōu)化，提升模型訓(xùn)練效率、減少計算資源浪費。

基于這一平臺，Yi-34B每個節(jié)點的預(yù)測誤差都控制在0.5%以內(nèi)，如數(shù)據(jù)配比、超參搜索、模型結(jié)構(gòu)實驗都可以在上面進(jìn)行。

由此，與過往的“粗放煉丹”訓(xùn)練比較，Yi系列大模型的訓(xùn)練進(jìn)階到“訓(xùn)?？茖W(xué)”：變得更加細(xì)致、科學(xué)化，實驗結(jié)果可以更加穩(wěn)定，未來模型規(guī)模進(jìn)一步擴(kuò)大的速度也能更快。

再來看Infra部分。

AI Infra是指人工智能基礎(chǔ)框架技術(shù)，它包含了大模型訓(xùn)練、部署方面的各種底層技術(shù)設(shè)施，包括處理器、操作系統(tǒng)、存儲系統(tǒng)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施、云計算平臺等——是大模型領(lǐng)域絕對的硬技術(shù)。

如果說訓(xùn)練環(huán)節(jié)是為模型質(zhì)量打地基，那么AI Infra則是為這一環(huán)節(jié)提供保障，讓地基更加牢固，亦是直接關(guān)乎大模型底層的部分。

零一萬物團(tuán)隊用了一個更加形象的比喻解釋：

如果說大模型訓(xùn)練是登山，Infra的能力定義了大模型訓(xùn)練算法和模型的能力邊界，也就是“登山高度”的天花板。

尤其在業(yè)內(nèi)算力資源緊張的當(dāng)下，如何更快、更穩(wěn)地推進(jìn)大模型研發(fā)，非常關(guān)鍵。

這就是為何零一萬物如此重視Infra部分。

李開復(fù)也曾表示，做過大模型Infra的人，比作算法的人才還要稀缺。

而零一萬物的Infra團(tuán)隊曾參與支持多個千億級大模型規(guī)?；?xùn)練。

在他們的支持下，Yi-34B模型訓(xùn)練成本實測下降40%，模擬千億規(guī)模訓(xùn)練成本可下降多達(dá)50%。實際訓(xùn)練完成達(dá)標(biāo)時間域預(yù)測的時間誤差不到1小時——要知道，一般業(yè)內(nèi)都會預(yù)留幾天時間作為誤差。

團(tuán)隊表示，截至目前零一萬物Infra能力實現(xiàn)故障預(yù)測準(zhǔn)確率超過90%，故障提前發(fā)現(xiàn)率達(dá)到99.9%，無需人工參與的故障自愈率超過95%，能有力保障模型訓(xùn)練順暢進(jìn)行。

李開復(fù)透露，在完成Yi-34B預(yù)訓(xùn)練的同時，零一萬物千億級參數(shù)模型訓(xùn)練已正式啟動。

而且暗示更大模型的面世速度，很可能超出大家預(yù)期：

零一萬物的數(shù)據(jù)處理管線、算法研究、實驗平臺、GPU 資源和 AI Infra 都已經(jīng)準(zhǔn)備好，我們的動作會越來越快。

后發(fā)制人的的零一萬物

最后，我們來回答一下最開始我們提到的那幾個問題。

零一萬物之所以選擇在年底搭乘“晚班車”入局，實則與它自身的目標(biāo)息息相關(guān)。

正如李開復(fù)在此次發(fā)布中所述：

零一萬物堅定進(jìn)軍全球第一梯隊目標(biāo)，從招的第一個人，寫的第一行代碼，設(shè)計的第一個模型開始，就一直抱著成為“World’s No.1”的初衷和決心。

而要做到第一，需是得能耐得住性子，潛心修煉扎實的功底，方可在出道之際做到一鳴驚人。

不僅如此，在零一萬物成立之際，它的出發(fā)點便與其它大模型廠商有著本質(zhì)的不同。

零一代表的是整個數(shù)字世界，從零到一，乃至宇宙萬物，所謂道生一……生萬物，寓意 “零一智能，萬物賦能” 的雄心。

這也與李開復(fù)關(guān)于AI2.0的思考判斷一以貫之，在ChatGPT帶動大模型熱潮之后，他就曾公開表示過：

以基座大模型為突破的AI 2.0時代，將掀起技術(shù)、平臺到應(yīng)用多個層面的革命。如同Windows帶動了PC普及，Android催生了移動互聯(lián)網(wǎng)的生態(tài)，AI2.0將誕生比移動互聯(lián)網(wǎng)大十倍的平臺機(jī)會，將把既有的軟件、使用界面和應(yīng)用重寫一次，也將誕生新一批AI-first的應(yīng)用，并催生由AI主導(dǎo)的商業(yè)模式。

理念就是AI-first，驅(qū)動力是技術(shù)愿景，背靠卓越的中國工程底蘊(yùn)，突破點是基座大模型，覆蓋范圍包含技術(shù)、平臺到應(yīng)用多個層面。

為此，零一萬物從成立以來選擇的創(chuàng)業(yè)路線便是自研大模型。

雖說發(fā)布時間較晚，但在速度上絕對不算慢。

例如在頭三個月的時間里，零一萬物就已經(jīng)實現(xiàn)了百億參數(shù)規(guī)模的模型內(nèi)測；而再時隔三個月，便可以用34B的參數(shù)規(guī)模解鎖全球第一。

如此速度，如此高目標(biāo)，定然也是離不開零一萬物背后雄厚的團(tuán)隊實力。

零一萬物由李開復(fù)博士親自掛帥、任CEO。

在早期階段，零一萬物已經(jīng)聚集起了數(shù)十名核心成員的團(tuán)隊，集中在大模型技術(shù)、人工智能算法、自然語言處理、系統(tǒng)架構(gòu)、算力架構(gòu)、數(shù)據(jù)安全、產(chǎn)品研發(fā)等領(lǐng)域。

其中已加入的聯(lián)創(chuàng)團(tuán)隊成員包含前阿里巴巴副總裁、前百度副總裁、前谷歌中國高管、前微軟/SAP/Cisco/副總裁，算法和產(chǎn)品團(tuán)隊背景均來自國內(nèi)外大廠。

以算法和模型團(tuán)隊成員為例，有論文曾被GPT-4引用的算法大拿，有獲得過微軟內(nèi)部研究大獎的優(yōu)秀研究員，曾獲得過阿里CEO特別獎的超級工程師。總計在ICLR、NeurIPS、CVPR、ICCV等知名學(xué)術(shù)會議上發(fā)表過大模型相關(guān)學(xué)術(shù)論文100余篇。

而且零一萬物在成立之初便已經(jīng)開始搭建實驗平臺，構(gòu)建了個數(shù)千卡GPU集群，進(jìn)行訓(xùn)練、調(diào)優(yōu)和推理。在數(shù)據(jù)方面，主打一個提高有效參數(shù)量和使用的高質(zhì)量數(shù)據(jù)密度。

由此，不難看出零一萬物Yi系列大模型敢于后發(fā)制人的底氣何在了。

據(jù)了解，零一萬物接下來還將Yi系列大模型為基礎(chǔ)，快速迭代開源更多量化的版本、對話模型、數(shù)學(xué)模型、代碼模型和多模態(tài)模型等。

總而言之，隨著零一萬物這匹黑馬的入局，百模大戰(zhàn)已然變得更加激烈與熱鬧。

對于Yi系列大模型還將在未來顛覆多少“全球第一”，是值得期待一波了。

One More Thing

為什么取名“Yi” ？

命名來自“一”的拼音，“Yi”中的“Y”上下顛倒，巧妙形同漢字的 “人”，結(jié)合AI里的 i，代表 Human + AI。

零一萬物相信 AI 賦能推動人類社會前行，AI 應(yīng)本著以人為本的精神，為人類創(chuàng)造巨大的價值。