開源大模型全球格局，一夜再變。

這不，全新開源大模型亮相，性能全面超越開源標桿Llama 3。王座易主了。不是“媲美”、不是“追上”，是全面超越。發(fā)布兩小時，直接沖上HggingFace開源大模型榜單第一。

這就是最新一代開源大模型Qwen2，來自通義千問，來自阿里巴巴。

在十幾項國際權(quán)威測評中，Qwen2-72B得分均勝過Llama3-70B，尤其在HumanEval、MATH等測試代碼和數(shù)學能力的基準中表現(xiàn)突出。

不僅如此，作為國產(chǎn)大模型，Qwen2-72B也“畢其功于一役”，超過了國內(nèi)一眾閉源大模型：

Qwen2-72B相比于自家前代模型Qwen1.5-110B實現(xiàn)了整體性能的代際提升，而在上海AI Lab推出的OpenCompass大模型測評榜單上，Qwen1.5-110B已經(jīng)超過了文心4、Moonshot-v1-8K等一眾國內(nèi)閉源模型。隨著Qwen2-72B的問世，這一領先優(yōu)勢還在擴大。

有網(wǎng)友便感慨說：這還只是剛開始。開源模型很可能在未來幾個月，就能擊敗GPT-4o為代表的閉源模型。

Qwen2的發(fā)布，可以說是一石激起千層浪。

上線僅1天，下載量已經(jīng)超過3萬次。

網(wǎng)友們還發(fā)現(xiàn)，除了72B和指令調(diào)優(yōu)版本，這次同步開源的Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B，開源許可都換成了Apache 2.0——

就是說可以更加自由地商用。這是Llama 3系列都沒做到的。

在AI大模型領域，時間和速度都不同了。

因為距離阿里推出Qwen1.5-110B模型刷新SOTA，全球開源大模型形成雙雄格局，才剛過去1個月時間。

而現(xiàn)在，Qwen2獨領風騷，全球開源第一，國產(chǎn)大模型第一——連不開源的大模型都超越了。

Qwen2挑戰(zhàn)高考數(shù)學真題

還是先來整體梳理一下Qwen2的基本情況。

根據(jù)官方技術(shù)博客介紹，Qwen2的特點和相比Qwen1.5的主要升級包括：

• 發(fā)布5個尺寸的預訓練和指令微調(diào)模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。其中Qwen2-57B-A14B是一個MoE模型。
• 在中文英語的基礎上，對27種語言進行了增強。有阿拉伯語開發(fā)者表示，Qwen已經(jīng)成為4億阿拉伯語用戶喜歡的大模型，穩(wěn)居阿拉伯語開源模型榜單第一。

• 在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等國際權(quán)威測評中，Qwen2-72B斬獲十幾項世界第一，超過Llama 3。
• 代碼和數(shù)學能力顯著提升。
• 增大了上下文長度支持，最長實現(xiàn)128K tokens上下文長度支持（Qwen2-7B-Instruct和Qwen2-72B-Instruct）。

紙面數(shù)據(jù)上，Qwen2在開源大模型中已經(jīng)達成全球最強，那么實際表現(xiàn)又會如何？

我們用新鮮出爐的高考數(shù)學真題上手實測了一波。

先來個簡單題：

已知集合A={x|-5＜x^3<5}，B={-3,-1,0,2,3}，則A∩B=()

左邊是Qwen2-72B-Instruct，右邊是Llama-3-70B-Instruct。除了Llama 3原版的老問題不咋支持中文外，兩邊的答案都是正確的。

那么就稍微上點難度：

當x∈[0, 2π]時，曲線y=sinx與y=2sin(3x-π/6)的交點個數(shù)為？

Qwen2-72B-Instruct依然沒有被難住，一通計算后給出正確答案：交點個數(shù)為6個。

而Llama-3-70B-Instruct則計算錯誤，扣5分。

Qwen2在數(shù)學能力方面，已經(jīng)到了高考考場接受真題檢驗的水平。

通義千問此番升級，官方和評測數(shù)據(jù)還突出了代碼能力的提升，我們也有LeetCode中等難度真題淺測了一下：

給你一個按照非遞減順序排列的整數(shù)數(shù)組nums，和一個目標值target。請你找出給定目標值在數(shù)組中的開始位置和結(jié)束位置。如果數(shù)組中不存在目標值 target，返回 [-1, -1]。你必須設計并實現(xiàn)時間復雜度為 O(log n) 的算法解決此問題。

Qwen2-72B-Instruct給出的python實現(xiàn)如下：

def searchRange(nums, target):def binary_search_left(nums, target):
        left, right = 0, len(nums)while left < right:
            mid = (left + right) // 2if nums[mid] < target:
                left = mid + 1else:
                right = midreturn left
def binary_search_right(nums, target):
        left, right = 0, len(nums)while left < right:
            mid = (left + right) // 2if nums[mid] <= target:
                left = mid + 1else:
                right = midreturn left
    left, right = binary_search_left(nums, target), binary_search_right(nums, target)return [left, right - 1] if left <= right - 1 and nums[left] == target and nums[right - 1] == target else [-1, -1]

一開始沒有定義Solution類導致報錯，不過直接把報錯信息反饋給Qwen2，它自己就能完成debug：

順利通過測試。

全尺寸模型標配GQA

這波實測，你給通義千問打幾分？

值得關注的是，這次阿里官方的技術(shù)博客中，還透露出了不少Q(mào)wen變強的技術(shù)細節(jié)。

首先，是GQA（Grouped Query Attention）的全面加持。

GQA，即分組查詢注意力機制，主要思想將輸入序列劃分成若干個組，在組內(nèi)和組間分別應用注意力機制，以更好地捕捉序列內(nèi)的局部和全局依賴關系。

GQA能夠有效降低計算復雜度，同時很容易實現(xiàn)并行化從而提高計算效率。

在Qwen1.5系列中，只有32B和110B模型使用了GQA。而Qwen2則全系列用上了這一注意力機制。也就是說，無論是高端玩家還是愛好者入門，這回都能在Qwen2各個尺寸模型中體驗到GQA帶來的推理加速和顯存占用降低的優(yōu)勢。

另外，針對小模型（0.5B和1.5B），由于embedding參數(shù)量較大，研發(fā)團隊使用了tie embedding的方法讓輸入和輸出層共享參數(shù)，以增加非embedding參數(shù)的占比。

其次，在上下文長度方面，Qwen2系列中所有Instruct模型，均在32K上下文長度上進行訓練，并通過YARN或Dual Chunk Attention等技術(shù)擴展至更長的上下文長度。

其中，Qwen2-7B-Instruct和Qwen2-72B-Instruct支持128K上下文。72B版本的最長上下文長度可以達到131072個token。

Qwen2-57B-A14B-Instruct能處理64K上下文，其余兩個較小的模型（0.5B和1.5B）則支持32K的上下文長度。

大海撈針的實驗結(jié)果如下。可以看到，Qwen2-72B-Instruct在處理128K上下文長度內(nèi)的信息抽取任務時，表現(xiàn)稱得上完美。

除此之外，在數(shù)據(jù)方面，Qwen2繼續(xù)探索Scaling Law的路線。

比如數(shù)學能力的提升，就是研究團隊給模型喂了大規(guī)模高質(zhì)量數(shù)學數(shù)據(jù)的結(jié)果。

在多語言能力方面，研究團隊也針對性地在訓練數(shù)據(jù)中增加了27種語言相關的高質(zhì)量數(shù)據(jù)。

博客還透露，接下來，通義千問研究團隊還將繼續(xù)探索模型及數(shù)據(jù)的Scaling Law，還會把Qwen2擴展為多模態(tài)模型。

重新認識中國開源大模型

更強的性能、更開放的態(tài)度，Qwen2剛一發(fā)布，堪稱好評如潮。

而在此前，生態(tài)方面，Qwen系列下載量已突破1600萬次。海內(nèi)外開源社區(qū)也已經(jīng)出現(xiàn)了超過1500款基于Qwen二次開發(fā)的模型和應用。

已經(jīng)有開發(fā)者感受到了：在開源路線上，現(xiàn)在中國大模型正在成為引領者。

Qwen2的最新成績單，至少印證了兩個事實。

其一，中國開源大模型，從性能到生態(tài)，都已具備跟美國最強開源大模型Llama 3全面對壘的硬實力。

其二，如圖靈獎得主Yann LeCun所預言，開源大模型已經(jīng)走在了超越閉源模型的道路上，拐點已現(xiàn)。

事實上，這也是包括阿里在內(nèi)，開源大模型玩家的明牌——

大模型的持續(xù)優(yōu)化和進步，一方面依賴于強大的AI研發(fā)能力、領先的基礎設施能力，也就是人工智能和云的強強聯(lián)合。

以阿里為例，作為中國云廠商份額第一，依托于強大的云計算能力，能為AI訓練、AI應用提供穩(wěn)定高效的AI基礎服務體系，同時在人工智能方面有長期的積累。

另一方面也需要來自外界的不斷反饋和技術(shù)推動。

開源社區(qū)的技術(shù)反哺，從Qwen2上線第一天，GitHub上的Issues數(shù)量就可見一斑。

在技術(shù)領域，開源就是我為人人、人人為我，是全球科技互聯(lián)網(wǎng)繁榮發(fā)展至今最核心的精神要素。

不論任何一個時代，不管哪種新興技術(shù)浪潮，沒有程序員、工程師不以開源感到驕傲，甚至快樂。

阿里高級算法專家、開源負責人林俊旸，曾對外分享過通義千問進展飛快的“秘籍”：快樂。

因為面向全球開發(fā)者服務，面向其他開發(fā)者交流，給別人帶去實實在在的幫助，這樣通義千問大模型的打造者們快樂又興奮，關注著每一個開發(fā)者的反饋，激動于全新意想不到的落地應用。

這也是科技互聯(lián)網(wǎng)世界曾經(jīng)快速發(fā)展的核心原因，黃金時代，開源才是約定俗成的，不開源反而要遭受質(zhì)疑。

然而時移世易，在大模型時代，由于研發(fā)成本、商業(yè)模式和競爭多方面的原因，閉源的光芒一度掩蓋了開源，Close成了寵兒。

所以Meta的Llama也好，阿里通義千問的Qwen也好，復興傳統(tǒng)，重新證明科技互聯(lián)網(wǎng)領域不變的精神和內(nèi)核。

這種精神和內(nèi)核，在通義千問這里，也擁有不言自明的可持續(xù)飛輪。

阿里巴巴董事長蔡崇信已經(jīng)對外分享了思考，在全球云計算和AI的第一梯隊中，有領先的云業(yè)務又有自研大模型能力的，僅谷歌和阿里兩家。其他有云服務的微軟、亞馬遜，都是合作接入大模型；其他自研大模型的OpenAI、Meta，沒有領先的云服務。

全球唯二，中國唯一。

而在開源生態(tài)的推動中，技術(shù)迭代會更快，云計算的服務延伸會越廣，技術(shù)模型和商業(yè)模式，飛輪閉環(huán)，循環(huán)迭代，在固有基礎設施的基礎上壘起新的基礎設施，形成穩(wěn)固持續(xù)的競爭力。

但開源大模型，最大的價值和意義依然回歸開發(fā)者，只有足夠強大的開源大模型，AI for All、AI無處不在才不會成為紙上空談。

所以通義千問Qwen2，此時此刻，登頂?shù)氖侨蜷_源性能最高峰，引領的是開源對閉源的超越階段，象征著中國大模型在新AI時代中的競爭力。

但更值得期待的價值是通過開源大模型，讓天下沒有難開發(fā)的AI應用、讓天下沒有難落地的AI方案。完整兌現(xiàn)AI價值，讓新一輪AI復興，持續(xù)繁榮，真正改變經(jīng)濟和社會。

參考鏈接：

https://qwenlm.github.io/zh/blog/qwen2/。