編輯 | 伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

源神 Qwen3 趕在五一假期前重磅上線！

這次 Qwen3 直接放出了一整個(gè)“全家桶” ——總共 8 個(gè)模型，包括 2 個(gè) MoE（稀疏專家）模型和 6 個(gè)稠密模型，規(guī)模從 0.6B 到 235B 不等，陣容堪稱豪華。

圖片

其中，旗艦?zāi)Ｐ?Qwen3-235B-A22B 強(qiáng)勢(shì)登頂，成為新一代開(kāi)源之王！在編碼、數(shù)學(xué)、通用能力等多個(gè)基準(zhǔn)評(píng)測(cè)中，表現(xiàn)可與 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等頂尖模型媲美。

圖片

不僅大模型強(qiáng)，小型號(hào)也一樣能打。小型 MoE 模型 Qwen3-30B-A3B，雖然激活參數(shù)量?jī)H有 QwQ-32B 的十分之一，卻實(shí)現(xiàn)了全面反超；而輕量級(jí) Qwen3-4B，也幾乎達(dá)到了 Qwen2.5-72B-Instruct 的水平。

圖片

Qwen3當(dāng)然也是慣例的上線即開(kāi)源，并且其網(wǎng)頁(yè)端已經(jīng)可以體驗(yàn)該系列中最強(qiáng)大的幾個(gè)模型！

• Hugging Face:

https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f

• Qwen Chat Web：

https://chat.qwen.ai/  

圖片

點(diǎn)進(jìn) Hugging Face 的 Qwen3 頁(yè)面你會(huì)發(fā)現(xiàn)，模型列表比想象中還要長(zhǎng)得多！這次源神不僅開(kāi)源了完整模型，還貼心放出了部分對(duì)應(yīng)的預(yù)訓(xùn)練版本！

比如 Qwen3-30B-A3B，它的預(yù)訓(xùn)練版 Qwen3-30B-A3B-Base 也一并上線了，現(xiàn)在已經(jīng)可以在 Hugging Face、ModelScope、Kaggle 等平臺(tái)上使用。

圖片

Qwen3 blog中還貼心給到了部署建議，對(duì)于部署，建議使用SGLang和vLLM這樣的框架。對(duì)于本地使用，強(qiáng)烈建議使用Ollama、LMStudio、MLX、llama.cpp和KTransformers等工具。

昨晚，國(guó)內(nèi)外一大批關(guān)注開(kāi)源的開(kāi)發(fā)者們，熬夜苦等到凌晨，只為了這句話——終于等到了！

圖片

Qwen3特性亮點(diǎn)：混合推理模型、雙模式按需切換、MCP支持全面升級(jí)！

以下是官方總結(jié)的Qwen3的最強(qiáng)亮點(diǎn)。

1.混合思維模式

Qwen3 系列模型引入了混合式問(wèn)題解決方法，支持兩種推理模式：

• 思考模式：模型會(huì)一步步推理后再給出最終答案，適合需要深入思考的復(fù)雜問(wèn)題。
• 非思考模式：模型快速、幾乎即時(shí)地響應(yīng)，適合對(duì)速度要求更高、無(wú)需復(fù)雜推理的簡(jiǎn)單問(wèn)題。

這種靈活的設(shè)計(jì)，讓用戶可以根據(jù)任務(wù)需求，自由控制模型的“思考量”。比如，遇到難題時(shí)啟用更充分的推理流程，而在處理簡(jiǎn)單問(wèn)題時(shí)則可以直接快速作答。

當(dāng)然，這樣就實(shí)現(xiàn)了更好更便宜——雙模式集成顯著提升了模型在推理預(yù)算管理上的穩(wěn)定性與效率。用戶可以根據(jù)實(shí)際需求，輕松調(diào)整推理預(yù)算，在成本和推理質(zhì)量之間拿捏得更精準(zhǔn)。

圖片

2.多語(yǔ)言支持

Qwen3 一口氣支持了119種語(yǔ)言和方言，這一規(guī)模，足以讓全球用戶在剛上線的 Qwen APP 中暢通無(wú)阻地體驗(yàn)新一代大模型。真正實(shí)現(xiàn)了“讓世界各地的人都能用上”的愿景！

原blog中列出了全語(yǔ)言的清單，其中不乏聞所未聞的冷門印歐系語(yǔ)言，如邁蒂利語(yǔ)、博杰普爾語(yǔ)、信德語(yǔ)等；在漢藏語(yǔ)系中則支持中文（簡(jiǎn)體中文、繁體中文、粵語(yǔ)）和緬甸語(yǔ)。

3.智能體能力提升

Qwen3 模型的編碼能力和智能體（Agentic）能力進(jìn)行了優(yōu)化，并進(jìn)一步增強(qiáng)了對(duì) MCP（多智能體協(xié)作協(xié)議）的支持。

在給出的視頻demo里，提問(wèn)者給模型一個(gè)Qwen的開(kāi)源主頁(yè)，要求提取頁(yè)面的 Markdown 內(nèi)容，并繪制一張柱狀圖展示每個(gè)項(xiàng)目的 star 數(shù)量。模型出色地完成了思考，并最終通過(guò)MCP協(xié)議主動(dòng)把柱狀圖保存到了本地文件中。

圖片

Qwen3是如何練成的：三階段預(yù)訓(xùn)練和四階段后訓(xùn)揭秘

在預(yù)訓(xùn)練方面，Qwen3 的數(shù)據(jù)集相比 Qwen2.5 有了大幅擴(kuò)展。Qwen2.5 的預(yù)訓(xùn)練量為 18 萬(wàn)億 tokens，而 Qwen3 直接翻倍，使用了約 36 萬(wàn)億 tokens，覆蓋了 119 種語(yǔ)言和方言。

為了構(gòu)建這一超大規(guī)模數(shù)據(jù)集，團(tuán)隊(duì)人員不僅收集了網(wǎng)頁(yè)數(shù)據(jù)，還納入了大量類似 PDF 的文檔數(shù)據(jù)。

在處理文檔數(shù)據(jù)時(shí)，他們使用 Qwen2.5-VL 進(jìn)行文本抽取，再用 Qwen2.5 提升抽取內(nèi)容的質(zhì)量。為了增加數(shù)學(xué)與代碼數(shù)據(jù)的比例，還利用 Qwen2.5-Math 和 Qwen2.5-Coder 生成了大量合成數(shù)據(jù)，涵蓋教科書內(nèi)容、問(wèn)答對(duì)和代碼片段。

Qwen3 的預(yù)訓(xùn)練過(guò)程分為三個(gè)階段：

• 第一階段（S1）：在超過(guò) 30 萬(wàn)億 tokens 上進(jìn)行預(yù)訓(xùn)練，采用 4K tokens 的上下文長(zhǎng)度，為模型打下了基本的語(yǔ)言能力和通識(shí)知識(shí)基礎(chǔ)。
• 第二階段（S2）：提升數(shù)據(jù)集的知識(shí)密集度，增加了更多 STEM、編碼與推理相關(guān)的數(shù)據(jù)，新增預(yù)訓(xùn)練了 5 萬(wàn)億 tokens。
• 第三階段：引入高質(zhì)量的長(zhǎng)上下文數(shù)據(jù)，將模型的上下文長(zhǎng)度擴(kuò)展到 32K tokens，確保能夠有效處理更長(zhǎng)的輸入。

圖片

得益于模型架構(gòu)的優(yōu)化、訓(xùn)練數(shù)據(jù)量的提升以及訓(xùn)練方法的改進(jìn)，Qwen3 的稠密基礎(chǔ)模型在整體性能上達(dá)到了參數(shù)量更大的 Qwen2.5 基礎(chǔ)模型的水平。例如，Qwen3-1.7B/4B/8B/14B/32B-Base 分別對(duì)標(biāo) Qwen2.5-3B/7B/14B/32B/72B-Base。

特別是在 STEM、編碼和推理領(lǐng)域，Qwen3 的稠密模型甚至可以超越更大規(guī)模的 Qwen2.5 模型。

至于 Qwen3 的 MoE 基礎(chǔ)模型，它們?cè)谥皇褂眉s 10% 激活參數(shù)量的情況下，實(shí)現(xiàn)了與 Qwen2.5 稠密基礎(chǔ)模型相當(dāng)?shù)男阅?，大幅降低了?xùn)練和推理成本。

在后訓(xùn)練方面，為了打造兼具逐步推理能力和快速響應(yīng)能力的混合模型，Qwen3 采用了四階段訓(xùn)練流程，包括：

1. 長(zhǎng)鏈?zhǔn)剿伎迹–oT）冷啟動(dòng)
2. 基于推理的強(qiáng)化學(xué)習(xí)（RL）
3. 思考模式與非思考模式融合
4. 通用領(lǐng)域強(qiáng)化學(xué)習(xí)

圖片

在第一階段，使用覆蓋數(shù)學(xué)、編碼、邏輯推理和 STEM 問(wèn)題等多領(lǐng)域、多任務(wù)的長(zhǎng)鏈?zhǔn)酵评頂?shù)據(jù)，對(duì)模型進(jìn)行微調(diào)，奠定了基礎(chǔ)推理能力。

第二階段，放大了推理階段的計(jì)算資源投入，結(jié)合基于規(guī)則的獎(jiǎng)勵(lì)信號(hào)，提升了模型的探索與利用能力。

第三階段，將非思考模式融入到已有思考模式中，使用長(zhǎng)鏈推理數(shù)據(jù)與常規(guī)指令微調(diào)數(shù)據(jù)的混合數(shù)據(jù)進(jìn)行微調(diào)，這部分?jǐn)?shù)據(jù)是由第二階段強(qiáng)化后的思考模型生成的，確保了推理與快答能力的自然融合。

最后，在第四階段，針對(duì) 20 多個(gè)通用領(lǐng)域任務(wù)進(jìn)一步進(jìn)行強(qiáng)化學(xué)習(xí)，包括指令遵循、格式遵循、智能體能力等，全面提升模型的通用能力并修正不良行為。

寫在最后：從“訓(xùn)練模型”的時(shí)代，加速過(guò)渡到“訓(xùn)練智能體”的新時(shí)代

在整個(gè)blog的最后，Qwen表示還將持續(xù)進(jìn)化，向著“擴(kuò)大數(shù)據(jù)規(guī)模、增加模型參數(shù)量、延長(zhǎng)上下文長(zhǎng)度、拓展多模態(tài)能力”的方向進(jìn)發(fā)，同時(shí)通過(guò)環(huán)境反饋推動(dòng)強(qiáng)化學(xué)習(xí)，支持更長(zhǎng)鏈條的推理能力。

從模型到智能體的跨越，正在加速到來(lái)。未來(lái)，基礎(chǔ)模型的每一次進(jìn)化，都不僅是參數(shù)的躍遷，更是智能邊界的擴(kuò)張。新的征程已經(jīng)啟航，讓我們一起見(jiàn)證！