就在剛剛，阿里Qwen 團(tuán)隊(duì) 正式發(fā)布了他們最新的研究成果 —— QwQ-32B 大語言模型！ 這款模型不僅名字萌萌噠 (QwQ)，實(shí)力更是不容小覷！??

相信關(guān)注大模型領(lǐng)域的朋友們都知道，模型參數(shù)量的大小往往與性能成正比。但這次，Qwen 團(tuán)隊(duì)卻用 320億參數(shù) 的 QwQ-32B，硬剛擁有 6710億參數(shù) 的 DeepSeek-R1，并且在多項(xiàng)評測中取得了媲美甚至超越后者的驚人成績！背后究竟是什么黑科技？ 答案就是 —— 強(qiáng)化學(xué)習(xí) (Reinforcement Learning, RL)！

劃重點(diǎn)：強(qiáng)化學(xué)習(xí)，大模型的新引擎！??

Qwen 團(tuán)隊(duì)在博文中提到，他們深入探索了強(qiáng)化學(xué)習(xí) (RL)在提升大語言模型智能方面的巨大潛力。QwQ-32B 的成功發(fā)布，有力地證明了 RL 是提升模型性能的強(qiáng)大引擎！

多項(xiàng)基準(zhǔn)評測硬剛 DeepSeek-R1

QwQ-32B 的實(shí)力究竟有多強(qiáng)？ 官方給出基準(zhǔn)評測結(jié)果，涵蓋了數(shù)學(xué)推理、代碼能力和通用問題解決等多個(gè)方面

從數(shù)據(jù)中我們可以清晰地看到，在 AIME24 和 IFEval 等關(guān)鍵基準(zhǔn)測試中，QwQ-32B 的表現(xiàn)相當(dāng)或者略微超過了參數(shù)量巨大的 DeepSeek-R1！ 而在其他基準(zhǔn)測試中，也基本與 DeepSeek-R1 持平，遠(yuǎn)超其他對比模型。

這意味著 QwQ-32B 在 僅有 DeepSeek-R1 約 1/20 參數(shù)量 的情況下， 用強(qiáng)化學(xué)習(xí)，實(shí)現(xiàn)了性能上的驚人跨越！

技術(shù)揭秘：冷啟動(dòng) + 結(jié)果導(dǎo)向的強(qiáng)化學(xué)習(xí)策略

Qwen 團(tuán)隊(duì)在博文中也簡單介紹了 QwQ-32B 背后的強(qiáng)化學(xué)習(xí)方法。他們采用了 冷啟動(dòng) (cold-start checkpoint) 的方式，并實(shí)施了 結(jié)果導(dǎo)向 (outcome-based rewards) 的強(qiáng)化學(xué)習(xí)策略。

? 冷啟動(dòng)： 從一個(gè)預(yù)訓(xùn)練模型的檢查點(diǎn)開始訓(xùn)練。

? 結(jié)果導(dǎo)向： 在初始階段，主要針對數(shù)學(xué)和代碼任務(wù)進(jìn)行 RL 訓(xùn)練。

a.數(shù)學(xué)問題： 使用 準(zhǔn)確率驗(yàn)證器 (accuracy verifier) 來確保答案的正確性。

b.代碼生成： 使用 代碼執(zhí)行服務(wù)器 (code execution server) 來評估生成的代碼是否能夠成功運(yùn)行。

? 通用獎(jiǎng)勵(lì)模型和規(guī)則驗(yàn)證器： 后續(xù)階段，會(huì)逐步引入更通用的獎(jiǎng)勵(lì)模型和規(guī)則驗(yàn)證器，提升模型在其他通用能力方面的表現(xiàn)。

這種策略的核心在于 不依賴傳統(tǒng)的獎(jiǎng)勵(lì)模型，而是直接根據(jù)任務(wù)結(jié)果（答案是否正確，代碼是否運(yùn)行成功）來指導(dǎo)模型的學(xué)習(xí)，更加高效和直接。

開源開放

QwQ-32B 模型是 開源開放 (open-weight) 的！ 你可以在 Hugging Face 和 ModelScope 上找到它，并基于 Apache 2.0 協(xié)議 自由使用和研究！ 同時(shí)，你也可以通過 Qwen Chat 平臺(tái)直接體驗(yàn) QwQ-32B 的對話能力

HF:https://huggingface.co/Qwen/QwQ-32B

ModelScope:https://modelscope.cn/models/Qwen/QwQ-32B

Demo:https://huggingface.co/spaces/Qwen/QwQ-32B-Demo

Qwen Chat:https://chat.qwen.ai

寫在最后

Qwen 團(tuán)隊(duì)表示，QwQ-32B 的發(fā)布只是他們在強(qiáng)化學(xué)習(xí)方向上的初步嘗試。未來，他們將繼續(xù)深入探索 RL 的潛力，并將其與更強(qiáng)大的基礎(chǔ)模型相結(jié)合，利用更大的計(jì)算資源，致力于打造 下一代 Qwen 模型，并最終邁向 通用人工智能 (AGI) 目標(biāo)！

同時(shí)，他們還將積極探索 Agent 與 RL 的結(jié)合，實(shí)現(xiàn)更長程的推理能力，解鎖更高級(jí)別的智能