編輯 | 云昭

進(jìn)入2025以來(lái)，中國(guó)大模型的開(kāi)源力量一騎絕塵，甚至蓋過(guò)了Llama的勢(shì)頭。今天，中國(guó)開(kāi)源大模型，迎來(lái)新成員！

4月30日，趕在五一前，一條“為Reasoning而生”的Xiaomi Mimo開(kāi)源模型的發(fā)布消息不脛而走，發(fā)布渠道是小米6天前新注冊(cè)的公眾號(hào)Xiaomi Mimo。

圖片

據(jù)悉，Xiaomi Mimo模型是小米公司剛成立不久的LLM-Core團(tuán)隊(duì)（據(jù)傳去年12月底開(kāi)始成立）的成果首秀。

圖片

模型參數(shù)只有7B，卻在代碼、數(shù)學(xué)能力戰(zhàn)勝了OpenAI的o1-mini和阿里的Qwen-32B，并展現(xiàn)出了超越經(jīng)典開(kāi)源32B模型的強(qiáng)化學(xué)習(xí)的潛力。

圖片

短短幾個(gè)月的時(shí)間，就能做出這樣的成績(jī)，屬實(shí)不易。

1.那么，究竟怎樣做到的呢？

據(jù)悉，MiMo推理能力的提升，得益于團(tuán)隊(duì)在預(yù)訓(xùn)練和后訓(xùn)練的數(shù)據(jù)和算法方面的多層組合創(chuàng)新努力。

具體來(lái)講，預(yù)訓(xùn)練方面：就是讓模型領(lǐng)略更多的推理模型，后訓(xùn)練方面重點(diǎn)就是打磨高效穩(wěn)定的強(qiáng)化學(xué)習(xí)算法和框架。

具體關(guān)鍵做法如下：

(1)預(yù)訓(xùn)練

• 數(shù)據(jù)上，著重挖掘富推理語(yǔ)料，并合成約200B tokens推理數(shù)據(jù)。訓(xùn)練上，進(jìn)行了三階段訓(xùn)練，逐步提升訓(xùn)練難度，總訓(xùn)練25T tokens。

圖片

(2)后訓(xùn)練

主打高效穩(wěn)定的RL訓(xùn)練。比如在算法方面提出了 Test Difficulty Driven Reward 來(lái)緩解困難算法問(wèn)題中的獎(jiǎng)勵(lì)稀疏問(wèn)題，并引入 Easy Data Re-Sampling 策略，以穩(wěn)定 RL 訓(xùn)練；在框架方面設(shè)計(jì)了Seamless Rollout系統(tǒng)，使得RL訓(xùn)練加速2.29倍，驗(yàn)證加速1.96倍。

圖片

技術(shù)細(xì)節(jié)還有很多，比如使用改進(jìn)的組相對(duì)策略優(yōu)化（GRPO）算法進(jìn)行訓(xùn)練，包括移除KL損失、動(dòng)態(tài)采樣和增加上界裁剪等策略；提出測(cè)試難度驅(qū)動(dòng)的獎(jiǎng)勵(lì)機(jī)制，將測(cè)試用例按難度分組，并根據(jù)難度分配獎(jiǎng)勵(lì)；采用易數(shù)據(jù)過(guò)濾和重采樣策略，提高采樣效率并穩(wěn)定策略更新等等，這里不再一一展開(kāi)。

技術(shù)報(bào)告也已經(jīng)同步在Github上，鏈接：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf感興趣的朋友強(qiáng)烈建議一讀。   

2.全系列模型開(kāi)源

MiMo-7B 已開(kāi)源4個(gè)模型至HuggingFace：https://huggingface.co/XiaomiMiMo

圖片

3.小米的大模型野心

小米作為移動(dòng)互聯(lián)網(wǎng)時(shí)代的佼佼者，同其他科技巨頭一樣，很早就在AI方面做了布局。

例如早在2016年，小米便組建起了第一支視覺(jué)AI團(tuán)隊(duì)。隨即2017年，小米AI實(shí)驗(yàn)室成立，為小米在AI技術(shù)的探索和創(chuàng)新提供了重要平臺(tái)。

但真正讓小米管理班子下決心做大模型的時(shí)間點(diǎn)是2023年。2023年，小米成立大模型團(tuán)隊(duì)，將“輕量化、本地部署”定為小米大模型技術(shù)的主要突破方向。

同年8月，雷軍在演講《成長(zhǎng)》中宣布：小米進(jìn)行科技戰(zhàn)略升級(jí)，把AI放到了核心位置，同時(shí)提出了“深耕底層技術(shù)、長(zhǎng)期持續(xù)投入、軟硬深度融合，AI全面賦能”的原則，計(jì)劃未來(lái)五年在12個(gè)技術(shù)領(lǐng)域、99個(gè)細(xì)分賽道投入1000億用于技術(shù)研發(fā)。

據(jù)悉，小米的AI團(tuán)隊(duì)規(guī)模已超過(guò)3000人，覆蓋了視覺(jué)、聲學(xué)、語(yǔ)音、NLP、知識(shí)圖譜、機(jī)器學(xué)習(xí)、大模型、多模態(tài)等多個(gè)前沿方向，推動(dòng)著AI技術(shù)全面賦能手機(jī)、AIoT、汽車、機(jī)器人等多個(gè)業(yè)務(wù)板塊。

但進(jìn)入大模型時(shí)代以后，模型底座的重要性越來(lái)越得到凸顯，一方面DeepSeek R1用實(shí)力證明了千億參數(shù)以下的模型也可以用較低成本的方式獲得不亞于o1的推理效果，技術(shù)路徑得到驗(yàn)證；另一方面，上層AI應(yīng)用的同質(zhì)化的確在用戶忠誠(chéng)度方面拉不開(kāi)距離。

這也是為什么小米堅(jiān)決在大模型底層做投入的原因。只有具備自己的大模型，才能讓昔日的互聯(lián)網(wǎng)王者有底氣留在未來(lái)的大模型牌桌上。

Mimo團(tuán)隊(duì)是一個(gè)年輕的團(tuán)隊(duì)，而且今天發(fā)布的模型也不是市面上性能最為先進(jìn)的，畢竟只有7B的大小，能PK掉Qwen-32B和o1-mini，可以說(shuō)試一次不錯(cuò)的技術(shù)路徑的驗(yàn)證。

這是一個(gè)很好的階段性成果，不難預(yù)料，Mimo2對(duì)標(biāo)的將會(huì)是o3、o4-mini。

這似乎是小米Mimo團(tuán)隊(duì)的不太遙遠(yuǎn)的“野望”！

正如小米新注冊(cè)的這個(gè)公眾號(hào)的slogan：Ask Mi Anything！

參考鏈接：https://mp.weixin.qq.com/s/Sx48m4tTTc6bJzMLU5scbQ