小模型界o1來了：微軟推出Phi-4，數(shù)學(xué)推理能力太逆天！14B模型擊敗GPT-4o！還印證了AI墻的一個重要推斷 原創(chuàng)
編輯 | 伊風(fēng)
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
家人們，微軟Phi-4的數(shù)學(xué)能力太逆天了。誰看了不感慨一句：小模型才是未來！
8個月前，微軟發(fā)布了Phi-3，性能超過龐然大物L(fēng)lama-3，狠狠驚艷了我們一把。
8個月后，Phi-4飛躍式突破，讓所有人知道誰才是小模型唯一的王！
圖片
自幾個月前o1發(fā)布后，模型“搞定”數(shù)理化的能力已經(jīng)飛升到博士級別，大模型也紛紛在推理能力上進(jìn)行追趕。
而Phi-4祭出了小模型的王炸，14B小小模型，在數(shù)學(xué)推理上竟然反超多模態(tài)大模型Gemini Pro 1.5 兩分之多！
圖片
在「AI撞墻」被熱烈討論的一天，微軟另辟蹊徑，似乎告訴AI公司：別再傻傻地Scaling了！
1.14B小模型，也能懂?dāng)?shù)學(xué)推理！
Phi-4確實可以進(jìn)行思維推理！
在微軟給的案例中，Phi-4在解題過程中展現(xiàn)了清晰的推理鏈條，成功解決了蝸牛難題！
圖片
問題：在一場由 5 只蝸牛參加的比賽中，最多可能出現(xiàn)一場平局，但平局可以涉及任意數(shù)量的蝸牛。例如，比賽結(jié)果可能是 Dazzler 獲得第一名，Abby、Cyrus 和 Elroy 并列第二，Bruna 獲得第五名。那么，比賽的可能結(jié)果總共有多少種？
Phi-4根據(jù)題干，先計算了沒有平局出現(xiàn)的情況，為120種。
然后在有一場平局的情況中，繼續(xù)按照“選擇 k 只蝸牛組成平局組”的思路分解問題，最終得出了正確回答。
這一能力表明，Phi-4在科學(xué)研究、工程和金融建模等領(lǐng)域未來可期！
也讓我們對端側(cè)模型的未來更加期待了！對于許多應(yīng)用來說，這種針對性的卓越性能比大型模型的廣泛但較低效的能力更有價值得多。
2.模型訪問：azure獨家首發(fā)，下周登陸抱抱臉
比較可惜的是，Phi-4目前的可用性有限。
獨家首發(fā)在了微軟自家的Azure AI Foundry上使用，更多的面向科研用途。地址：
??https://ai.azure.com/explore/models?&selectedCollectinotallow=phi??
不過，按照計劃下周會在Hugging Face平臺上線。
這也算是微軟在用Phi-4這張王牌，給Azure AI Foundry“引流”了。
Azure AI Foundry在去年推出，作為一個集中管理的中心，旨在幫助企業(yè)級用戶管理項目、微調(diào)AI模型，并訪問Azure AI服務(wù)。
在Phi-4技術(shù)報告中，還提到了該平臺獨特的內(nèi)容安全功能。主要包括：
- Prompt Shields（提示保護(hù)）：幫助應(yīng)對潛在的提示攻擊。
- 受保護(hù)內(nèi)容檢測：識別敏感或受限制的材料。
- Groundedness Detection（扎實性檢測）：確保生成內(nèi)容有據(jù)可依。
3.AI墻絕不是危言聳聽：已逼近預(yù)訓(xùn)練數(shù)據(jù)墻！
在Phi-4的報告中，Phi系列在性能上的“極致一躍”，被歸功于合成數(shù)據(jù)和后期訓(xùn)練的提高和改進(jìn)。
“在數(shù)學(xué)推理方面，Phi-4 的表現(xiàn)優(yōu)于同類和更大型的模型，這得益于整個流程的進(jìn)步，包括高質(zhì)量合成數(shù)據(jù)集的使用、高質(zhì)量有機數(shù)據(jù)的整理以及后期訓(xùn)練的創(chuàng)新?！?/p>
圖片
Phi展現(xiàn)了模型界的一種趨勢，也反映著預(yù)訓(xùn)練的尷尬之處：大規(guī)模的預(yù)訓(xùn)練，通常需要海量的數(shù)據(jù)和計算資源。隨著硬件能力的提升和模型規(guī)模的擴大，雖然模型性能逐漸增強，但增益的邊際效應(yīng)越來越小，即每次訓(xùn)練的優(yōu)化效果趨于減弱。
Scale AI 首席執(zhí)行官Alexandr Wang周四在一條推文中說："我們已經(jīng)達(dá)到了預(yù)訓(xùn)練數(shù)據(jù)墻。"
圖片
國內(nèi)則更早展現(xiàn)了這個趨勢的“風(fēng)聲”。此前報道，國內(nèi)大模型“六小虎”中至少有兩家公司已經(jīng)放棄了預(yù)訓(xùn)練，開始專注于AI應(yīng)用層。
AI公司越來越認(rèn)識到，預(yù)訓(xùn)練的燒錢帶來的價值在走低，尤其是在硬件資源有限的情況下，開發(fā)大規(guī)模預(yù)訓(xùn)練模型可能難以為繼。不如守好自己的用戶，通過靈活的后期訓(xùn)練和反饋迭代，扎實地做好AI產(chǎn)品的落地。
另外，還有一個小插曲，Phi-4是微軟Phi系列核心人物布貝克（Sébastien Bubeck），被OpenAI挖走后的首次更新！
圖片
在 2024 年加入 OpenAI 之前，Bubeck 在微軟研究院工作了近十年，離職前為微軟的人工智能副總裁。
本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)
