微軟研究院發(fā)布了最強(qiáng)小參數(shù)模型——Phi-4。

Phi系列模型自今已經(jīng)發(fā)布了5代，Phi-4也延續(xù)了之前的小參數(shù)模式只有140億。

但在GPQA研究生水平、MATH數(shù)學(xué)基準(zhǔn)中，分別達(dá)到了56.1和80.4超過了GPT-4o，同時(shí)也超過了同類型的開源模型Qwen 2.5 -14B和Llama-3.3-70B。

而在美國數(shù)學(xué)競賽AMC的測試中，Phi-4達(dá)到了驚人的91.8分，再次超過了GeminiPro 1.5、GPT-4o、Claude 3.5 Sonnet、Qwen 2.5等知名開閉源模型，甚至整體性能可以與4050億參數(shù)的Llama-3.1相媲美。

這也就是說，只要使用了高質(zhì)量數(shù)據(jù)和創(chuàng)新訓(xùn)練方法，小參數(shù)模型同樣可以戰(zhàn)勝大參數(shù)，但在部署、應(yīng)用和推理方面極大減少了對AI算力和環(huán)境的要求。

使用高質(zhì)量合成數(shù)據(jù)

Phi-4能以如此小的參數(shù)獲得巨大性能，使用高質(zhì)量合成訓(xùn)練數(shù)據(jù)是關(guān)鍵環(huán)節(jié)之一。

傳統(tǒng)的大模型通常依賴于從網(wǎng)絡(luò)抓取或公開數(shù)據(jù)庫獲取的真實(shí)世界文本作為訓(xùn)練數(shù)據(jù)，這種方法雖然能夠提供豐富的信息來源，但也容易受到噪聲干擾和偏見影響。

Phi-4則使用了種子策劃、多Agent提示、自我修訂工作流、重寫和增強(qiáng)以及指令反轉(zhuǎn)等多種合成方法，有效解決了傳統(tǒng)無監(jiān)督數(shù)據(jù)集的缺點(diǎn)。

種子策劃是合成數(shù)據(jù)生成的起點(diǎn)。Phi-4從多個(gè)領(lǐng)域提取高質(zhì)量的數(shù)據(jù)種子，為合成數(shù)據(jù)生成打下堅(jiān)實(shí)基礎(chǔ)，使得能夠創(chuàng)建針對模型訓(xùn)練目標(biāo)的練習(xí)、討論和推理任務(wù)。

策劃的種子包括從網(wǎng)頁、書籍和代碼庫中提取的文段和代碼片段，這些內(nèi)容展示了高復(fù)雜性、深度推理和教育價(jià)值。為了確保質(zhì)量，采用了兩階段過濾過程：首先是識(shí)別具有強(qiáng)教育潛力的頁面，然后是將選定的頁面分割成段落，對每個(gè)段落進(jìn)行事實(shí)和推理內(nèi)容的評分。

此外，多Agent提示允許不同智能體之間進(jìn)行交互對話，從而創(chuàng)造出更加多樣化且貼近真實(shí)應(yīng)用場景的交流場景；而自我修訂工作流則鼓勵(lì)模型參與到自身的編輯過程中，以此提高輸出內(nèi)容的質(zhì)量和一致性。

通過改變?nèi)蝿?wù)描述的方式，指令反轉(zhuǎn)可以增加模型處理不同類型問題的能力，進(jìn)一步增強(qiáng)了其靈活性和適應(yīng)性。

總體上，一共生成了50 種不同類型的合成數(shù)據(jù)集，涵蓋廣泛的主題和技能，總計(jì)約 400B未加權(quán)的高質(zhì)量token數(shù)據(jù)。

創(chuàng)新訓(xùn)練方法

為了確保phi-4能在廣泛的任務(wù)類型上表現(xiàn)出色，研究人員使用了一系列針對性創(chuàng)新訓(xùn)練方法，并根據(jù)實(shí)際需求調(diào)整各類數(shù)據(jù)的比例。尤其是針對長上下文理解能力的需求，phi-4增加了rope位置編碼的基礎(chǔ)頻率至25萬次，并相應(yīng)地降低了最大學(xué)習(xí)率，以更好地適應(yīng)更長的文本序列。

這種做法有效提升了模型對于復(fù)雜結(jié)構(gòu)化信息的理解力，使其在面對需要綜合分析多個(gè)段落甚至整篇文章的問題時(shí)也能游刃有余。phi-4還特別注重了不同類型數(shù)據(jù)之間的平衡，避免某類數(shù)據(jù)過多導(dǎo)致其他方面性能下降的情況發(fā)生。

而在 phi-4 的后訓(xùn)練過程中，研究團(tuán)隊(duì)采用了兩種形式的 DPO 數(shù)據(jù)對模型進(jìn)行了強(qiáng)化訓(xùn)練。第一種是基于人工標(biāo)注的 SFT數(shù)據(jù)，即由專家精心挑選并標(biāo)記好的問答對；

第二種則是自動(dòng)構(gòu)建的 DPO 對，這種方法通過搜索重要的轉(zhuǎn)折點(diǎn)，將原始對話片段拆分成多個(gè)選項(xiàng)，并讓模型從中選擇最優(yōu)解。通過結(jié)合這兩種方式，phi-4 不僅學(xué)會(huì)了如何產(chǎn)生更符合預(yù)期的回答，還能夠在不同情境下靈活調(diào)整語氣和風(fēng)格，從而提供更加個(gè)性化的交互體驗(yàn)。

此外，phi-4還引入了一些創(chuàng)新性的后訓(xùn)練方法，以增強(qiáng)其在特定領(lǐng)域內(nèi)的表現(xiàn)。例如，在 STEM領(lǐng)域問題解答方面，phi-4 利用了一個(gè)名為Math-Shepherd 的工具來進(jìn)行驗(yàn)證和強(qiáng)化學(xué)習(xí)。Math-Shepherd 可以自動(dòng)檢查模型生成的答案是否正確，并且在必要時(shí)提供額外指導(dǎo)，幫助模型逐步掌握正確的解題思路。

這種方法有效地解決了傳統(tǒng)無監(jiān)督數(shù)據(jù)集中常見的邏輯不嚴(yán)密等問題，使得 phi-4 在數(shù)學(xué)競賽類題目上的準(zhǔn)確率達(dá)到了驚人的80.4%，遠(yuǎn)超其他同類產(chǎn)品。

此外，針對編程代碼評估任務(wù)，Phi-4 也采取了類似的方法，通過對大量開源項(xiàng)目中的代碼片段進(jìn)行分析和總結(jié)，提升了其在該領(lǐng)域的執(zhí)行效率和準(zhǔn)確性。

值得一提的是，微軟AI副總裁、phi系列模型的靈魂人物之一Sébastien Bubeck已經(jīng)離開了微軟加入了OpenAI。

本文轉(zhuǎn)自 AIGC開放社區(qū)  ，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/DRiqkMCfpa0nRcbrIM8a5w??