小模型的戰(zhàn)場，打起來了！

繼GPT-4o mini、Mistral NeMo發(fā)布之后，蘋果也入局了。

DCLM小模型包含兩種參數(shù)規(guī)?！?0億和14億，發(fā)布即開源。最大70億參數(shù)超越了Mistral-7B ，性能接近Llama 3、Gemma。

根據(jù)蘋果ML小組研究科學家Vaishaal Shankar（也是DCLM研發(fā)人員）的說法，這是迄今為止性能最好的「真正開源」的模型，不僅有權(quán)重和訓練代碼，而且是基于開放數(shù)據(jù)集DCLM-Baseline。

相比模型性能，DCLM做出的「真正開源」的典范更加引人關(guān)注。

對比大部分科技巨頭只搞閉源模型，或「猶抱琵琶半遮面」，只開源代碼或權(quán)重的做法，大方的蘋果獲得了網(wǎng)友的好評。

此外，Shankar還預告說，之后會繼續(xù)上線模型中間檢查點和優(yōu)化器狀態(tài)。

難道，這就是LLM開源社區(qū)的春天了嗎？

DCLM系列全開源

目前，HuggingFace上已經(jīng)發(fā)布了全部模型權(quán)重，其中的模型卡已經(jīng)基本涵蓋了關(guān)鍵信息。

https://huggingface.co/apple/DCLM-7B

DCLM-7B同樣采用了decoder-only的架構(gòu)，使用PyTorch和OpenLM框架進行預訓練。

總共4T token的DCLM-baseline數(shù)據(jù)集來自于總量240T的DCLM，DCLM-7B模型又進一步過濾出其中的2.5T用于訓練。

上下文長度為2048，小于Mistral 7B和Gemma 2 9B的8k長度。

性能方面，作者直接使用評估套件LLM Foundry，測試了模型在53個基準任務上的分數(shù)。

與其他模型進行比較時，除了MMLU分數(shù)，作者還自定義了兩個指標——「核心準確率」（core）和「擴展準確率」（extended）。

前者是包括HellaSwag和ARC-E在內(nèi)的22個任務中心準確率的均值，后者則涵蓋全部53個任務。

與雖然使用的數(shù)據(jù)不是最多，但與其他同等大小的開放數(shù)據(jù)模型（權(quán)重與數(shù)據(jù)集都開源）相比，DCLM在全部3個指標上的性能都達到了最佳。

三列基準分數(shù)從左到右分別是：核心、MMLU、擴展

相比之前的SOTA MAP-Neo模型，DCLM-7B在5-shot的MMLU任務準確率達到63.7%，提升了6.6個百分點，同時訓練所需的計算量減少了40%。

然而，如果和權(quán)重開源、數(shù)據(jù)集閉源的模型相比，效果就不盡如人意了。

DCLM在各個指標上都與Phi-3存在不小差距，與Mistral-7B-v0.3或Gemma 8B的分數(shù)大致相當。

研究人員發(fā)現(xiàn)，如果使用同一數(shù)據(jù)集中額外的100B數(shù)據(jù)進行訓練，并將上下文長度擴展到8k時，模型在核心和擴展基準上的分數(shù)還會進一步提升，但MMLU結(jié)果沒有變化。

這個結(jié)果，就全面超過了Mistral 7B-v0.3的分數(shù)。

此外，HuggingFace上還發(fā)布了7B模型的指令微調(diào)版本，在數(shù)學推理任務GSM8K上的性能實現(xiàn)大規(guī)模提升，分數(shù)由原來的2.1直接飆到52.5。

https://huggingface.co/apple/DCLM-7B-8k

除了7B版本，1.4B版本也同步上線。神奇的是，訓練數(shù)據(jù)量相比7B版本不降反增，多了0.1T。

https://huggingface.co/TRI-ML/DCLM-1B

相比HuggingFace最近發(fā)布的SmolLM，DCLM-1B的性能顯著更優(yōu)，尤其是5-shot MMLU分數(shù)，比SmolLM提升了11.9%。

不僅如此，DCLM-1B在MMLU上41.9的得分也同樣高于Qwen-1.5B的37.87和Phi-1.5B的35.90。

7B模型落后的事情，反而讓1.4B模型反超了，果然小模型才是蘋果的看家本領(lǐng)。

值得注意的是，7B模型僅能在Appl240萬億巨量數(shù)據(jù)被洗出，足夠訓出18個GPT-4！全球23所機構(gòu)聯(lián)手，清洗秘籍公開e的示例代碼許可（ASCL）下使用，但1.4B版本在Apache 2.0下發(fā)布，允許商業(yè)使用、分發(fā)和修改。

既然說到這次發(fā)布的DCLM系列模型，就不得不提它們的重要基礎(chǔ)——DataComp基準。

論文地址：https://arxiv.org/pdf/2406.11794

DataComp這篇論文首發(fā)于6月17日，共同一作Jeffrey Li、Alex Fang和共同最后作者Vaishaal Shankar，也同樣都是蘋果DCLM的研發(fā)人員。

文章不僅對數(shù)據(jù)集的構(gòu)建過程進行了詳細闡述，也提到了關(guān)于DCLM模型的部分內(nèi)容。

Vaishaal Shankar表示，將很快發(fā)布這篇論文的更新版，提供更多有關(guān)模型預訓練的技術(shù)細節(jié)。

相比于對同一數(shù)據(jù)集修改模型，DataComp的思路反其道而行之——測評所用的模型是固定的，任務是在總共240T的數(shù)據(jù)池中過濾、處理出最好的數(shù)據(jù)。

可以說，這種做法與科技巨頭們的研發(fā)思路非常一致——對于LLM的性能而言，預訓練數(shù)據(jù)正在成為比模型架構(gòu)和權(quán)重更重要的因素。

畢竟，Llama、Gemma、Phi等一系列「開源」模型都是只放權(quán)重、不公布數(shù)據(jù)。

既要Scaling Law，又要SLM

對于AI科技巨頭來說，有時模型不是越大越好。

其實一直以來，AI社區(qū)中，并不缺少小模型，比如微軟Phi系列模型多次迭代，以及6月末谷歌剛剛更新的Gemma 2 7B。

這周，OpenAI突然發(fā)布GPT-4o mini，Mistral AI聯(lián)手英偉達發(fā)布Mistral NeMo，HuggingFace的SmoLLM等小模型的發(fā)布，為小模型的領(lǐng)域再次添了一把火。

正如OpenAI研究員所言，「雖然我們比任何人都更喜歡訓練大模型，但OpenAI也知道如何訓練小模型」。

小模型，優(yōu)勢在于成本低、速度快、更專業(yè)，通常只使用少量數(shù)據(jù)訓練，為特定任務而設(shè)計。

大模型變小，再擴大規(guī)模，可能是未來發(fā)展的趨勢之一。

前兩天，在GPT-4o mini發(fā)布時，Andrej Karpathy也發(fā)表長推表達了類似的觀點。

他認為，模型尺寸的競爭將會「反向加劇」，不是越來越大，反而是比誰更小更輕巧。

當前的LLM之所以逐漸變成「巨獸」，是因為訓練過程仍然非常浪費，我們基本上是在要求模型記住整個互聯(lián)網(wǎng)的內(nèi)容（而且實際上，LLM的記憶能力還相當不錯，質(zhì)量上比人類好很多）。

但對于小模型來說，訓練目標已經(jīng)改變。關(guān)鍵問題是，AI系統(tǒng)如何從更少的數(shù)據(jù)中學到更多。

我們需要模型先變得更大，再變得更小，因為我們需要「巨獸」將數(shù)據(jù)重構(gòu)、塑造為理想的合成形式，逐漸得到「完美的訓練集」，再喂給小模型。

馬斯克也表示同意這個觀點。Karpathy所描述的這個模型改進階梯，正是現(xiàn)實中特斯拉曾走過的路。

23年4月，Sam Altman曾宣布了AI大模型時代終結(jié)。最近采訪中，他還確認了數(shù)據(jù)質(zhì)量是進一步AI訓練的關(guān)鍵成功因素。

微軟研究人員在開發(fā)Phi模型時，就提出了這樣的假設(shè)。Hugging Face的AI研究人員最近也證實了這一假設(shè)，并發(fā)布了一個高質(zhì)量的訓練數(shù)據(jù)集。

就以GPT-4為例，開發(fā)和使用超一萬億參數(shù)的成本超過了1億美元。

而小模型，比如專在法律數(shù)據(jù)集上完成訓練，可能使用不到100億參數(shù)，成本不到1000萬美元，使用更少算力響應每個查詢，因此成本較低。

納德拉曾表示，Phi?型模型系列規(guī)模僅為OpenAI背后免費模型1/100，而且在許多任務上的表現(xiàn)幾乎同樣出色。

除此以外，谷歌以及AI初創(chuàng)公司Mistral、Anthropic、Cohere今年也發(fā)布了規(guī)模較小的模型。

6月，蘋果曾公布了自己的AI發(fā)展路線圖，計劃使用小型模型，這樣就可以完全在手機上運行軟件，使其更快速和更安全。

對于許多任務來說，比如總蘋果為什么要用「小模型」？結(jié)文檔或生成圖像，大模型可能有點大材小用。

Transformer開山之作背后作者Illia Polosukhin表示，計算2+2不應該需要進?千萬億次運算。

不過，科技巨頭們也并沒有放棄大模型。蘋果在今年WWDC大會上，曾宣布了在Siri助手中植入ChatGPT，以執(zhí)行撰寫電子郵件等復雜任務。

畢竟通往終極AGI/ASI，參數(shù)規(guī)模的擴大和智能的增長成正比。