01、概述

在人工智能的世界里，語言模型的發(fā)展無疑是最令人矚目的領(lǐng)域之一。這些模型不僅在機(jī)器翻譯、內(nèi)容生成和對話式AI應(yīng)用中扮演著關(guān)鍵角色，而且它們的發(fā)展速度和影響力正以前所未有的速度增長。今天，我們就來聊聊這個領(lǐng)域最新的突破——OLMo 2，一個由艾倫人工智能研究所（Allen Institute for AI）推出的開源語言模型家族，它們正在重新定義開源AI的邊界。

02、語言模型的挑戰(zhàn)與開源的重要性

語言模型的發(fā)展一直面臨著一個難題：專有模型的主導(dǎo)地位。這些模型通常因?yàn)閾碛胸S富的資源和優(yōu)化的訓(xùn)練流程而表現(xiàn)優(yōu)于開源系統(tǒng)。它們利用龐大的數(shù)據(jù)集、計算能力和先進(jìn)的專有方法，形成了一個性能差距，這個差距限制了AI技術(shù)的普及和創(chuàng)新，因?yàn)橹挥匈Y金雄厚的組織才能負(fù)擔(dān)得起開發(fā)這類尖端技術(shù)。

然而，開源社區(qū)的努力不容忽視。盡管目前的開源方法在可擴(kuò)展性、訓(xùn)練穩(wěn)定性和模型性能方面仍需改進(jìn)，但最近的進(jìn)展表明，我們正在迎來一個全新的、性能上能與專有模型競爭的開源模型時代。

03、OLMo 2

艾倫人工智能研究所的研究團(tuán)隊推出了OLMo 2，這是一個具有里程碑意義的開源語言模型家族。這些模型提供了7億（7B）和13億（13B）參數(shù)配置，訓(xùn)練時使用了高達(dá)5萬億個token，采用了最先進(jìn)的技術(shù)。通過改進(jìn)訓(xùn)練穩(wěn)定性、采用分階段訓(xùn)練流程和整合多樣化的數(shù)據(jù)集，研究人員縮小了與專有系統(tǒng)（如Llama 3.1）的性能差距。OLMo 2在層歸一化、旋轉(zhuǎn)位置嵌入和Z-loss正則化等方面進(jìn)行了改進(jìn)，增強(qiáng)了模型的魯棒性。

訓(xùn)練過程：分階段的創(chuàng)新

OLMo 2的訓(xùn)練采用了分兩個階段的課程方法。在第一階段，占預(yù)訓(xùn)練預(yù)算的90%，模型在包含3.9萬億個token的OLMo-Mix-1124數(shù)據(jù)集上進(jìn)行訓(xùn)練，這些token來自DCLM和Starcoder等高質(zhì)量的數(shù)據(jù)倉庫。第二階段則涉及對Dolmino-Mix-1124數(shù)據(jù)集進(jìn)行微調(diào)，這是一個精選的843億個token的數(shù)據(jù)集，包含了基于網(wǎng)絡(luò)和特定領(lǐng)域的內(nèi)容。模型融合（model souping）等技術(shù)，通過合并檢查點(diǎn)來優(yōu)化性能，在實(shí)現(xiàn)7B和13B模型的最終版本中發(fā)揮了關(guān)鍵作用。

04、性能評估：OLMo 2的新基準(zhǔn)

OLMo 2的性能在開源語言模型領(lǐng)域樹立了新的基準(zhǔn)。與其前身OLMo-0424相比，OLMo 2在所有評估任務(wù)中都顯示出顯著的提升。值得注意的是，OLMo 2 7B的性能超過了Llama-3.1 8B，而OLMo 2 13B則超越了Qwen 2.5 7B，盡管它們的訓(xùn)練FLOPs更少。使用Open Language Modeling Evaluation System（OLMES）進(jìn)行的評估，這是一個包含20個基準(zhǔn)的套件，證實(shí)了這些增益，并突出了在知識回憶、推理和通用語言能力方面的優(yōu)勢。

05、研究的關(guān)鍵收獲

研究的關(guān)鍵收獲包括以下幾點(diǎn)：

• 訓(xùn)練穩(wěn)定性的改進(jìn)：RMSNorm和學(xué)習(xí)率退火等技術(shù)減少了預(yù)訓(xùn)練期間的損失峰值，確保了模型性能的一致性。
• 創(chuàng)新的分階段訓(xùn)練：后期預(yù)訓(xùn)練干預(yù)，包括數(shù)據(jù)課程調(diào)整，允許針對性地增強(qiáng)模型能力。
• 可操作的評估框架：OLMES的引入為模型開發(fā)提供了結(jié)構(gòu)化的基準(zhǔn)，并有效地跟蹤進(jìn)展。
• 后訓(xùn)練方法：監(jiān)督微調(diào)、偏好調(diào)整和可驗(yàn)證獎勵的強(qiáng)化學(xué)習(xí)增強(qiáng)了模型遵循指令的能力。
• 數(shù)據(jù)集的多樣性和質(zhì)量：在Dolmino-Mix-1124等數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，確保了模型能夠跨多個領(lǐng)域泛化。

06、結(jié)語

總之，OLMo 2的成就標(biāo)志著語言模型領(lǐng)域的轉(zhuǎn)變。通過解決訓(xùn)練穩(wěn)定性和評估透明度等挑戰(zhàn)，研究人員為開源AI樹立了新的標(biāo)準(zhǔn)。這些模型不僅縮小了與專有系統(tǒng)的差距，還展示了協(xié)作創(chuàng)新在推進(jìn)人工智能方面的潛力。OLMo 2的倡議強(qiáng)調(diào)了開放獲取高性能AI模型的變革力量，為更公平的技術(shù)進(jìn)步鋪平了道路。

在這個快速發(fā)展的領(lǐng)域，OLMo 2的出現(xiàn)無疑是一個振奮人心的消息。它不僅為研究人員和開發(fā)者提供了強(qiáng)大的工具，也為那些渴望在AI領(lǐng)域取得突破的創(chuàng)新者提供了新的可能性。隨著開源AI的不斷進(jìn)步，我們有理由相信，未來將有更多的突破等待著我們?nèi)グl(fā)現(xiàn)和實(shí)現(xiàn)。

參考：

1. ??https://huggingface.co/collections/allenai/olmo-2-674117b93ab84e98afc72edc??
2. ??https://allenai.org/blog/olmo2??

本文轉(zhuǎn)載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/_MaNqwQRl7-FKZIDdIGXTQ??