Ai2開源OLMo 2：數(shù)據(jù)集、訓(xùn)練方法、權(quán)重大放送
AI研究機(jī)構(gòu)Ai2開源了最新大模型OLMo 2，這是一款在各方面都真正開放的人工智能模型。
OLMo，即Open Language Model，與Llama和Gemma等流行的開放權(quán)重模型不同，它不僅提供模型權(quán)重，還包括了工具、數(shù)據(jù)集、訓(xùn)練配方等所有用于開發(fā)模型的內(nèi)容。
OLMo 2包括了7B和13B兩個(gè)參數(shù)版本，能力都相當(dāng)優(yōu)秀。7B版本在英語學(xué)術(shù)基準(zhǔn)測(cè)試中超越了Meta的Llama 3.1 8B，而13B版本即使在訓(xùn)練時(shí)使用的計(jì)算能力較少的情況下，也超過了Qwen 2.5 7B。
開源地址：https://huggingface.co/allenai/OLMo-2-1124-7B
OLMo 2的發(fā)布是基于今年早些時(shí)候發(fā)布的首個(gè)OLMo模型，Ai2團(tuán)隊(duì)采用了創(chuàng)新的兩階段訓(xùn)練方法。他們首先在包含3.9萬億token的大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后使用來自學(xué)術(shù)內(nèi)容、數(shù)學(xué)練習(xí)冊(cè)和指令集的高質(zhì)量數(shù)據(jù)進(jìn)行優(yōu)化。
團(tuán)隊(duì)特別關(guān)注訓(xùn)練的穩(wěn)定性，并對(duì)此進(jìn)行了關(guān)鍵的改進(jìn)，以防止在長(zhǎng)時(shí)間的訓(xùn)練過程中出現(xiàn)性能下降的情況。
此次發(fā)布還建立在Ai2近期與開源訓(xùn)練系統(tǒng)Tülu 3合作的基礎(chǔ)之上。Tülu 3是一個(gè)復(fù)雜的后訓(xùn)練過程，它使得OLMo 2具備了與世界上一些最佳模型相當(dāng)?shù)闹噶罡S任務(wù)能力。
完整的發(fā)布內(nèi)容還包括了評(píng)估框架和中間檢查點(diǎn)，這些工具可以幫助開發(fā)人員深入理解并進(jìn)一步提升OLMo 2的能力。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
