2萬億訓(xùn)練數(shù)據(jù)，120億參數(shù)！開源大模型Stable LM 2-12B
4月9日，著名大模型開源平臺Stability.ai在官網(wǎng)開源了，全新類ChatGPT模型Stable LM 2 12B。
據(jù)悉，Stable LM 2 12B有120億參數(shù)，使用了英語、西班牙語、德語等7種語言2萬億tokens的訓(xùn)練數(shù)據(jù)。一共有基礎(chǔ)模型和指令微調(diào)兩個(gè)版本，能生成文本、代碼等內(nèi)容，還能作為RAG的核心來使用。
同時(shí)，Stability.ai還對之前發(fā)布的模型Stable LM 2 1.6B進(jìn)行了更新，尤其是在硬件需求方面進(jìn)行了大幅度優(yōu)化。所以，這兩款模型非常適合小企業(yè)、個(gè)人開發(fā)者使用。其性能也超過了Qwen1.5-14B-Chat、Mistral-7B-Instruct-v0.2等知名開源同類小參數(shù)模型。
12B開源地址：??https://huggingface.co/stabilityai/stablelm-2-12b??
1.6B新版本：??https://huggingface.co/stabilityai/stablelm-2-1_6b-chat??
技術(shù)報(bào)告：??https://arxiv.org/abs/2402.17834??
在線demo：https://huggingface.co/spaces/stabilityai/stablelm-2-chat
StableLM 2架構(gòu)介紹
?
Stable LM 2 12B/1.6B皆使用的是Transformer架構(gòu)，一共24層、32個(gè)自注意力頭，并使用大量公開且多樣化大約2萬億tokens的數(shù)據(jù)集進(jìn)行了預(yù)訓(xùn)練。
這些數(shù)據(jù)包括Arxiv、PubMed、S2ORC、PhilPapers等學(xué)術(shù)論文數(shù)據(jù)集，以及BookCorpusOpen、PG-19、FanFics等圖書和小說數(shù)據(jù)集。
Stability.ai還使用了來自Web的數(shù)據(jù)集，如Cultura-X、OpenWebText2、RefinedWeb等，以及來自社交媒體和法律領(lǐng)域的數(shù)據(jù)集。
此外，每個(gè)數(shù)據(jù)集都有相應(yīng)的權(quán)重，為每個(gè)數(shù)據(jù)集提供了詳細(xì)的統(tǒng)計(jì)信息，包括標(biāo)記數(shù)量、訓(xùn)練時(shí)長等。還使用了一種創(chuàng)新的分詞技術(shù)，對原始分詞器進(jìn)行了擴(kuò)展，以便更好地壓縮代碼和非英文語言數(shù)據(jù)。
訓(xùn)練策略方面，Stability.ai使用了一種稱為“FlashAttention-2”的高效序列并行優(yōu)化技術(shù)，以4096的上下文長度從頭開始訓(xùn)練StableLM 2。同時(shí)訓(xùn)練過程中采用BFloat16混合精度，并使用標(biāo)準(zhǔn)的AdamW優(yōu)化器進(jìn)行訓(xùn)練。
模型微調(diào)階段，Stability.ai使用了監(jiān)督微調(diào)（SFT）、直接偏好優(yōu)化（DPO）和自我知識學(xué)習(xí)三種方法，對生成的文本進(jìn)行排序，然后使用排序結(jié)果來調(diào)整模型的參數(shù)，使其生成更符合人類偏好的文本。
StableLM 2測試數(shù)據(jù)
?
Stability.ai將兩款StableLM 2 模型在ARC、HellaSwag、MMLU、TriviaQA、Winograd、GSM8K等知名測試平臺上進(jìn)行了綜合測試。
零樣本和少樣本基準(zhǔn)測試方面，StableLM 2 1.6B在綜合平均分?jǐn)?shù)上獲得45.3分,在1.6B以下模型中名列前茅,但仍低于一些更大的模型如phi-2和stablelm-3b-4e1t。
而Stable LM 2 12B的性能超過了Qwen1.5-14B-Chat、Mistral-7B-Instruct-v0.2等模型，略低于mistralai/Mixtral-8x7B-Instruct-v0.1。
多語言基準(zhǔn)測試：StableLM 2 1.6B在不同語種任務(wù)上的表現(xiàn)都很出色，在所有語種的綜合分?jǐn)?shù)為40.5分,在英語任務(wù)上得分48.7分、德語39.1分、西班牙語39.0分等。
多輪對話基準(zhǔn)測試：StableLM 2 1.6B與其他模型在MT-Bench多輪對話任務(wù)上進(jìn)行了深度對比。StableLM 2 1.6B的綜合得分與規(guī)模明顯更大的模型如Mistral-7B和MPT-30B不相上下,在某些指標(biāo)上甚至獲得了更高的分?jǐn)?shù)。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
