LG開源韓語大模型Exaone 3.0，8萬億token訓(xùn)練數(shù)據(jù)
LG的AI研究機(jī)構(gòu)開源了首個(gè)開放權(quán)重的大模型——EXAONE 3.0。
EXAONE 3.0是一個(gè)指令微調(diào)模型有78億參數(shù)，經(jīng)過了8萬億token高質(zhì)量數(shù)據(jù)進(jìn)行了綜合訓(xùn)練。支持韓語和英文兩種語言，尤其是對(duì)韓語的支持非常出色。
在KMMLU、KoBEST - BoolQ、KoBEST – COPA等基準(zhǔn)測(cè)試中，高于Llama 3.1-8B、Gemma 2-9B等知名開源模型。
開源地址：https://huggingface.co/LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct
論文地址：https://arxiv.org/abs/2408.03541
EXAONE 3.0使用了目前主流的解碼器僅變換器架構(gòu)，與傳統(tǒng)變換器相比，摒棄了編碼器部分，專注于通過解碼器生成輸出序列，減少了模型的復(fù)雜性，同時(shí)提高了處理長(zhǎng)距離依賴關(guān)系的能力。
在上下文長(zhǎng)度方面，EXAONE 3.0支持4,096 token，使得模型能夠同時(shí)處理和記憶高達(dá)4,096個(gè)連續(xù)token的信息，極大地增強(qiáng)了其在理解語言連貫性方面的能力，在生成文本、翻譯、摘要等提供了更好的生成、解讀能力。
EXAONE 3.0還使用了RoPE和GQA來提升對(duì)長(zhǎng)序列數(shù)據(jù)的處理能力。RoPE能夠有效地編碼位置信息，幫助模型理解文本中單詞的順序關(guān)系，對(duì)于處理長(zhǎng)文本序列非常重要。而GQA則有助于提高模型對(duì)不同查詢的關(guān)注能力，使其能夠更準(zhǔn)確地聚焦于關(guān)鍵信息，從而提升模型的性能。
為了更好地處理韓語數(shù)據(jù)，研究人員使用MeCab對(duì)韓語語料進(jìn)行預(yù)標(biāo)記，然后從零開始訓(xùn)練BBPE標(biāo)記器，詞匯量為102400。與其他標(biāo)記器相比，這種設(shè)計(jì)在英語上實(shí)現(xiàn)了相似的壓縮比，但在韓語上的壓縮比更低。
壓縮比越低意味著標(biāo)記器為每個(gè)單詞生成的標(biāo)記更少，這有助于避免過度標(biāo)記化的問題。對(duì)于韓語這種具有粘著結(jié)構(gòu)的語言來說，單詞可以通過組合多個(gè)詞素形成，減少標(biāo)記數(shù)量可以更好地保留語言的結(jié)構(gòu)和語義信息。
EXAONE 3.0的預(yù)訓(xùn)練一共包含兩個(gè)階段：第一階段使用了6萬億token的數(shù)據(jù)，以優(yōu)化在一般領(lǐng)域的能力表現(xiàn)；第二階段，進(jìn)一步接受了額外2萬億token的訓(xùn)練，重點(diǎn)放在提高語言技巧和專業(yè)知識(shí)上。
為了達(dá)到這一目標(biāo)，研究團(tuán)隊(duì)重新平衡了數(shù)據(jù)分布，增加專家領(lǐng)域數(shù)據(jù)的比例，并通過創(chuàng)建分類器來評(píng)估數(shù)據(jù)質(zhì)量，確保高價(jià)值數(shù)據(jù)的有效利用。
在優(yōu)化階段，為了增強(qiáng)EXAONE 3.0 模型的指令跟隨能力，LG的研究人員使用了SFT（監(jiān)督微調(diào)）和DPO（直接偏好優(yōu)化）。
SFT階段涉及創(chuàng)建高質(zhì)量的指令調(diào)優(yōu)數(shù)據(jù)，通過定義廣泛的服務(wù)導(dǎo)向指令和話題，制作出能夠模擬真實(shí)用戶交互的多輪對(duì)話數(shù)據(jù)集。
在DPO優(yōu)化階段，模型通過人類反饋進(jìn)行調(diào)整，以最大化在偏好數(shù)據(jù)集中選定和拒絕響應(yīng)之間的獎(jiǎng)勵(lì)差異，這一過程包括離線DPO和在線DPO兩個(gè)步驟，前者利用預(yù)構(gòu)建的偏好數(shù)據(jù)進(jìn)行模型訓(xùn)練，后者則通過動(dòng)態(tài)配置與離線學(xué)習(xí)數(shù)據(jù)分布相似的提示，持續(xù)優(yōu)化模型性能。
為了評(píng)估EXAONE 3.0的性能，研究人員在MT-Bench、Arena-Hard-v0.1、WildBench和AlpacaEval 2.0 LC等基準(zhǔn)平臺(tái)進(jìn)行了綜合測(cè)試。
結(jié)果顯示，EXAONE 3.0在韓語和英語雙測(cè)試中，其數(shù)學(xué)、編碼、推理等能力，超過了Llama 3.1 8B、Gemma 2 9B、Phi 3 7B等知名模型。如果你想開發(fā)專門用于韓語的類ChatGPT生成式AI應(yīng)用，使用Exaone 3.0是一個(gè)不錯(cuò)的選擇。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者： AIGC開放社區(qū)
