DeepSeek爆火甚至引發(fā)API低價(jià)內(nèi)卷……

但是別忘了開源模型的最大好處是提供了“巨人的肩膀”??！

微調(diào)DeepSeek-V3/R1，低成本打造高質(zhì)量私有模型、提高業(yè)務(wù)競(jìng)爭(zhēng)力，或許才是當(dāng)下行業(yè)內(nèi)更迫切的需求。

就在剛剛，已收獲近4萬(wàn)GitHub StarColossal-AI發(fā)布開源大模型后訓(xùn)練工具箱，它包含：

• DeepSeek-V3/R1滿血671B LoRA低成本SFT微調(diào)；
• 完整的強(qiáng)化學(xué)習(xí)工具鏈PPO、GRPO、DPO、SimPO等；
• 無(wú)縫適配DeepSeek系列蒸餾模型在內(nèi)的HuggingFace開源模型；
• 兼容支持英偉達(dá)GPU、華為昇騰NPU等多種硬件；
• 支持混合精度訓(xùn)練，gradient checkpoint等訓(xùn)練加速降低成本；
• 靈活的訓(xùn)練配置接口，支持自定義獎(jiǎng)勵(lì)函數(shù)、損失函數(shù)等；
• 提供靈活的并行策略配置接口，包括數(shù)據(jù)并行、模型并行、專家并行、ZeRO和Offload等，以適應(yīng)不同硬件規(guī)模。

開源地址：https://github.com/hpcaitech/ColossalAI

低成本監(jiān)督微調(diào)滿血版DeepSeek-V3/R1-671B

6710億參數(shù)規(guī)模的DeepSeek-V3/R1低成本微調(diào)，僅需以下幾步，即可快速完成。

數(shù)據(jù)集準(zhǔn)備

該腳本接收J(rèn)SONL格式的文件作為輸入數(shù)據(jù)集，例如：

https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl。

數(shù)據(jù)集的每一行應(yīng)為一個(gè)聊天對(duì)話列表。例如：

該數(shù)據(jù)格式，兼容Huggingface chat template，支持自定義system prompt，因此可靈活按需配置。

模型權(quán)重準(zhǔn)備

為保證更好的微調(diào)效果，使用BF16權(quán)重進(jìn)行微調(diào)。

如果已下載了FP8的DeepSeek-V3/R1權(quán)重，可以使用DeepSeek官方腳本https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/fp8_cast_bf16.py通過(guò)GPU將權(quán)重轉(zhuǎn)換為BF16。

對(duì)于使用國(guó)產(chǎn)華為昇騰算力，可以下載https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference/fp8_cast_bf16.py腳本轉(zhuǎn)換權(quán)重。

使用方法

在準(zhǔn)備好數(shù)據(jù)集和模型權(quán)重后，可使用Colossal-AI 提供的一鍵啟動(dòng)腳本https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py。

該腳本與常見SFT腳本類似，且完全兼容HuggingFace PEFT，啟動(dòng)命令：

colossalai run —hostfile path-to-host-file —nproc_per_node 8 lora_finetune.py —pretrained path-to-DeepSeek-R1-bf16 —dataset path-to-dataset.jsonl —plugin moe —lr 2e-5 —max_length 256 -g —ep 8 —pp 3 —batch_size 24 —lora_rank 8 —lora_alpha 16 —num_epochs 2 —warmup_steps 8 —tensorboard_dir logs —save_dir DeepSeek-R1-bf16-lora

有關(guān)每個(gè)參數(shù)的更多詳細(xì)信息，可以運(yùn)行python lora_finetune.py—help查看。該腳本可通過(guò)tensorboard記錄學(xué)習(xí)率、loss、grad norm信息，方便對(duì)訓(xùn)練進(jìn)行監(jiān)控。

使用LoRA優(yōu)化硬件資源消耗

通過(guò)使用LoRA等優(yōu)化，示例命令已將SFT DeepSeek-V3/R1-671B最低硬件要求降低近10倍，可使用32個(gè)Ascend 910B NPU 64GB（使用 ep=8,pp=4）或24個(gè)H100/H800 GPU（使用 ep=8,pp=3）。如果你通過(guò)—zero_cpu_offload啟用CPU offload，硬件要求可以進(jìn)一步降低，但會(huì)損失一定的訓(xùn)練速度。

如下圖驗(yàn)證，在SFT DeepSeek V3/R1 671B時(shí)，Loss 可以順利降低。

對(duì)于資金充裕的開發(fā)團(tuán)隊(duì)，也可以使用上述腳本，將并行度高效擴(kuò)展至數(shù)百及數(shù)千卡，快速完成DeepSeek-V3/R1-671B全參微調(diào)或并行加速。

對(duì)于預(yù)算有限，又想借助強(qiáng)化學(xué)習(xí)構(gòu)建自己的類DeepSeek-R1模型， Colossal-AI也提供了解決方案，并利用小模型對(duì)算法進(jìn)行了驗(yàn)證。

通過(guò)強(qiáng)化學(xué)習(xí)微調(diào)蒸餾版DeepSeek

Colossal-AI團(tuán)隊(duì)驗(yàn)證并實(shí)現(xiàn)了DeepSeek論文中的GRPO算法及verifiable reward，使用Qwen2.5-3B-Base模型進(jìn)行了實(shí)驗(yàn)。其中，獎(jiǎng)勵(lì)的設(shè)計(jì)如下：

1. 獎(jiǎng)勵(lì)=0，如果格式是正確的；
2. 獎(jiǎng)勵(lì)=1， 如果格式是正確的但是結(jié)果是錯(cuò)誤的；
3. 獎(jiǎng)勵(lì)=10，如果格式與結(jié)果都是正確的。

Colossal-AI團(tuán)隊(duì)以Qwen2.5-3B-Base模型為例，提供了用于驗(yàn)證GRPO的對(duì)話模板及設(shè)定

（https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/conversation_template/Qwen_Qwen2.5-3B.json），通過(guò)配置以下bash 文件，即可一鍵啟動(dòng)：
https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/train_grpo.sh

同時(shí)，在GRPO章節(jié)，Colossal-AI團(tuán)隊(duì)還提供了驗(yàn)證過(guò)程中的部分發(fā)現(xiàn)及各種參數(shù)的詳細(xì)描述，可供參考。

代碼中設(shè)計(jì)了可靈活配置獎(jiǎng)勵(lì)函數(shù)的模板，因此，用戶可根據(jù)自己的具體情況設(shè)計(jì)自己的獎(jiǎng)勵(lì)函數(shù)體系。

由下圖可以看到，即使是3B的模型，平均獎(jiǎng)勵(lì)與模型回復(fù)長(zhǎng)度隨著時(shí)間逐步增長(zhǎng)。

隨著訓(xùn)練的進(jìn)行，我們可以看到一些有意思的例子。例如隨著訓(xùn)練迭代，模型開始了自我糾正：

Colossal-AI：最佳后訓(xùn)練工具箱

Colossal-AI在深耕大模型預(yù)訓(xùn)練降本增效的基礎(chǔ)上，致力于進(jìn)一步成為開發(fā)者開箱即用的最佳后訓(xùn)練工具，幫助用戶基于開源模型，低成本快速構(gòu)建私有模型。

開源地址：https://github.com/hpcaitech/ColossalAI