介紹

時隔已久的 llama-factory 系列教程更新了。本篇文章是第七篇，之前的六篇，大家酌情選看即可。因為llama-factory進(jìn)行了更新，我前面幾篇文章的實現(xiàn)部分，都不能直接用了。

我將為大家介紹如何使用 llama-factory Lora 微調(diào)模型、部署模型、使用python調(diào)用API。

llama-factory 安裝

首先建議大家閱讀一遍兩份不錯的文章：

• 官方readme: https://github.com/hiyouga/LLaMA-Factory/blob/v0.9.1/README_zh.md
• 官方推薦的知乎教程：https://zhuanlan.zhihu.com/p/695287607
• 官方文檔: https://llamafactory.readthedocs.io/zh-cn/latest/

我這篇博客的與他們的不同在于，我按照我做實驗的流程，給大家演示一遍。方便大家一看就懂，心里對大致的流程有個大概。

安裝包

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

LLaMA-Factory 默認(rèn)是從Huggingface 下載模型，建議大家改為從國內(nèi)下載模型。

如果您在 Hugging Face 模型和數(shù)據(jù)集的下載中遇到了問題，可以通過下述方法使用魔搭社區(qū)。

export USE_MODELSCOPE_HUB=1Windows 使用set USE_MODELSCOPE_HUB=1將 model_name_or_path 設(shè)置為模型 ID 來加載對應(yīng)的模型。在魔搭社區(qū)查看所有可用的模型，例如 LLM-Research/Meta-Llama-3-8B-Instruct。

您也可以通過下述方法，使用魔樂社區(qū)下載數(shù)據(jù)集和模型。

export USE_OPENMIND_HUB=1Windows 使用set USE_OPENMIND_HUB=1將 model_name_or_path 設(shè)置為模型 ID 來加載對應(yīng)的模型。在魔樂社區(qū)查看所有可用的模型，例如 TeleAI/TeleChat-7B-pt。

下載模型

我喜歡使用可視化的網(wǎng)站頁面下載模型權(quán)重。

llamafactory-cli webui

啟動服務(wù)之后，進(jìn)入主機對應(yīng)的 ip 和端口就可以看到網(wǎng)頁。

在 Model name 下拉框中挑選模型，選中之后，再點擊下述的加載模型。如果模型權(quán)重沒有下載，則會進(jìn)行下載，然后加載進(jìn)顯存中。在下方就會出現(xiàn)對話框就可以與模型進(jìn)行對話了。

微調(diào)模型

數(shù)據(jù)集

點擊 Train 后， 就可以看到當(dāng)前可用的很多數(shù)據(jù)集。

在選中數(shù)據(jù)集后，點擊預(yù)覽數(shù)據(jù)集，即可看到數(shù)據(jù)集的樣例。如果我們想微調(diào)模型，也需要把數(shù)據(jù)集的樣式給整理成上述格式。

點擊查看關(guān)于數(shù)據(jù)集的說明：https://github.com/hiyouga/LLaMA-Factory/tree/v0.9.1/data

大家仿照alpaca_zh_demo.json的樣式準(zhǔn)備好數(shù)據(jù)集，然后在dataset_info.json完成數(shù)據(jù)集的注冊。

注冊數(shù)據(jù)集， 下圖是我在dataset_info.json注冊的guihua_ner數(shù)據(jù)集，然后就可以找到該數(shù)據(jù)集，并訓(xùn)練模型：

訓(xùn)練模型

可以直接點擊可視化界面的 Start 按鈕訓(xùn)練模型。也可點擊預(yù)覽命令查看在終端運行的命令。

我一般不使用可視化窗口訓(xùn)練模型。我喜歡直接運行訓(xùn)練模型的命令

llamafactory-cli train \
    --stage sft \
    --do_train True \
    --model_name_or_path qwen/Qwen2.5-7B-Instruct \
    --preprocessing_num_workers 16 \
    --finetuning_type lora \
    --template qwen \
    --flash_attn auto \
    --dataset_dir data \
    --dataset alpaca_zh_demo \
    --cutoff_len 2048 \
    --learning_rate 5e-05 \
    --num_train_epochs 3.0 \
    --max_samples 100000 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --max_grad_norm 1.0 \
    --logging_steps 5 \
    --save_steps 100 \
    --warmup_steps 0 \
    --packing False \
    --report_to none \
    --output_dir saves/Qwen2.5-7B-Instruct/lora/train_2024-11-25-09-56-29 \
    --bf16 True \
    --plot_loss True \
    --ddp_timeout 180000000 \
    --optim adamw_torch \
    --lora_rank 8 \
    --lora_alpha 16 \
    --lora_dropout 0 \
    --lora_target all

除了使用上述的命令行方式訓(xùn)練模型外，llama-factory還提供了使用 yaml 文件訓(xùn)練模型的方式。在example文件夾下可看到很多訓(xùn)練和推理的 yaml 文件，針對其中的參數(shù)就行修改，即可使用。

我以微調(diào)qwen/Qwen2.5-7B-Instruct為例：

qwen2.5-7B-ner.yaml文件內(nèi)容：

### model
model_name_or_path: qwen/Qwen2.5-7B-Instruct

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
dataset: guihua_ner
template: qwen
cutoff_len: 2048
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: saves/qwen2.5-7B/ner_epoch5
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 5.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

在 llamafactory-cli train 后，填入 yaml 文件的路徑：

llamafactory-cli train config/qwen2.5-7B-ner.yaml

然后就會開始訓(xùn)練模型，最終訓(xùn)練完成的模型保存在output_dir: saves/qwen2.5-7B/ner_epoch5。

在輸出文件夾路徑中，可以找到訓(xùn)練過程的損失值變化圖片。

微調(diào)后的模型推理

在完成模型的微調(diào)后，測試一下模型的微調(diào)效果。對于微調(diào)模型推理，除原始模型和模板外，還需要指定適配器路徑 adapter_name_or_path 和微調(diào)類型 finetuning_type。

lora_vllm.yaml的文件內(nèi)容如下：

model_name_or_path: qwen/Qwen2.5-7B-Instruct
adapter_name_or_path: ../saves/qwen2.5-7B/ner_epoch5
template: qwen
finetuning_type: lora
infer_backend: vllm
vllm_enforce_eager: true

運行下述命令，就可以看到下圖的對話窗口：

llamafactory-cli webchat lora_vllm.yaml

根據(jù)上圖命名實體識別的輸出，可以發(fā)現(xiàn)微調(diào)模型確實有效果。

除了網(wǎng)頁聊天的部署之外，還可通過下述多種方式進(jìn)行部署:

# llamafactory-cli chat xxx.yaml
# llamafactory-cli webchat xxx.yaml
# API_PORT=8000 llamafactory-cli api xxx.yaml

本文轉(zhuǎn)載自 ??AI悠閑區(qū)??，作者： jieshenai