本文整理自：

KCD 2025 Beijing:  Fine-tuning LLM with Argo Workflows: A Kubernetes-native Approach

1.在大語(yǔ)言模型上微調(diào)的挑戰(zhàn)

圖片

微調(diào)就是將特定的領(lǐng)域數(shù)據(jù)賦予到基礎(chǔ)的大模型中進(jìn)行特定的調(diào)優(yōu)。為什么要這樣做呢，這是因?yàn)榛A(chǔ)的大語(yǔ)言模型的設(shè)計(jì)較為通用，像一顆未經(jīng)雕琢的寶石/百科全書，能夠給我們比較通用全面的回答，當(dāng)面對(duì)一些特定領(lǐng)域的問(wèn)題，比如金融，健康等領(lǐng)域，回答不夠精細(xì)化。通過(guò)微調(diào)，可以讓模型在特定領(lǐng)域達(dá)到出類拔萃的效果。比較典型的基礎(chǔ)大模型，比如 Deepseek R1、Qwen、Chart GPT 3。典型的調(diào)優(yōu)過(guò)的模型比如 DeepSeek-Finance、SciBERT 等。

圖片

那微調(diào)時(shí)面對(duì)挑戰(zhàn)的是什么。第一個(gè)是需要管理非常多類型的異構(gòu)資源，包括 CPU、GPU、DPU 等。

并且微調(diào)的過(guò)程也是非常昂貴。單次調(diào)優(yōu)可能花費(fèi)數(shù)萬(wàn)元。第二是流程復(fù)雜：有多個(gè)階段，需要數(shù)據(jù)準(zhǔn)備，訓(xùn)練、評(píng)估等多個(gè)階段，并且可能有非常龐大的參數(shù)、海量的流程同時(shí)需要管理。如果說(shuō)沒(méi)有一個(gè)高效的管理工具，那會(huì)導(dǎo)致我們的結(jié)果成本高，可信度低，事倍功半。

2.為什么使用 Argo Workflows

圖片

Argo Workflows 來(lái)自于 Argo 項(xiàng)目，Argo 項(xiàng)目由一系列高效的工具集組成，包括 Argo Workflows、Argo CD、Events、Rollout。

提供在 Kubernetes 任務(wù)管理、應(yīng)用分發(fā)、事件、灰度策略等能力。Argo 社區(qū)也是 CNCF 最活躍的社區(qū)之一，在過(guò)去一年，超過(guò) 850 的貢獻(xiàn)者，排名第三，僅次于 Kubernetes、和 Opentelemetry。

Argo Workflows 是 Argo Projects 的核心項(xiàng)目，也是它第一個(gè)項(xiàng)目。主要的場(chǎng)景包括 Machine Learning Pipelines，大規(guī)模數(shù)據(jù)處理、基礎(chǔ)設(shè)施的自動(dòng)化、以及 CI/CD 等。右邊是他的一個(gè)控制 UI。Argo Workflows 使用的場(chǎng)景非常廣泛、尤其在 AI/ML Pipeline 領(lǐng)域。

圖片

Argo Workflows 不僅自身在 MLOps 的場(chǎng)景應(yīng)用廣泛，有大量的終端用戶使用。并且能夠支持了大量的流行的 AI 工具中的任務(wù)編排，比如 Kubeflow Pipelines、Metaflow、Numaflow 等。有超過(guò) 8k 家的公司使用 Argo 或者基于 Argo 的任務(wù)管理之上的ML工具。

可以說(shuō) Argo Workflows 已經(jīng)成為了一個(gè)在 Kubernetes 上編排 AI/ML 任務(wù)的核心組件。

圖片

那為什么 Argo Workflows 在 AI/Fine-tuning 領(lǐng)域受到這么多的歡迎，主要原因包括：直接構(gòu)建在 Kubernetes 之上，一個(gè)任務(wù)就是一個(gè) Kubnertes 容器。擴(kuò)展性強(qiáng)，可以并行啟動(dòng)數(shù)千個(gè)任務(wù)。模板機(jī)制，標(biāo)準(zhǔn)化可重復(fù)性。豐富的重試機(jī)制，有效地提高任務(wù)容錯(cuò)率。良好的可觀測(cè)性。使用起來(lái)非常簡(jiǎn)易。支持 YAML/Python 語(yǔ)言，讓研究員和運(yùn)維工程師都能很快的上手。

3.案例：使用 Argo Workflows基于 DeepSeek 進(jìn)行 Finetune

圖片

首先看一下 Workflow 的定義，它被設(shè)計(jì)成一個(gè) Kubernetes CRD，一個(gè) Workflow 主要由兩個(gè)部分組成，一部分是任務(wù)之間的邏輯關(guān)系，可以是串行的step、或者復(fù)雜的 DAG，也可以是循環(huán)等等。

另一部分是 template，包含 image、command、resource 等定義，跟 container 的定義比較像，代表一個(gè)任務(wù)。這是一個(gè)工作流示例。

圖片

Fine-tuning LLM 的流程一般至少包含幾個(gè)部分。

首先是數(shù)據(jù)準(zhǔn)備。需要從 HuggingFace 上下載數(shù)據(jù)集或者使用自己的數(shù)據(jù)集合，然后進(jìn)行源數(shù)據(jù)的清洗，token 化等。第二是選擇 Base Model，可以是基礎(chǔ)的 DeepSeek-R1，或者是 DeepSeek-R1 在其他大模型上蒸餾出來(lái)的一些小模型。

第三是進(jìn)行訓(xùn)練：可以選擇是部分參數(shù)微調(diào)還是全參數(shù)微調(diào)整。消耗的時(shí)間和資源都不一樣。最后是進(jìn)行模型評(píng)估。可以進(jìn)行人工評(píng)估或者是參數(shù)評(píng)估。根據(jù)這些基礎(chǔ)材料我們準(zhǔn)備我們的模型微調(diào)工作流。

圖片

將微調(diào)的流程整理成為上邊的一個(gè)流程。首先是數(shù)據(jù)準(zhǔn)備階段，選用 haggface 上一個(gè)傳統(tǒng)中醫(yī)的數(shù)據(jù)集。

選用 DeepSeek-R1-Distill-Qwen-7B 的 4 bit 的模型。接下來(lái)是 tokennization 和 Prompt_Style，我們的提示詞是您是一個(gè)傳統(tǒng)中醫(yī)專家。

Train 階段使用 LoRA 技術(shù)，進(jìn)行部分微調(diào)。最后會(huì)進(jìn)行并行推理來(lái)比較在基礎(chǔ)模型和微調(diào)過(guò)的模型上做一個(gè)比較。提的問(wèn)題一個(gè)經(jīng)典問(wèn)題，久咳不止怎么辦。

圖片

通過(guò)使用Python語(yǔ)言構(gòu)建并提交上述的工作流，即可在 Argo-Server 控制臺(tái)獲取到如上的工作流，代碼也已經(jīng)分享到上述的鏈接(https://github.com/AliyunContainerService/argo-workflow-examples/tree/main/fine-tune-with-argo)，可以非常容易的進(jìn)行復(fù)現(xiàn)。運(yùn)行過(guò)程中可以隨時(shí)重啟、觀測(cè)整個(gè)工作流的運(yùn)行狀況。流程執(zhí)行完成后，可以看到在 fine-tune 之后，能夠看到模型的回答更接近我們的預(yù)想的方向。

4.總結(jié)與展望

圖片

總的來(lái)講使用這種方式，有以下一些優(yōu)點(diǎn)：

節(jié)省成本。細(xì)粒度的控制任務(wù)。提高效率。當(dāng)編寫完這樣一個(gè)流程之后，全程是自動(dòng)化的，并且失敗也可以自動(dòng)重試。

容易擴(kuò)展：根據(jù)參數(shù)的不同容易擴(kuò)展到不同的模型、數(shù)據(jù)集。

可重復(fù)：容易進(jìn)行版本控制，運(yùn)行狀態(tài)的復(fù)現(xiàn)定位。

圖片

構(gòu)建完成這樣的標(biāo)準(zhǔn)流程之后，之后還可以基于 Argo Workflows 做什么來(lái)讓我們的工作流運(yùn)行的更高效呢。

1）基于 Argo Workflows 實(shí)現(xiàn)自動(dòng)化 CI/CD、和 Argo Events 集成，構(gòu)建事件驅(qū)動(dòng)的全自動(dòng)化工作流，提升整體的研發(fā)效率。

2）和 Spark、Ray、Pytorch 等數(shù)據(jù)處理、AI框架相結(jié)合，構(gòu)建統(tǒng)一的數(shù)據(jù)處理、機(jī)器學(xué)習(xí)訓(xùn)練 Pipeline 平臺(tái)，讓一套架構(gòu)服務(wù)于不同的團(tuán)隊(duì)。