引言：大語言模型的高效微調(diào)及其在多樣化任務(wù)中的應(yīng)用

在人工智能領(lǐng)域，大語言模型（LLMs）已成為推動(dòng)技術(shù)進(jìn)步的關(guān)鍵力量。它們?cè)诶斫夂蜕勺匀徽Z言方面展現(xiàn)出了卓越的能力，從而在問答系統(tǒng)、機(jī)器翻譯、信息提取等多樣化任務(wù)中發(fā)揮著重要作用。然而，要將這些模型適配到特定的下游任務(wù)中，通常需要進(jìn)行微調(diào)（fine-tuning），這是一個(gè)資源密集型的過程。高效的微調(diào)方法因此成為了研究的熱點(diǎn)，旨在減少訓(xùn)練成本，同時(shí)保持或提升模型性能。

盡管如此，實(shí)現(xiàn)這些方法在不同模型上的應(yīng)用仍然需要非凡的努力。為了解決這一問題，研究者們開發(fā)了各種框架來簡化微調(diào)流程，提高資源利用率，并通過友好的用戶界面降低技術(shù)門檻。這些框架的出現(xiàn)，使得更多的研究者和開發(fā)者能夠利用LLMs，推動(dòng)了人工智能技術(shù)的民主化。

LLAMA FACTORY是一個(gè)旨在普及LLMs微調(diào)的框架。它通過可擴(kuò)展的模塊統(tǒng)一了多種高效微調(diào)方法，使得數(shù)百種語言模型能夠在資源有限的情況下進(jìn)行高吞吐量的微調(diào)。此外，該框架還簡化了常用的訓(xùn)練方法，如生成式預(yù)訓(xùn)練、監(jiān)督式微調(diào)、基于人類反饋的強(qiáng)化學(xué)習(xí)以及直接偏好優(yōu)化等。用戶可以通過命令行或Web界面，以最小或無需編碼的方式自定義和微調(diào)他們的語言模型。

LLAMA FACTORY的有效性和效率已通過語言建模和文本生成任務(wù)得到實(shí)證驗(yàn)證。該框架已在GitHub上發(fā)布，并獲得了超過13,000個(gè)星標(biāo)和1,600個(gè)分支。

論文標(biāo)題:
LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models

論文鏈接:
???https://arxiv.org/pdf/2403.13372.pdf??

項(xiàng)目鏈接：
???https://github.com/hiyouga/LLaMA-Factory??

LLAMA FACTORY框架的核心組成

下圖顯示了LLAMA FACTORY由三個(gè)主要模塊組成：模型加載器（Model Loader）、數(shù)據(jù)工作者（Data Worker）和訓(xùn)練器（Trainer）。

1. 模型加載器：支持100+語言模型的準(zhǔn)備工作

LLAMA FACTORY框架的模型加載器是其核心組件之一，負(fù)責(zé)準(zhǔn)備和加載超過100種不同的語言模型。這一模塊通過建立模型注冊(cè)表，精確地為預(yù)訓(xùn)練模型附加適配器，識(shí)別并處理模型的各個(gè)層次。此外，模型加載器還負(fù)責(zé)模型的初始化、模型補(bǔ)丁、模型量化和適配器附加等關(guān)鍵任務(wù)，確保了框架能夠靈活地?cái)U(kuò)展到數(shù)百種模型和數(shù)據(jù)集。

2. 數(shù)據(jù)工作器：處理和標(biāo)準(zhǔn)化不同任務(wù)的數(shù)據(jù)集

數(shù)據(jù)工作器是LLAMA FACTORY框架的另一個(gè)關(guān)鍵模塊，它通過一系列的數(shù)據(jù)處理流程，包括數(shù)據(jù)加載、數(shù)據(jù)對(duì)齊、數(shù)據(jù)合并和數(shù)據(jù)預(yù)處理，來處理和標(biāo)準(zhǔn)化不同任務(wù)的數(shù)據(jù)集。該模塊利用數(shù)據(jù)描述規(guī)范（下表）來統(tǒng)一不同格式的數(shù)據(jù)集，使其能夠適應(yīng)各種任務(wù)。例如，對(duì)于文本生成模型的訓(xùn)練，數(shù)據(jù)工作器提供了多種聊天模板，這些模板可以根據(jù)模型類型自動(dòng)選擇，并通過分析器編碼句子。

3. 訓(xùn)練器：整合多種高效微調(diào)方法

訓(xùn)練器是LLAMA FACTORY框架的第三個(gè)核心模塊，它整合了多種高效的微調(diào)方法，如LoRA+和GaLore，通過替換默認(rèn)組件來適應(yīng)不同的任務(wù)和數(shù)據(jù)集。這些訓(xùn)練方法與訓(xùn)練器相互獨(dú)立，易于應(yīng)用于各種任務(wù)。訓(xùn)練器還支持分布式訓(xùn)練，可以與DeepSpeed等工具結(jié)合使用，進(jìn)一步降低內(nèi)存消耗。

高效微調(diào)技術(shù)的分類與應(yīng)用

高效的LLM微調(diào)技術(shù)可以分為兩個(gè)主要類別：一類專注于優(yōu)化，另一類旨在計(jì)算。

1. 高效優(yōu)化技術(shù)：減少參數(shù)調(diào)整成本

高效優(yōu)化技術(shù)的主要目標(biāo)是在保持成本最低的同時(shí)調(diào)整LLMs的參數(shù)。LLAMA FACTORY框架中包含的高效優(yōu)化技術(shù)（下表）有freeze-tuning（凍結(jié)大部分參數(shù)，僅微調(diào)少量解碼器層的參數(shù)）、GaLore（將梯度投影到低維空間，以內(nèi)存高效的方式進(jìn)行全參數(shù)學(xué)習(xí)）、LoRA（凍結(jié)所有預(yù)訓(xùn)練權(quán)重，引入可訓(xùn)練的低秩矩陣）以及DoRA（將預(yù)訓(xùn)練權(quán)重分解為幅度和方向組件，僅對(duì)方向組件應(yīng)用LoRA）等。

2. 高效計(jì)算技術(shù)：降低計(jì)算所需的時(shí)間或空間

高效計(jì)算技術(shù)旨在減少LLMs所需的計(jì)算時(shí)間或空間。LLAMA FACTORY框架整合了一系列高效計(jì)算技術(shù)（上表），如混合精度訓(xùn)練、激活檢查點(diǎn)、flash attention（一種硬件友好的注意力計(jì)算方法）、S2 attention（解決塊稀疏注意力中上下文擴(kuò)展的挑戰(zhàn)）以及各種量化策略（使用低精度表示權(quán)重以減少內(nèi)存要求）。此外，Unsloth技術(shù)通過Triton實(shí)現(xiàn)LoRA的反向傳播，減少了梯度下降過程中的浮點(diǎn)運(yùn)算，加速了LoRA訓(xùn)練。

LLAMA FACTORY的實(shí)用工具和特性

在當(dāng)今大數(shù)據(jù)時(shí)代，高效地調(diào)整和優(yōu)化LLMs對(duì)于實(shí)現(xiàn)其在下游任務(wù)中的最佳性能至關(guān)重要。LLAMA FACTORY框架應(yīng)運(yùn)而生，為廣大研究者和開發(fā)者提供了一個(gè)統(tǒng)一、高效的LLM微調(diào)平臺(tái)。以下是LLAMA FACTORY的一些核心工具和特性：

1. 加速推理：提供高吞吐量的并發(fā)推理服務(wù)

LLAMA FACTORY通過集成先進(jìn)的計(jì)算技術(shù)，如混合精度訓(xùn)練、激活檢查點(diǎn)以及特定的注意力機(jī)制優(yōu)化（例如Flash Attention和S2 Attention），顯著提高了模型的推理速度。這些技術(shù)共同作用，使得在進(jìn)行大規(guī)模模型推理時(shí)，能夠以更低的內(nèi)存占用和更高的吞吐量執(zhí)行，從而加速了模型的部署和應(yīng)用。

2. 綜合評(píng)估：包含多種評(píng)估LLMs的指標(biāo)

為了全面評(píng)估微調(diào)后模型的性能，LLAMA FACTORY集成了一系列評(píng)估指標(biāo)，包括多項(xiàng)選擇任務(wù)的評(píng)估（如MMLU、CMMLU和C-Eval）以及文本相似度評(píng)分（如BLEU-4和ROUGE）。這些綜合評(píng)估工具不僅支持自動(dòng)評(píng)估模型的性能，還能通過人工評(píng)估提供更加深入的洞察，幫助用戶從多個(gè)維度理解模型的優(yōu)勢(shì)和局限。

LLAMABOARD：用戶友好的界面

為了降低LLM微調(diào)的門檻，LLAMA FACTORY提供了LLAMABOARD，一個(gè)基于Gradio構(gòu)建的用戶友好界面，使得用戶無需編寫任何代碼即可輕松地進(jìn)行模型的配置、訓(xùn)練和評(píng)估（下圖）。

1. 易于配置：無需編碼即可自定義微調(diào)參數(shù)

通過LLAMABOARD，用戶可以通過簡單的圖形界面來配置微調(diào)參數(shù)，如學(xué)習(xí)率、批次大小等。該界面為用戶提供了默認(rèn)的參數(shù)值推薦，同時(shí)也允許用戶根據(jù)自己的需求進(jìn)行自定義，極大地簡化了模型微調(diào)的配置過程。

2. 可監(jiān)控訓(xùn)練：實(shí)時(shí)可視化訓(xùn)練日志和損失曲線

在模型訓(xùn)練過程中，LLAMABOARD實(shí)時(shí)更新并可視化訓(xùn)練日志和損失曲線，使用戶能夠?qū)崟r(shí)監(jiān)控訓(xùn)練進(jìn)度和模型性能。這一特性為用戶提供了及時(shí)調(diào)整訓(xùn)練策略的依據(jù)，有助于提高模型微調(diào)的效率和效果。

3. 靈活評(píng)估：支持自動(dòng)和人工評(píng)估模型性能

LLAMABOARD支持在數(shù)據(jù)集上自動(dòng)計(jì)算文本相似度分?jǐn)?shù)來評(píng)估模型性能，同時(shí)也提供了與模型交互的界面，允許用戶通過與模型的對(duì)話來進(jìn)行人工評(píng)估。這種靈活的評(píng)估方式使用戶能夠從不同角度全面了解模型的性能，為進(jìn)一步優(yōu)化模型提供了寶貴的反饋。

通過這些實(shí)用的工具和特性，LLAMA FACTORY為廣大研究者和開發(fā)者提供了一個(gè)高效、便捷的平臺(tái)，以促進(jìn)LLMs在各種應(yīng)用場(chǎng)景中的發(fā)展和應(yīng)用。

實(shí)證研究：框架的訓(xùn)練效率和任務(wù)適應(yīng)性驗(yàn)證

1. 訓(xùn)練效率的實(shí)驗(yàn)設(shè)置和結(jié)果分析

在LLAMA FACTORY框架的訓(xùn)練效率實(shí)驗(yàn)中，研究者們選擇了PubMed數(shù)據(jù)集作為訓(xùn)練材料，該數(shù)據(jù)集包含超過3600萬條生物醫(yī)學(xué)文獻(xiàn)記錄。從這些文獻(xiàn)的摘要中提取了約40萬個(gè)token作為訓(xùn)練樣本。實(shí)驗(yàn)涉及了多種不同的高效微調(diào)方法，包括全參數(shù)微調(diào)（Full-tuning）、凍結(jié)微調(diào)（Freeze-tuning）、GaLore、LoRA以及4位QLoRA。實(shí)驗(yàn)中，研究者們使用了Gemma-2B、Llama2-7B和Llama2-13B模型，并通過計(jì)算在訓(xùn)練樣本上的困惑度（Perplexity, PPL）來評(píng)估不同方法的效率。

實(shí)驗(yàn)結(jié)果顯示（下表，粗體字是最佳結(jié)果），QLoRA在內(nèi)存占用上一致表現(xiàn)最佳，這得益于其在低精度下表示預(yù)訓(xùn)練權(quán)重。而LoRA則在吞吐量上表現(xiàn)更優(yōu)，這是由于使用了Unsloth對(duì)LoRA層進(jìn)行的優(yōu)化。在大型模型上，GaLore在降低PPL方面表現(xiàn)更好，而在較小的模型上，LoRA則具有優(yōu)勢(shì)。這些結(jié)果凸顯了高效微調(diào)方法在適應(yīng)特定任務(wù)時(shí)的有效性。

2. 在下游任務(wù)上的微調(diào)效果評(píng)估

為了評(píng)估不同高效微調(diào)方法的任務(wù)適應(yīng)性，研究者們?cè)诙鄠€(gè)下游任務(wù)上進(jìn)行了實(shí)驗(yàn)。這些任務(wù)包括CNN/DM、XSum和AdGen，分別代表了文本摘要和廣告文案生成等文本生成任務(wù)。實(shí)驗(yàn)中選取了多個(gè)指令調(diào)優(yōu)模型，并采用序列到序列的任務(wù)進(jìn)行微調(diào)。比較了全參數(shù)微調(diào)（FT）、GaLore、LoRA和4位QLoRA的效果，并在每個(gè)任務(wù)的測(cè)試集上計(jì)算了ROUGE得分。

實(shí)驗(yàn)結(jié)果表明（下表，粗體字是最佳結(jié)果），除了Llama2-7B和ChatGLM3-6B模型在CNN/DM和AdGen數(shù)據(jù)集上，LoRA和QLoRA在大多數(shù)情況下都取得了最佳性能。這表明這些高效微調(diào)方法在特定任務(wù)上具有良好的適應(yīng)性。此外，Mistral-7B模型在英文數(shù)據(jù)集上表現(xiàn)更好，而Qwen1.5-7B模型在中文數(shù)據(jù)集上得分更高，這表明微調(diào)后模型的性能也與其在特定語言上的固有能力有關(guān)。

結(jié)論與未來工作：總結(jié)LLAMA FACTORY的貢獻(xiàn)和展望

LLAMA FACTORY框架通過模塊化設(shè)計(jì)，最小化了模型、數(shù)據(jù)集和訓(xùn)練方法之間的依賴性，并提供了一個(gè)集成化的方法，可以使用多種高效微調(diào)技術(shù)對(duì)超過100種語言模型進(jìn)行微調(diào)。此外，該框架還提供了一個(gè)靈活的Web UI LLAMABOARD，使用戶能夠在無需編碼的情況下自定義微調(diào)和評(píng)估語言模型。通過在語言建模和文本生成任務(wù)上的實(shí)證驗(yàn)證，證明了框架的效率和有效性。

未來，研究者們計(jì)劃持續(xù)將LLAMA FACTORY與最新的模型和高效微調(diào)技術(shù)保持同步，并歡迎開源社區(qū)的貢獻(xiàn)。在未來的版本中，研究者們將探索更先進(jìn)的并行訓(xùn)練策略和多模態(tài)高效微調(diào)語言模型。

本文轉(zhuǎn)載自夕小瑤科技說，作者：Tscom

原文鏈接：??https://mp.weixin.qq.com/s/jJ5hItGNz91TiaDrdfYwUg??