大家好，我是劉聰NLP。

今天給大家?guī)?lái)一篇大模型微調(diào)相關(guān)的最新綜述，主要大模型微調(diào)歸納為7個(gè)階段分別為數(shù)據(jù)準(zhǔn)備、模型初始化、訓(xùn)練環(huán)境配置、模型微調(diào)、模型評(píng)估與驗(yàn)證、模型部署以及模型監(jiān)控與維護(hù)。

Paper: https://arxiv.org/abs/2408.13296

模型微調(diào)（Fine-Tuning）就是以預(yù)訓(xùn)練模型為基礎(chǔ)，通過(guò)相對(duì)較少的特定數(shù)據(jù)集進(jìn)行的進(jìn)一步訓(xùn)練，主要是在模型預(yù)先存在的知識(shí)之上用過(guò)減少數(shù)據(jù)和計(jì)算成本來(lái)提高特定任務(wù)的效果。

模型預(yù)訓(xùn)練與微調(diào)之間差距

大模型微調(diào)的優(yōu)勢(shì)：

• 遷移學(xué)習(xí)：利用預(yù)訓(xùn)練過(guò)程中獲得的知識(shí)，通過(guò)減少計(jì)算時(shí)間和資源，將其適應(yīng)于特定任務(wù)
• 減少數(shù)據(jù)需求：需要較少的標(biāo)注數(shù)據(jù)，專注于將預(yù)訓(xùn)練的特征調(diào)整到目標(biāo)任務(wù)
• 改善泛化能力：增強(qiáng)了模型對(duì)特定任務(wù)或領(lǐng)域的泛化能力，捕捉通用語(yǔ)言特征并對(duì)其進(jìn)行定制
• 高效的模型部署：微調(diào)后的模型更適合實(shí)際應(yīng)用，計(jì)算效率高，適合特定任務(wù)
• 適應(yīng)各種任務(wù)：能夠適應(yīng)廣泛的任務(wù)，在各種應(yīng)用中表現(xiàn)良好
• 特定領(lǐng)域的性能：允許模型通過(guò)調(diào)整目標(biāo)領(lǐng)域的細(xì)微差別和詞匯，從而在特定領(lǐng)域的任務(wù)中表現(xiàn)出色
• 更快收斂：從通用語(yǔ)言特征的權(quán)重開(kāi)始訓(xùn)練，能夠更快地收斂

雖然，很多任務(wù)通過(guò)提示工程或RAG技術(shù)可能完美解決，但如果你需要模型調(diào)整其行為、寫作風(fēng)格或融入特定領(lǐng)域的知識(shí)，那么微調(diào)仍然是必不可少的。

下面從7個(gè)不同階段來(lái)詳細(xì)介紹大模型微調(diào)所要準(zhǔn)備的工作。

數(shù)據(jù)準(zhǔn)備

• 高質(zhì)量數(shù)據(jù)收集：確保數(shù)據(jù)的高質(zhì)量、多樣化和代表性，確保數(shù)據(jù)在不同場(chǎng)景下的全面覆蓋，以增強(qiáng)模型的魯棒性；
• 有效的數(shù)據(jù)預(yù)處理：去除噪聲、錯(cuò)誤和不一致性的數(shù)據(jù)對(duì)于模型至關(guān)重要；
• 數(shù)據(jù)不平衡處理：過(guò)采樣、欠采樣和SMOTE等技術(shù)有助于平衡數(shù)據(jù)集；
• 數(shù)據(jù)增強(qiáng)和合成：采用數(shù)據(jù)增強(qiáng)手段對(duì)數(shù)據(jù)集擴(kuò)充但需要確保數(shù)據(jù)標(biāo)注的一致性；同時(shí)利用提示工程或多步生成的方式合成數(shù)據(jù)；
• 道德數(shù)據(jù)處理：審查數(shù)據(jù)中有害或有偏見(jiàn)的內(nèi)容，以防止模型輸出有害結(jié)果；
• 定期評(píng)估和迭代：持續(xù)評(píng)估和迭代數(shù)據(jù)準(zhǔn)備流程，利用反饋循環(huán)和性能指標(biāo)確保持續(xù)改進(jìn)并適應(yīng)新的數(shù)據(jù)需求。

模型初始化

在該階段主要配置環(huán)境、安裝依賴項(xiàng)、選擇合適的大模型、下載對(duì)應(yīng)的模型、預(yù)先在特定任務(wù)執(zhí)行模型。

在模型選擇時(shí)，需要考慮選擇的模型與目標(biāo)任務(wù)的一致性如何、模型的可用性和兼容性、模型的架構(gòu)、資源的限制等等。

訓(xùn)練設(shè)置

主要是在模型訓(xùn)練過(guò)程中設(shè)置優(yōu)化器、損失函數(shù)、參數(shù)調(diào)節(jié)。

• 學(xué)習(xí)率調(diào)節(jié)：一般使用較低的學(xué)習(xí)率，采用學(xué)習(xí)率預(yù)熱也會(huì)有益；
• Batch大?。阂话愀蟮腂atch可以獲得更好的效果，但需要選擇一個(gè)平衡顯存限制和訓(xùn)練效率的Batch大??；
• 定期保存檢查點(diǎn)：不同間隔定期保存模型權(quán)重，實(shí)施及早停止測(cè)略，防止模型過(guò)擬合；
• 數(shù)據(jù)并行和模型并行：考慮使用數(shù)據(jù)并行或模型并行技術(shù)，將訓(xùn)練工作負(fù)載分布在多個(gè)GPU或TPU上；
• 定期監(jiān)控和記錄：蹤訓(xùn)練指標(biāo)、資源使用和潛在瓶頸，可以用TensorBoard、Weights & Biases、MLflow等工具；
• 混合精度訓(xùn)練：以減少內(nèi)存使用并提高計(jì)算效率，可以顯著加快訓(xùn)練速度并減少所需的內(nèi)存占用；
• 評(píng)估和迭代：使用單獨(dú)的驗(yàn)證集不斷評(píng)估模型性能，并根據(jù)結(jié)果對(duì)訓(xùn)練過(guò)程進(jìn)行迭代；
• 模型可重復(fù)：通過(guò)設(shè)置隨機(jī)種子并提供訓(xùn)練過(guò)程的詳細(xì)記錄來(lái)確?？芍貜?fù)性，有助于調(diào)試和進(jìn)一步開(kāi)發(fā)。

微調(diào)技術(shù)

主要有特定任務(wù)的微調(diào)、特定領(lǐng)域的微調(diào)、參數(shù)高效微調(diào)、半微調(diào)、偏好對(duì)齊、MoE、MOA等。

參數(shù)高效微調(diào)

評(píng)估和驗(yàn)證

有效評(píng)估LLMs需要根據(jù)模型性能的各個(gè)方面指定一些特殊的評(píng)價(jià)指標(biāo)：

• 困惑度：衡量概率分布或模型預(yù)測(cè)樣本的程度
• 事實(shí)性：評(píng)估LLM所提供信息的準(zhǔn)確性
• LLM不確定性：利用每個(gè)生成令牌的對(duì)數(shù)概率，衡量模型輸出文本的置信度
• 提示困惑度：評(píng)估模型對(duì)輸入提示的理解程度
• 上下文相關(guān)性：衡量檢索到的上下文與用戶查詢的相關(guān)性
• 完整性：評(píng)估模型的響應(yīng)是否根據(jù)提供的上下文完全回答了查詢
• Chuk歸屬和利用：評(píng)估檢索到的信息塊對(duì)最終響應(yīng)的貢獻(xiàn)效果如何
• 數(shù)據(jù)錯(cuò)誤潛力：量化了模型在學(xué)習(xí)訓(xùn)練數(shù)據(jù)時(shí)面臨的困難，數(shù)據(jù)質(zhì)量越高，錯(cuò)誤潛力越低
• 安全指標(biāo)：確保LLM的輸出適當(dāng)且無(wú)害

評(píng)測(cè)榜單

安全性評(píng)測(cè)指標(biāo)

模型部署

本地部署、云平臺(tái)部署、分布式部署、模型量化等。

模型監(jiān)控

性能監(jiān)控、準(zhǔn)確性監(jiān)控、錯(cuò)誤監(jiān)控、日志分析、警報(bào)機(jī)制、反饋循環(huán)、安全監(jiān)控、模型版本控制、提示詞監(jiān)控、輸出結(jié)果監(jiān)控、LLM知識(shí)更新等。

本文轉(zhuǎn)載自NLP工作站，作者：劉聰NLP ????