在人工智能的璀璨星河中，大型語言模型（LLMs）猶如引領(lǐng)方向的燈塔。但要讓這些燈塔照亮特定領(lǐng)域，微調(diào)技術(shù)成為了關(guān)鍵。今天，我們將深入探索Ludwig框架微調(diào)與預訓練技術(shù)，它們正以革新的方式，重塑AI模型微調(diào)的領(lǐng)域。

一、Ludwig 簡介

在AI的世界里，簡單性和靈活性是構(gòu)建強大模型的關(guān)鍵。Ludwig 作為一個開源的低代碼框架，用于構(gòu)建自定義AI 模型，如LLM和其他深度神經(jīng)網(wǎng)絡(luò)。讓這一過程變得像搭積木一樣簡單。

倉庫地址：??https://github.com/ludwig-ai/ludwig??

官網(wǎng)地址：??https://ludwig.ai/latest/??

二、Ludwig 的核心優(yōu)勢

• 極簡上手：用戶僅需使用一個聲明式的 YAML 配置文件，即可輕松訓練出最先進的 LLM 模型。Ludwig 支持多任務和多模態(tài)學習，并提供全面的配置驗證功能，能夠在運行前檢測無效參數(shù)組合，避免錯誤發(fā)生。
• 高效性和可擴展性：自動選擇最佳批量大小，支持 DDP、DeepSpeed 等分布式訓練策略，并提供參數(shù)高效微調(diào)（PEFT）、4 位量化（QLoRA）、分頁和 8 位優(yōu)化器等多種優(yōu)化特性，即使面對超大規(guī)模數(shù)據(jù)集也能輕松應對。
• 專家級控制:用戶可以完全掌控模型的各個方面，細致到激活函數(shù)的選擇。同時，Ludwig 還提供超參數(shù)優(yōu)化、模型可解釋性分析以及豐富的指標可視化工具，滿足專業(yè)開發(fā)者的需求。
• 模塊化和可擴展設(shè)計:如同深度學習的“積木”，用戶可以通過簡單的參數(shù)調(diào)整嘗試不同的模型架構(gòu)、任務、特征和模態(tài)，極大地提升了模型開發(fā)的靈活性。
• 面向生產(chǎn)環(huán)境:提供預構(gòu)建的 Docker 容器，原生支持在 Kubernetes 上使用 Ray 進行模型部署，并支持將模型導出至 Torchscript 和 Triton 等平臺，以及一鍵上傳模型至 HuggingFace。

三、Ludwig 的主要功能

• 訓練和微調(diào): 支持多種訓練模式，包括對預訓練模型進行完整的訓練和微調(diào)。
• 模型配置: 使用 YAML 文件進行配置，允許用戶對模型參數(shù)進行詳細定義，實現(xiàn)高度的可定制性和靈活性。
• 超參數(shù)調(diào)整: 集成自動超參數(shù)優(yōu)化工具，以增強模型性能。
• 可解釋的人工智能: 提供工具幫助用戶深入了解模型決策，提高模型的可解釋性和透明度。
• 模型服務和基準測試: 簡化模型服務的過程，并支持在不同條件下對模型性能進行基準測試。

Ludwig 的整體設(shè)計理念是簡化 AI 模型的構(gòu)建和部署流程，無論是 AI 領(lǐng)域的新手還是專家，都可以輕松上手，快速構(gòu)建出適用于各種場景的定制化 AI 模型。

四、Ludwig 工作原理

配置

Ludwig 為用戶構(gòu)建 ML 管道的方式提供了一個富有表現(xiàn)力的聲明性配置系統(tǒng)，例如數(shù)據(jù)預處理、模型架構(gòu)、后端基礎(chǔ)設(shè)施、訓練循環(huán)、超參數(shù)優(yōu)化等。

文檔參考：https://ludwig.ai/latest/configuration/

了解更多，請參閱 Ludwig 官網(wǎng)獲得深入?yún)⒖肌?/p>

數(shù)據(jù)類型抽象

Ludwig 中的每個功能都由特定的數(shù)據(jù)類型描述。每種數(shù)據(jù)類型都映射到一組特定的模塊，這些模塊負責處理該類型的預處理、編碼、解碼和后處理。反之亦然，每個模塊（預處理器、編碼器、解碼器）都注冊到該模塊支持的一組特定數(shù)據(jù)類型。

了解更多，請參閱 Ludwig 官網(wǎng)獲得深入?yún)⒖肌?/p>

ECD 技術(shù)架構(gòu)

Ludwig 的核心建模架構(gòu)稱為 ECD（編碼器-組合器-解碼器）。多個輸入特征被編碼并輸入到Combiner 模型，Combiner模型對編碼的輸入進行操作以將它們組合起來。在輸出端，組合器模型的輸出被輸入到每個輸出特征的解碼器進行預測和后處理。詳細了解 Ludwig 的組合器模型，如TabNet、Transformer 和 Concat（廣度和深度學習）。

ECD 架構(gòu)的示意圖就像一只翩翩起舞的蝴蝶，因此也被稱為“蝴蝶架構(gòu)”。

ECD 架構(gòu)可以靈活處理各種不同類型的輸入和輸出數(shù)據(jù)，因此適用于許多不同的應用場景。

五、Ray 分布式訓練

Ludwig on Ray使用戶能夠擴展他們的訓練過程，從在本地筆記本電腦上運行，到在云端的 GPU 實例上運行，再到并行擴展到數(shù)百臺機器，所有這些都無需更改一行代碼。

通過與 Ray 集成，Ludwig 能夠提供一種統(tǒng)一的分布式訓練方法：

• Ray 使您能夠通過其集群啟動器用單個命令配置一組機器。
• Ray 上的 Horovod使您能夠進行分布式訓練，而無需在您的環(huán)境中配置 MPI。
• Dask on Ray使您能夠處理單臺機器內(nèi)存無法容納的大型數(shù)據(jù)集。
• Ray Tune使您能夠輕松地在多臺機器上并行運行分布式超參數(shù)搜索。

Ludwig 中無需更改任何一行代碼。當 Ludwig 檢測到您在 Ray 集群中運行時，Ray 后端將自動啟用。

集群配置文檔：https://docs.ray.io/en/latest/cluster/cli.html#ray-start

集群參考文檔：https://docs.ray.io/en/latest/ray-core/configure.html#cluster-resources

命令行示例：

創(chuàng)建一個名為  config.yaml 的 Ludwig 配置

創(chuàng)建一個名為??cluster.yaml ??Ray Cluster 的配置文件

開始訓練示例：

六、Ludwig 微調(diào)與預訓練實戰(zhàn)

在開始微調(diào)你的 AI 模型之前，需要做一些準備工作，一般 Ludwig 微調(diào) LLM 詳細步驟如下：

• 環(huán)境設(shè)置: 安裝必要的軟件和軟件包。
• 數(shù)據(jù)準備: 選擇和預處理合適的數(shù)據(jù)集。
• YAML 配置: 在 YAML 文件中定義模型參數(shù)和訓練選項。
• 模型訓練和評估: 執(zhí)行微調(diào)過程并評估模型性能。

從技術(shù)角度來看，Ludwig 能夠訓練和微調(diào)任何神經(jīng)網(wǎng)絡(luò)，并支持廣泛的機器學習和深度學習用例。

此外，Ludwig 還提供了可視化、超參數(shù)調(diào)整、可解釋的人工智能、模型基準測試以及模型服務等功能。

安裝必要的軟件包

如果遇到 Transformers 版本的運行時錯誤，請執(zhí)行以下操作。

數(shù)據(jù)準備和預處理

先決條件:

• HuggingFace API 令牌獲取
• 獲得Llama2-7b-hf的訪問批準
• 具有至少 12 GiB VRAM 的 GPU（在我們的測試中，我們使用了 Nvidia T4）

我們將使用Stanford Alpaca數(shù)據(jù)集，該數(shù)據(jù)集將被格式化為如下所示的表格文件：

創(chuàng)建 YAML 配置文件

首先創(chuàng)建一個名為 model.yaml 的 YAML 配置文件，告訴 Ludwig 如何訓練我們的模型。

示例如下：

微調(diào)命令示例：

編碼方式示例：

預訓練監(jiān)督機器學習示例：

Ludwig 模型導出

結(jié)語

Ludwig 不僅是一個框架，它是一位精通技藝的導師，輕輕推開了人工智能領(lǐng)域的神秘大門。它以平易近人的姿態(tài)，迎接每一位對AI充滿好奇的探索者，無論他們是初學者還是資深專家。

Ludwig 的低代碼框架，就像一把精準的瑞士軍刀，為大型語言模型（LLM）的微調(diào)提供了一種既高效又便捷的途徑。它巧妙地在用戶友好的界面與強大的自定義能力之間找到了完美的平衡點。

借助Ludwig，開發(fā)人員可以像編織定制西裝一樣，利用其全面的模型開發(fā)、訓練和評估工具，打造出為特定用例量身定做的AI模型。這些模型不僅強大，而且性能卓越，能夠滿足現(xiàn)實世界多樣化的應用場景。

本文轉(zhuǎn)載自公眾號頂層架構(gòu)領(lǐng)域

原文鏈接：??https://mp.weixin.qq.com/s/FJP8JAt7D6770FVqDpoRyg??