[[330500]]

【51CTO.com快譯】

訓(xùn)練和測試深度學(xué)習(xí)模型是個困難的過程，需要對機(jī)器學(xué)習(xí)和數(shù)據(jù)基礎(chǔ)架構(gòu)有深入了解。從特征建模到超參數(shù)優(yōu)化，訓(xùn)練和測試深度學(xué)習(xí)模型的方法是實(shí)際環(huán)境下數(shù)據(jù)科學(xué)解決方案面臨的最大瓶頸之一。簡化這部分有助于簡化深度學(xué)習(xí)技術(shù)的采用。雖然深度學(xué)習(xí)模型的低代碼訓(xùn)練是新興領(lǐng)域，但我們已經(jīng)看到相關(guān)的創(chuàng)新。解決該問題的最完整解決方案之一來自優(yōu)步AI實(shí)驗(yàn)室。Ludwig(https://ludwig-ai.github.io/ludwig-docs/?from=%40)是一種訓(xùn)練和測試機(jī)器學(xué)習(xí)模型的框架，無需編寫代碼。最近，優(yōu)步發(fā)布了Ludwig的第二版，包括功能上的重要改進(jìn)，以便為機(jī)器學(xué)習(xí)開發(fā)人員提供主流的無代碼體驗(yàn)。

Ludwig的目的是使用一種聲明式無代碼體驗(yàn)，簡化訓(xùn)練和測試機(jī)器學(xué)習(xí)模型的過程。訓(xùn)練是深度學(xué)習(xí)應(yīng)用最耗費(fèi)開發(fā)人員精力的方面之一。通常，數(shù)據(jù)科學(xué)家花大量時間來試驗(yàn)不同的深度學(xué)習(xí)模型，以更高的性能處理特定的訓(xùn)練數(shù)據(jù)集。這個過程不僅涉及訓(xùn)練，還包括其他幾個方面，比如模型比較、評估和工作負(fù)載分配等?？紤]到技術(shù)性很強(qiáng)，訓(xùn)練深度學(xué)習(xí)模型是一項(xiàng)通常僅限于數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)專家的活動，包含大量代碼。雖然該問題對任何機(jī)器學(xué)習(xí)解決方案而言具有普遍性，但在深度學(xué)習(xí)架構(gòu)中變得極為嚴(yán)重，因?yàn)樗鼈兺ǔＩ婕霸S多層和層次。Ludwig使用易于修改和版本控制的聲明式模型，將訓(xùn)練和測試機(jī)器學(xué)習(xí)程序的復(fù)雜性隱藏了起來。

功能方面，Ludwig這個框架用于簡化針對某種場景選擇、訓(xùn)練和評估機(jī)器學(xué)習(xí)模型的過程。Ludwig提供了一套模型架構(gòu)，可以將它們組合在一起，以創(chuàng)建針對一系列特定需求優(yōu)化的端到端模型。從概念上講，Ludwig是基于一系列原則設(shè)計(jì)的：

• 無需編程：Ludwig無需任何機(jī)器學(xué)習(xí)專業(yè)知識即可訓(xùn)練模型。
• 通用性：Ludwig可用于許多不同的機(jī)器學(xué)習(xí)場景。
• 靈活性：Ludwig足夠靈活，可以供經(jīng)驗(yàn)豐富的機(jī)器學(xué)習(xí)從業(yè)人員和毫無經(jīng)驗(yàn)的開發(fā)人員使用。
• 可擴(kuò)展性：Ludwig設(shè)計(jì)時就考慮到可擴(kuò)展性。每個新版本都包含新功能，無需更改核心模型。
• 可解釋性：Ludwig包括可視化元素，可幫助數(shù)據(jù)科學(xué)家了解機(jī)器學(xué)習(xí)模型的性能。

數(shù)據(jù)科學(xué)家使用Ludwig，只需提供含有訓(xùn)練數(shù)據(jù)的CSV文件以及帶有模型輸入和輸出的YAML文件，即可訓(xùn)練深度學(xué)習(xí)模型。使用這兩個數(shù)據(jù)點(diǎn)，Ludwig執(zhí)行多任務(wù)學(xué)習(xí)例程，同時預(yù)測所有輸出并評估結(jié)果。這種簡單的結(jié)構(gòu)是支持快速制作原型的關(guān)鍵。Ludwig在底層提供了一系列深度學(xué)習(xí)模型，這些模型不斷加以評估，可以合并到最終的架構(gòu)中。

Ludwig背后的主要創(chuàng)新基于針對特定數(shù)據(jù)類型的編碼器和解碼器這個概念。針對支持的任何一種數(shù)據(jù)類型，Ludwig使用特定的編碼器和解碼器。與其他深度學(xué)習(xí)架構(gòu)中一樣，編碼器將原始數(shù)據(jù)映射到張量(tensor)，解碼器將張量映射到輸出。Ludwig的架構(gòu)還包括組合器概念：組合器是一種組件，用于組合來自所有輸入編碼器的張量，對它們處理后，返回供輸出解碼器使用的張量。

圖1

數(shù)據(jù)科學(xué)家將Ludwig用于兩種主要的功能：訓(xùn)練和預(yù)測。假設(shè)我們在處理擁有下列數(shù)據(jù)集的文本分類場景：

圖2

我們可以開始入手Ludwig，只需使用下列命令來安裝它：

pip install ludwig  
python -m spacy download en 

下一步是配置模型定義YAML文件，該文件指定了模型的輸入和輸出特征。

input_features:  
-  
name: text  
type: text  
encoder: parallel_cnn  
level: wordoutput_features:  
-  
name: class  
type: category 

有了這兩個輸入(訓(xùn)練數(shù)據(jù)和YAML配置)，我們可以使用下列命令訓(xùn)練深度學(xué)習(xí)模型：

ludwig experiment \  
--data_csv reuters-allcats.csv \  
--model_definition_file model_definition.yaml 

Ludwig提供了一系列可視化元素，可以在訓(xùn)練和預(yù)測過程中使用這些元素。比如說，學(xué)習(xí)曲線可視化元素讓我們可以了解模型的訓(xùn)練和測試性能。

圖3

訓(xùn)練后，我們可以使用下列命令評估模型的預(yù)測：

ludwig predict --data_csv path/to/data.csv --model_path /path/to/model 

其他可視化元素可用于評估模型的性能。

圖4

Ludwig的新增功能

最近優(yōu)步發(fā)布了Ludwig的第二版，為核心架構(gòu)增添了一系列新功能，這些新功能旨在改善訓(xùn)練和測試模型的無代碼體驗(yàn)。Ludwig的許多新功能基于與其他機(jī)器學(xué)習(xí)架構(gòu)或框架集成。以下是一些主要功能：

• 與Comet.ml集成：Comet.ml是市面上用于超參數(shù)優(yōu)化和機(jī)器學(xué)習(xí)試驗(yàn)的最流行平臺之一。Ludwig與Comet.ml集成的新功能帶來了超參數(shù)分析或?qū)崟r性能評估等功能，而這些功能是數(shù)據(jù)科學(xué)家工具箱的必要組成部分。
• 模型服務(wù)：模型服務(wù)是機(jī)器學(xué)習(xí)程序生命周期的一個關(guān)鍵部分。Ludwig的新版本提供了API端點(diǎn)，使用簡單的REST查詢來提供經(jīng)過訓(xùn)練的模型和查詢預(yù)測。
• 音頻/語音功能：Ludwig 0.2最重要的新增功能之一是支持音頻功能。這使數(shù)據(jù)科學(xué)家可以用極少的代碼構(gòu)建音頻分析模型。
• BERT編碼器：BERT是深度學(xué)習(xí)歷史上最受歡迎的語言模型之一。BERT基于Transformer架構(gòu)，可以執(zhí)行許多語言任務(wù)，比如問題解答或文本生成。Ludwig現(xiàn)在支持BERT，作為文本分類場景的原生構(gòu)建模塊。
• H3功能：H3是非常流行的空間索引，用于將位置編碼成64位整數(shù)。Ludwig 0.2直接支持H3，允許使用空間數(shù)據(jù)集實(shí)施機(jī)器學(xué)習(xí)模型。

Ludwig的其他新增功能包括可視化API方面的改進(jìn)、新的日期功能、為文本標(biāo)識化更好地支持非英語語言以及更好的數(shù)據(jù)預(yù)處理功能。尤其是數(shù)據(jù)注入似乎是下一Ludwig版本重點(diǎn)關(guān)注的方面。

Ludwig仍是一種比較新的框架，仍需要大量改進(jìn)。然而，支持低代碼模型是一個關(guān)鍵的構(gòu)建模塊，可以方便更廣泛的開發(fā)人員采用機(jī)器學(xué)習(xí)。此外，Ludwig抽象并簡化了市面上一些主流機(jī)器學(xué)習(xí)框架的使用。

原文標(biāo)題：Uber’s Ludwig is an Open Source Framework for Low-Code Machine Learning，作者：Jesus Rodriguez

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】