用開源項目AutoXGB助力AutoML開發(fā)，實現(xiàn)幾行代碼構(gòu)建應(yīng)用API

作者：朱先忠 2022-04-01 09:30:00

本文將向您介紹如何借助開源項目AutoXGB來簡化自動機(jī)器學(xué)習(xí)，僅用幾行代碼即可訓(xùn)練、優(yōu)化和構(gòu)建應(yīng)用API。

譯者 | 朱先忠

審校 | 梁策孫淑娟

AutoML簡介

自動機(jī)器學(xué)習(xí)(AutoML)能夠自動運(yùn)行各種機(jī)器學(xué)習(xí)過程，并優(yōu)化錯誤度量以生成最佳模型。這些過程包括數(shù)據(jù)預(yù)處理、編碼、縮放、優(yōu)化超參數(shù)、模型訓(xùn)練、生成制品和結(jié)果列表。自動化機(jī)器學(xué)習(xí)過程可以快速開發(fā)人工智能解決方案，讓用戶體驗變得友好，并通常以低代碼即可生成準(zhǔn)確結(jié)果。

目前市場上流行的一些著名AutoML庫包括：

??LightAutoML??
??MLJar??
??EvalML??
??FLAML??
??PyCaret??
??AutoGluon??
??H2O 3??

在這篇教程中，我們將使用美國1994年人口普查時的收入數(shù)據(jù)來預(yù)測一個人的年收入是否超過5萬美元。這是一個經(jīng)典的二分類問題，我們將在??CC0公共域許可??下使用Kaggle成人普查收入數(shù)據(jù)集進(jìn)行預(yù)測。該數(shù)據(jù)由美國硅圖公司(SGI，Silicon Graphics)數(shù)據(jù)挖掘和可視化部門的羅尼·克哈伊(Ronny Kohavi)和巴里·貝克爾(Barry Becker)從美國1994年人口普查局?jǐn)?shù)據(jù)庫中提供。但是，我們這里不去深入研究數(shù)據(jù)分析或模型工作方式，只是僅用幾行代碼來構(gòu)建一個優(yōu)化的機(jī)器學(xué)習(xí)模型，并使用FastAPI服務(wù)器對該模型進(jìn)行訪問。

AutoXGB項目簡介

AutoXGB是一個開源、簡單、有效的AutoML輔助開發(fā)工具，可以直接從CSV文件中訓(xùn)練模型表格數(shù)據(jù)集。AutoXGB使用XGBoost(優(yōu)化的分布式梯度增強(qiáng)庫)來訓(xùn)練模型，使用Optuna(為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)特別設(shè)計的自動超參數(shù)優(yōu)化框架)進(jìn)行超參數(shù)優(yōu)化，并使用基于Python的FastAPI框架并以API的形式提供模型推理。

下面讓我們從安裝AutoXGB開始介紹。如果在運(yùn)行服務(wù)器時遇到錯誤，請確保預(yù)先已正確安裝了FastAPI框架和unvicorn服務(wù)器程序。安裝AutoXGB的命令如下：

pip install autoxgb

初始化

接下來，我們將深入介紹AutoXGB函數(shù)的特征，以及如何使用與之相關(guān)的各項參數(shù)來改進(jìn)計算結(jié)果或減少訓(xùn)練時間。AutoXGB函數(shù)的各項參數(shù)含義說明如下：

train_filename：訓(xùn)練數(shù)據(jù)所在的路徑。
output：存儲工件的輸出文件夾的路徑。
test_filename：測試數(shù)據(jù)所在路徑。如果未指定，則僅保存折外預(yù)測(out-of-fold predictions，簡稱“OOF預(yù)測”)數(shù)據(jù)。
task：如果未指定該參數(shù)值，系統(tǒng)將自動推斷其值。此參數(shù)有兩個取值：

1."classification"

2."regression"

idx：如果未指定該參數(shù)值，系統(tǒng)將自動使用名稱id生成 id列。
targets：如果未指定該參數(shù)值，則假定目標(biāo)列被命名為目標(biāo)(target)，并將該問題視為一個二分類、多類分類或單列回歸三種問題之一。此參數(shù)可以使用如下兩種取值：

1.["target"]

2.["target1", "target2"]

features：如果未指定該參數(shù)值，除去id、targets和kfold列外的所有列都會被使用。指定值方式例如：

1.features = ["col1", "col2"]

categorical_features：如果未指定該參數(shù)值，將自動推斷分類列。指定值方式例如：

1.categorical_features = ["col1", "col2"]

use_gpu：如果未指定該參數(shù)值，將不啟用GPU計算功能。指定值方式例如：

1.use_gpu = True

2.use_gpu = False

num_folds：用來進(jìn)行交叉驗證的折(fold)的個數(shù)。
seed：隨機(jī)種子的重復(fù)性。
num_trials：運(yùn)行的Optuna試驗次數(shù);默認(rèn)值為1000。
time_limit：以秒計量的optuna試驗時限。

1.如果未指定，將運(yùn)行所有試驗。此時(默認(rèn))有time_limit = None。

fast：如果fast參數(shù)值設(shè)置為True，超參數(shù)調(diào)整將只使用一次，從而減少優(yōu)化時間。之后，將在折(fold)的其余部分進(jìn)行訓(xùn)練，并生成OOF和測試預(yù)測。

在我們的測試項目中，除了參數(shù)train_filename、output、target、num_folds、seed、num_trails和time_limit之外，我們將大多數(shù)參數(shù)的值設(shè)置為默認(rèn)值。項目中各參數(shù)的完整設(shè)置情況，如下所示：

from autoxgb import AutoXGB
train_filename = "binary_classification.csv"
output = "output"
test_filename = None
task = None
idx = None
targets = ["income"]
features = None
categorical_features = None
use_gpu = False
num_folds = 5
seed = 42
num_trials = 100
time_limit = 360
fast = False

訓(xùn)練與優(yōu)化

現(xiàn)在，我們可以使用AutoXGB函數(shù)定義模型，并將之前定義的參數(shù)添加到模型中。最后，我們將調(diào)用axgb.train()函數(shù)開始訓(xùn)練過程。此時，將運(yùn)行XGBoost和Optuna，并輸出各種制品(包括模型、預(yù)測、結(jié)果、配置、參數(shù)、編碼器等)。

axgb = AutoXGB(
    train_filename=train_filename,
    output=output,
    test_filename=test_filename,
    task=task,
    idx=idx,
    targets=targets,
    features=features,
    categorical_features=categorical_features,
    use_gpu=use_gpu,
    num_folds=num_folds,
    seed=seed,
    num_trials=num_trials,
    time_limit=time_limit,
    fast=fast,
)
axgb.train()

訓(xùn)練過程耗時10-12分鐘，我們可以看到下面的最佳訓(xùn)練結(jié)果，并可以通過增加時間限制來提高F1分?jǐn)?shù)。此外，我們還可以使用其他超參數(shù)來提高模型性能。

2022-02-09 18:11:27.163 | INFO     | autoxgb.utils:predict_model:336 - Metrics: {'auc': 0.851585935958628, 'logloss': 0.3868651767621002, 'f1': 0.5351485750859325, 'accuracy': 0.8230396087432015, 'precision': 0.7282822005864846, 'recall': 0.42303153575005525}

使用CLI命令行進(jìn)行訓(xùn)練

為了使用bash終端方式進(jìn)行模型訓(xùn)練，我們可以使用命令autoxgb train。此時，我們將只需設(shè)置train_filename和output兩個參數(shù)即可。其中，參數(shù)train_filename用于確定訓(xùn)練的二分類文件名，而參數(shù)output用于指出輸出文件夾位置。命令如下：

autoxgb train \
 --train_filename binary_classification.csv \
 --output output \

Web API

通過在終端中運(yùn)行autoxgb 服務(wù)的方式，我們可以在本地運(yùn)行FastAPI服務(wù)器。

AutoXGB服務(wù)參數(shù)

model_path：指向模型文件的路徑。在本文測試中，指向輸出文件夾。
Port：服務(wù)器主機(jī)運(yùn)行的端口號，值為8080。
host：運(yùn)行的服務(wù)器主機(jī)，IP地址是：0.0.0.0。
workers：工作線程數(shù)或同時請求的數(shù)量。
debug：顯示錯誤和成功的日志。

在Deepnote云服務(wù)器上運(yùn)行

為了在云上運(yùn)行服務(wù)器，??Deepnote??使用ngrok創(chuàng)建了一個公共URL。我們只需要啟用該選項并使用8080端口即可。當(dāng)然，如果您在本地運(yùn)行，則無需此步，直接使用地址“http://0.0.0.0:8080”即可。

我們提供了運(yùn)行服務(wù)器的模型路徑、主機(jī)ip和端口號。

!autoxgb serve --model_path /work/output --host 0.0.0.0 --port 8080 --debug

結(jié)果顯示，我們的API運(yùn)行平穩(wěn)。您可以使用網(wǎng)址https://8d3ae411-c6bc-4cad-8a14-732f8e3f13b7.deepnoteproject.com來觀察相應(yīng)的結(jié)果數(shù)據(jù)。

INFO:     Will watch for changes in these directories: ['/work']
INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)
INFO:     Started reloader process [153] using watchgod
INFO:     Started server process [163]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     172.3.161.55:40628 - "GET /docs HTTP/1.1" 200 OK
INFO:     172.3.188.123:38788 - "GET /openapi.json HTTP/1.1" 200 OK
INFO:     172.3.167.43:48326 - "GET /docs HTTP/1.1" 200 OK
INFO:     172.3.161.55:47018 - "GET /openapi.json HTTP/1.1" 200 OK

預(yù)測

我們可以添加隨機(jī)輸入來預(yù)測某人的收入是否超過5萬美元。在本例中，我們使用FastAPI/docs選項訪問用戶界面。

輸入數(shù)據(jù)

我們使用FastAPI GUI來運(yùn)行模型預(yù)測，這可以通過在服務(wù)器地址末尾添加/docs實現(xiàn)，例如“172.3.167.43:39118/docs”。本文項目中輸入的其他測試數(shù)據(jù)如下：

workclass："Private"
education："HS-grad"
marital.status："Widowed"
occupation："Transport-moving"
relationship："Unmarried"
race："White"
sex："Male"
native.country："United-States"
age：20
fnlwgt：313986
education.num：9
capital.gain：0
capital.loss：0
hours.per.week：40

測試結(jié)果

實驗的結(jié)果是：小于5萬美元的置信度為97.6%，而大于5萬美元的置信度為2.3%。

使用Request庫進(jìn)行測試

你還可以借助Python中的requests庫來測試API。這一步很簡單，你只需以字典的形式推送參數(shù)，然后就可以通過JSON格式獲得輸出結(jié)果。

import requests

params = {
    "workclass": "Private",
    "education": "HS-grad",
    "marital.status": "Widowed",
    "occupation": "Transport-moving",
    "relationship": "Unmarried",
    "race": "White",
    "sex": "Male",
    "native.country": "United-States",
    "age": 20,
    "fnlwgt": 313986,
    "education.num": 9,
    "capital.gain": 0,
    "capital.loss": 0,
    "hours.per.week": 40,
}

article = requests.post(
    f"https://8d3ae411-c6bc-4cad-8a14-732f8e3f13b7.deepnoteproject.com/predict",
    json=params,
)

data_dict = article.json()
print(data_dict)
## {'id': 0, '<=50K': 0.9762147068977356, '>50K': 0.023785298690199852}

有關(guān)項目源碼

如果對本文項目的完整代碼及有關(guān)示例感興趣，請訪問下面幾個鏈接：

??Deepnote??
??GitHub??
??DAGsHub??

結(jié)論

我本人曾借助AutoXGB并使用AutoML在Kaggle競賽中獲得過優(yōu)異成績，并為一些機(jī)器學(xué)習(xí)項目開發(fā)過一個基礎(chǔ)模型。在整個機(jī)器學(xué)習(xí)過程中，有時結(jié)果可以快速而準(zhǔn)確的獲得，但如果想要創(chuàng)建最先進(jìn)的解決方案，則需要手動嘗試各種機(jī)器學(xué)習(xí)過程。

本教程帶我們學(xué)習(xí)了AutoXGB的各種功能，現(xiàn)在我們可以使用AutoXGB預(yù)處理數(shù)據(jù)，訓(xùn)練XGboost模型，使用Optuna優(yōu)化模型，以及FastAPI運(yùn)行Web服務(wù)器。簡而言之，AutoXGB能夠為日常表格數(shù)據(jù)問題提供端到端的解決方案。

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計算機(jī)教師，自由編程界老兵一枚。早期專注各種微軟技術(shù)(編著成ASP.NET AJX、Cocos 2d-X相關(guān)三本技術(shù)圖書)，近十多年投身于開源世界(熟悉流行全棧Web開發(fā)技術(shù))，了解基于OneNet/AliOS+Arduino/ESP32/樹莓派等物聯(lián)網(wǎng)開發(fā)技術(shù)與Scala+Hadoop+Spark+Flink等大數(shù)據(jù)開發(fā)技術(shù)。

原文標(biāo)題：??No Brainer AutoML with AutoXGB??，作者：Abid Ali Awan

責(zé)任編輯：華軒來源： 51CTO

開源 AutoXGB API

自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡