超強(qiáng)！機(jī)器學(xué)習(xí)超參數(shù)調(diào)優(yōu)指南
超參數(shù)調(diào)優(yōu)是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中重要的步驟，旨在選擇最佳的超參數(shù)組合，以提高模型的性能。
超參數(shù)是那些在訓(xùn)練模型之前需要設(shè)置的參數(shù)，而不是在訓(xùn)練過程中自動學(xué)習(xí)的參數(shù)。
常見的超參數(shù)包括學(xué)習(xí)率、批大小、正則化參數(shù)、神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層的神經(jīng)元數(shù)等。
常見的超參數(shù)調(diào)優(yōu)技術(shù)
1.網(wǎng)格搜索
網(wǎng)格搜索是一種窮舉搜索技術(shù)，用于系統(tǒng)地遍歷多種參數(shù)組合，以找到最佳的模型參數(shù)。
這種方法簡單直接，但計(jì)算成本可能較高，尤其是當(dāng)參數(shù)空間較大時。
優(yōu)點(diǎn):
- 簡單易懂：網(wǎng)格搜索直觀易理解，適用于參數(shù)數(shù)量較少時。
- 徹底性：可以保證在給定的參數(shù)網(wǎng)格內(nèi)找到最優(yōu)的組合。
缺點(diǎn):
- 計(jì)算成本高：當(dāng)參數(shù)空間大或者模型復(fù)雜時，計(jì)算成本非常高，因?yàn)樗枰u估所有可能的參數(shù)組合。
代碼示例
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
import numpy as np
# 定義模型
model = RandomForestClassifier()
# 定義參數(shù)網(wǎng)格
param_grid = {
'n_estimators': [50, 100, 200],
'max_features': ['auto', 'sqrt', 'log2'],
'max_depth': [None, 10, 20, 30]
}
# 創(chuàng)建網(wǎng)格搜索對象
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy')
# 擬合網(wǎng)格搜索
grid_search.fit(X_train, y_train)
# 最優(yōu)參數(shù)和最優(yōu)得分
print("最優(yōu)參數(shù):", grid_search.best_params_)
print("最高得分:", grid_search.best_score_)2.隨機(jī)搜索
隨機(jī)搜索不像網(wǎng)格搜索那樣嘗試所有可能的組合，而是在參數(shù)空間中隨機(jī)選取參數(shù)組合。
這種方法可以在更大的參數(shù)空間內(nèi)更快地找到不錯的解。
優(yōu)點(diǎn):
- 高效：在大參數(shù)空間中比網(wǎng)格搜索更加高效，不需要測試所有可能的參數(shù)組合。
缺點(diǎn):
- 無保證：由于其隨機(jī)性，不能保證找到全局最優(yōu)解，特別是在迭代次數(shù)有限的情況下。
- 結(jié)果的隨機(jī)性： 同樣的參數(shù)和設(shè)置可能導(dǎo)致不同的搜索結(jié)果。
代碼示例
from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
# 定義模型
model = RandomForestClassifier()
# 定義參數(shù)分布
param_dist = {
'n_estimators': [50, 100, 200, 300],
'max_features': ['auto', 'sqrt', 'log2'],
'max_depth': [None, 10, 20, 30, 40]
}
# 創(chuàng)建隨機(jī)搜索對象
random_search = RandomizedSearchCV(estimator=model, param_distributinotallow=param_dist, n_iter=100, cv=3, scoring='accuracy')
# 擬合隨機(jī)搜索
random_search.fit(X_train, y_train)
# 最優(yōu)參數(shù)和最優(yōu)得分
print("最優(yōu)參數(shù):", random_search.best_params_)
print("最高得分:", random_search.best_score_)3.貝葉斯優(yōu)化
貝葉斯優(yōu)化是一種高效的全局優(yōu)化技術(shù)，廣泛用于機(jī)器學(xué)習(xí)領(lǐng)域中模型超參數(shù)的調(diào)優(yōu)。
這種方法利用貝葉斯統(tǒng)計(jì)理論，通過構(gòu)建一個代理模型（通常是高斯過程）來預(yù)測目標(biāo)函數(shù)的表現(xiàn)，并基于這個模型進(jìn)行決策，以選擇新的參數(shù)值來測試。
優(yōu)點(diǎn):
- 高效且有效：在較少的函數(shù)評估次數(shù)內(nèi)找到最優(yōu)解，適用于評估代價高的情況。
- 適用于復(fù)雜空間：可以很好地處理非凸的優(yōu)化問題。
缺點(diǎn):
- 實(shí)現(xiàn)復(fù)雜：相對于網(wǎng)格搜索和隨機(jī)搜索，貝葉斯優(yōu)化算法的實(shí)現(xiàn)和調(diào)試更為復(fù)雜。
- 計(jì)算密集型：在每一步都需要更新代理模型，可能需要高昂的計(jì)算成本，尤其是在參數(shù)維度非常高的情況下。
代碼示例
from bayes_opt import BayesianOptimization
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
# 定義目標(biāo)函數(shù)
def rf_cv(n_estimators, max_features, max_depth):
estimator = RandomForestClassifier(
n_estimators=int(n_estimators),
max_features=min(max_features, 0.999), # 浮點(diǎn)類型
max_depth=int(max_depth),
random_state=2
)
cval = cross_val_score(estimator, X_train, y_train, scoring='accuracy', cv=5)
return cval.mean()
# 定義參數(shù)范圍
pbounds = {
'n_estimators': (50, 300),
'max_features': (0.1, 0.999),
'max_depth': (5, 50)
}
# 初始化貝葉斯優(yōu)化
optimizer = BayesianOptimization(f=rf_cv, pbounds=pbounds, random_state=1)
# 執(zhí)行優(yōu)化
optimizer.maximize(init_points=2, n_iter=10)
# 輸出最優(yōu)參數(shù)
print("最優(yōu)參數(shù):", optimizer.max['params'])4.Hyperband
Hyperband 是一種基于多武裝賭博機(jī)的優(yōu)化技術(shù)，利用資源分配和早期停止策略來快速找到最優(yōu)參數(shù)。
這種方法主要適用于需要大量計(jì)算資源的情況，如大規(guī)模深度學(xué)習(xí)模型訓(xùn)練。
優(yōu)點(diǎn):
- 快速且高效： 通過早期停止低效的模型來節(jié)省時間和資源，使得它在處理需要大量資源的訓(xùn)練任務(wù)時特別有效。
- 動態(tài)資源分配：可以更智能地分配計(jì)算資源，優(yōu)先給予表現(xiàn)良好的配置更多的資源。
缺點(diǎn):
- 依賴于早期表現(xiàn)：基于早期停止策略，可能會錯過最初表現(xiàn)不佳但最終可能優(yōu)化良好的配置。
- 實(shí)現(xiàn)復(fù)雜性：相較于其他方法，Hyperband 的實(shí)現(xiàn)更為復(fù)雜，需要對資源管理和調(diào)度有較好的控制。
代碼示例
在這個例子中，我們定義了一個簡單的神經(jīng)網(wǎng)絡(luò)，并用 Hyperband 算法來調(diào)整網(wǎng)絡(luò)中的隱藏層單元數(shù)和學(xué)習(xí)率。
此外，我們使用了 Fashion MNIST 數(shù)據(jù)集來訓(xùn)練和驗(yàn)證模型。
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from kerastuner.tuners import Hyperband
def build_model(hp):
model = keras.Sequential()
model.add(layers.Flatten(input_shape=(28, 28)))
# 使用hp.Int()來定義學(xué)習(xí)的參數(shù)
model.add(layers.Dense(units=hp.Int('units', min_value=32, max_value=512, step=32), activatinotallow='relu'))
model.add(layers.Dense(10, activatinotallow='softmax'))
model.compile(
optimizer=keras.optimizers.Adam(
hp.Choice('learning_rate', [1e-2, 1e-3, 1e-4])),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
return model
# 加載數(shù)據(jù)
(x_train, y_train), (x_test, y_test) = keras.datasets.fashion_mnist.load_data()
x_train = x_train.astype('float32') / 255
x_test = x_test.astype('float32') / 255
# 初始化Hyperband調(diào)優(yōu)器
tuner = Hyperband(
build_model,
objective='val_accuracy',
max_epochs=40,
directory='my_dir',
project_name='hyperband_tuning'
)
# 執(zhí)行超參數(shù)搜索
tuner.search(x_train, y_train, epochs=10, validation_split=0.2)
# 獲取最優(yōu)模型
best_model = tuner.get_best_models(num_models=1)[0]
best_model.evaluate(x_test, y_test)
