大家好，我是小寒

今天給大家分享機(jī)器學(xué)習(xí)中的一個(gè)關(guān)鍵知識(shí)點(diǎn)，超參數(shù)調(diào)優(yōu)

超參數(shù)調(diào)優(yōu)是機(jī)器學(xué)習(xí)中調(diào)整模型超參數(shù)以優(yōu)化模型性能的過(guò)程。

超參數(shù)是用戶在模型訓(xùn)練前需要手動(dòng)設(shè)置的參數(shù)，與訓(xùn)練過(guò)程中通過(guò)算法自動(dòng)調(diào)整的參數(shù)（如神經(jīng)網(wǎng)絡(luò)中的權(quán)重）不同。這些超參數(shù)直接控制著訓(xùn)練過(guò)程和模型的行為，例如學(xué)習(xí)率、隱藏層的數(shù)量、隱藏層的節(jié)點(diǎn)數(shù)等。超參數(shù)的選擇對(duì)模型的表現(xiàn)至關(guān)重要。

超參數(shù)調(diào)優(yōu)的目的是找到一組最佳的超參數(shù)，使模型在驗(yàn)證集上表現(xiàn)良好，能夠?qū)崿F(xiàn)良好的泛化能力（即在新數(shù)據(jù)上具有較好的性能），同時(shí)避免過(guò)擬合或欠擬合。

圖片

超參數(shù)調(diào)優(yōu)的重要性

1. 性能優(yōu)化
   合適的超參數(shù)可以顯著提高模型的準(zhǔn)確性、召回率等性能指標(biāo)。
2. 控制過(guò)擬合和欠擬合
   超參數(shù)調(diào)節(jié)可以控制模型復(fù)雜度，降低過(guò)擬合和欠擬合的風(fēng)險(xiǎn)。
3. 訓(xùn)練效率
   調(diào)整超參數(shù)（如學(xué)習(xí)率、批量大?。┛梢蕴岣哂?xùn)練速度并穩(wěn)定收斂。

常見(jiàn)超參數(shù)調(diào)優(yōu)方法

網(wǎng)格搜索

網(wǎng)格搜索是一種系統(tǒng)地搜索超參數(shù)空間的方法，它通過(guò)窮舉搜索遍歷所有可能的超參數(shù)組合。

對(duì)于每組超參數(shù)，模型在訓(xùn)練集上訓(xùn)練并在驗(yàn)證集上評(píng)估性能，從而找到最佳組合。

圖片

步驟：

1. 定義超參數(shù)及其可能取值范圍（通常是離散的值）。
2. 生成所有可能的超參數(shù)組合。
3. 逐一訓(xùn)練模型并在驗(yàn)證集上進(jìn)行評(píng)估。
4. 選擇使模型性能最優(yōu)的超參數(shù)組合。

優(yōu)點(diǎn)：

• 簡(jiǎn)單易實(shí)現(xiàn)。
• 對(duì)于搜索空間較小的問(wèn)題能找到全局最優(yōu)解。

缺點(diǎn)：

• 計(jì)算復(fù)雜度高，隨著超參數(shù)的維度和可能取值數(shù)量增加，搜索空間呈指數(shù)級(jí)增長(zhǎng)。
• 低效：如果某些超參數(shù)的作用較小或?qū)δＰ托阅苡绊懖淮?，依然?huì)浪費(fèi)大量計(jì)算資源。

案例：

假設(shè)有一個(gè)分類模型，其超參數(shù)有：

• learning_rate: [0.001, 0.01, 0.1]
• max_depth: [3, 5, 7]

網(wǎng)格搜索將會(huì)嘗試以下組合：

(0.001, 3), (0.001, 5), (0.001, 7), 
(0.01, 3), (0.01, 5), (0.01, 7),
(0.1, 3), (0.1, 5), (0.1, 7)

一共 3 × 3 = 9 次訓(xùn)練。

隨機(jī)搜索

隨機(jī)搜索是一種隨機(jī)采樣超參數(shù)空間的方法，它從所有可能的超參數(shù)組合中隨機(jī)選擇一定數(shù)量的組合進(jìn)行嘗試，而不是窮盡所有可能性。

圖片

步驟：

1. 定義超參數(shù)的分布范圍。
2. 隨機(jī)采樣一定數(shù)量的超參數(shù)組合。
3. 逐一訓(xùn)練模型并在驗(yàn)證集上進(jìn)行評(píng)估。
4. 選擇使模型性能最優(yōu)的超參數(shù)組合。

優(yōu)點(diǎn)：

• 計(jì)算效率高，通過(guò)減少搜索空間中的點(diǎn)，顯著降低計(jì)算成本。
• 效果較好，相比網(wǎng)格搜索，隨機(jī)搜索在高維空間中更有可能找到接近最優(yōu)的解。

缺點(diǎn)：

• 沒(méi)有系統(tǒng)性，不保證找到全局最優(yōu)解。
• 需要事先定義采樣數(shù)量。

案例：

假設(shè)超參數(shù)空間與上述網(wǎng)格搜索相同，但隨機(jī)搜索僅采樣 5 組超參數(shù)組合，例如：

(0.001, 7), (0.01, 5), (0.1, 3), (0.001, 5), (0.01, 3)

相比網(wǎng)格搜索的 9 次訓(xùn)練，這里僅訓(xùn)練 5 次。

示例代碼

以下是使用 Python 實(shí)現(xiàn)網(wǎng)格搜索和隨機(jī)搜索的示例代碼。

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)

model = RandomForestClassifier(random_state=42)

param_grid = {
    'n_estimators': [10, 50, 100],
    'max_depth': [5, 10, 15],
    'min_samples_split': [2, 5, 10]
}

# 網(wǎng)格搜索
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy')
grid_search.fit(X, y)
print("Best parameters (Grid Search):", grid_search.best_params_)

from scipy.stats import randint
param_dist = {
    'n_estimators': randint(10, 200),
    'max_depth': randint(5, 50),
    'min_samples_split': randint(2, 20)
}

# 隨機(jī)搜索
random_search = RandomizedSearchCV(estimator=model, param_distributinotallow=param_dist, n_iter=10, cv=3, scoring='accuracy', random_state=42)
random_search.fit(X, y)
print("Best parameters (Random Search):", random_search.best_params_)