[[199395]]

導(dǎo)語(yǔ)

機(jī)器學(xué)習(xí)中的模型參數(shù)和模型超參數(shù)在作用、來(lái)源等方面都有所不同，而模型超參數(shù)常被稱(chēng)為模型參數(shù)，這樣，很容易對(duì)初學(xué)者造成混淆。本文給出了模型參數(shù)和模型超參數(shù)的定義，并進(jìn)行了對(duì)比，指出了二者本質(zhì)上的區(qū)別：模型參數(shù)是模型內(nèi)部的配置變量，可以用數(shù)據(jù)估計(jì)模型參數(shù)的值;模型超參數(shù)是模型外部的配置，必須手動(dòng)設(shè)置參數(shù)的值。

我們?cè)谧鲅芯康臅r(shí)候，會(huì)碰到很多術(shù)語(yǔ)。有時(shí)，在不同的研究領(lǐng)域還會(huì)出現(xiàn)同樣名稱(chēng)的術(shù)語(yǔ)。比如，統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)中經(jīng)常使用的“模型參數(shù)”和“模型超參數(shù)”，在機(jī)器學(xué)習(xí)中也同樣存在。

機(jī)器學(xué)習(xí)領(lǐng)域中的“模型參數(shù)”“模型超參數(shù)”在作用、來(lái)源等方面都有所不同，初學(xué)者如果對(duì)二者沒(méi)有明確的認(rèn)識(shí)，學(xué)習(xí)起來(lái)往往會(huì)比較吃力，尤其是那些來(lái)自統(tǒng)計(jì)學(xué)和經(jīng)濟(jì)學(xué)領(lǐng)域的初學(xué)者們。

為了讓大家在應(yīng)用機(jī)器學(xué)習(xí)時(shí)，對(duì)“參數(shù)模型”和“超參數(shù)模型”有一個(gè)清晰的界定，在這篇文章中，我們將具體討論這兩個(gè)術(shù)語(yǔ)。

首先，我們來(lái)看一下“參數(shù)”是什么?

參數(shù)作為模型從歷史訓(xùn)練數(shù)據(jù)中學(xué)到的一部分，是機(jī)器學(xué)習(xí)算法的關(guān)鍵。

統(tǒng)計(jì)學(xué)中的“參數(shù)”：

在統(tǒng)計(jì)學(xué)中，你可以假設(shè)一個(gè)變量的分布，比如高斯分布。高斯分布的兩個(gè)參數(shù)分別是平均值(μ)和標(biāo)準(zhǔn)差(sigma)。這在機(jī)器學(xué)習(xí)中是有效的，其中這些參數(shù)可以用數(shù)據(jù)估計(jì)得到并用作預(yù)測(cè)模型的一部分。

編程中的“參數(shù)”：

編程中可以將參數(shù)傳遞給函數(shù)。在這種情況下，參數(shù)是一個(gè)函數(shù)參數(shù)，可以有一個(gè)值范圍。在機(jī)器學(xué)習(xí)中，您正在使用的具體模型就是函數(shù)，需要參數(shù)才能對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)。

“參數(shù)”和“模型”有什么關(guān)系?

根據(jù)經(jīng)典的機(jī)器學(xué)習(xí)文獻(xiàn)，可以將模型看作假設(shè)，而參數(shù)是根據(jù)特定的數(shù)據(jù)集對(duì)假設(shè)進(jìn)行的具體調(diào)整。

模型是否具有固定或可變數(shù)量的參數(shù)，決定了模型是“參數(shù)”模型或“非參”模型。

什么是模型參數(shù)?

簡(jiǎn)單來(lái)說(shuō)，模型參數(shù)就是模型內(nèi)部的配置變量，可以用數(shù)據(jù)估計(jì)它的值。

具體來(lái)講，模型參數(shù)有以下特征：

• 進(jìn)行模型預(yù)測(cè)時(shí)需要模型參數(shù)。
• 模型參數(shù)值可以定義模型功能。
• 模型參數(shù)用數(shù)據(jù)估計(jì)或數(shù)據(jù)學(xué)習(xí)得到。
• 模型參數(shù)一般不由實(shí)踐者手動(dòng)設(shè)置。
• 模型參數(shù)通常作為學(xué)習(xí)模型的一部分保存。

通常使用優(yōu)化算法估計(jì)模型參數(shù)，優(yōu)化算法是對(duì)參數(shù)的可能值進(jìn)行的一種有效搜索。

模型參數(shù)的一些例子包括：

• 人造神經(jīng)網(wǎng)絡(luò)中的權(quán)重。
• 支持向量機(jī)中的支持向量。
• 線(xiàn)性回歸或邏輯回歸中的系數(shù)。

什么是模型超參數(shù)?

模型超參數(shù)是模型外部的配置，其值不能從數(shù)據(jù)估計(jì)得到。

具體特征有：

• 模型超參數(shù)常應(yīng)用于估計(jì)模型參數(shù)的過(guò)程中。
• 模型超參數(shù)通常由實(shí)踐者直接指定。
• 模型超參數(shù)通?？梢允褂脝l(fā)式方法來(lái)設(shè)置。
• 模型超參數(shù)通常根據(jù)給定的預(yù)測(cè)建模問(wèn)題而調(diào)整。

怎樣得到它的***值：對(duì)于給定的問(wèn)題，我們無(wú)法知道模型超參數(shù)的***值。但我們可以使用經(jīng)驗(yàn)法則來(lái)探尋其***值，或復(fù)制用于其他問(wèn)題的值，也可以通過(guò)反復(fù)試驗(yàn)的方法。

模型超參數(shù)的一些例子包括：

• 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率。
• 支持向量機(jī)的C和sigma超參數(shù)。
• k鄰域中的k。

“模型參數(shù)”和“模型超參數(shù)”

二者的聯(lián)系：

當(dāng)針對(duì)特定問(wèn)題調(diào)整機(jī)器學(xué)習(xí)算法時(shí)，例如在使用網(wǎng)格搜索或隨機(jī)搜索時(shí)，你將調(diào)整模型或命令的超參數(shù)，以發(fā)現(xiàn)一個(gè)可以使模型預(yù)測(cè)最熟練的模型參數(shù)。許多模型中重要的參數(shù)無(wú)法直接從數(shù)據(jù)中估計(jì)得到。例如，在K近鄰分類(lèi)模型中…這種類(lèi)型的模型參數(shù)被稱(chēng)為調(diào)整參數(shù)，因?yàn)闆](méi)有可用的分析公式來(lái)為其計(jì)算一個(gè)合適的值。

– 第64-65頁(yè)，應(yīng)用預(yù)測(cè)建模，2013

區(qū)分：

模型超參數(shù)通常被稱(chēng)為模型參數(shù)，這種叫法很容易讓人產(chǎn)生誤解。解決這個(gè)問(wèn)題的一個(gè)很好的經(jīng)驗(yàn)法則如下：如果你必須手動(dòng)指定一個(gè)“模型參數(shù)”，那么它可能就是一個(gè)模型超參數(shù)。

總結(jié)

讀完這篇文章可以了解模型參數(shù)和模型超參數(shù)的明確定義和區(qū)別。

總而言之，模型參數(shù)是從數(shù)據(jù)中自動(dòng)估計(jì)的，而模型超參數(shù)是手動(dòng)設(shè)置的，并用于估計(jì)模型參數(shù)的過(guò)程。