介紹

在我們的以前文章中介紹過(guò)統(tǒng)計(jì)學(xué)習(xí)中預(yù)測(cè)和推理之間的區(qū)別。盡管這兩種方法的主要區(qū)別在于最終目標(biāo)，但我們都需要估計(jì)一個(gè)未知函數(shù)f。

[[427125]]

換句話說(shuō)，我們需要學(xué)習(xí)一個(gè)將輸入(即自變量X的集合)映射到輸出(即目標(biāo)變量Y)的函數(shù)，如下圖所示。

Y = f(X) + ε

為了估計(jì)未知函數(shù)，我們需要在數(shù)據(jù)上擬合一個(gè)模型。我們?cè)噲D估計(jì)的函數(shù)的形式通常是未知的，因此我們可能不得不應(yīng)用不同的模型來(lái)得到它，或者對(duì)函數(shù)f的形式做出一些假設(shè)。一般來(lái)說(shuō)，這個(gè)過(guò)程可以是參數(shù)化的，也可以是非參數(shù)化的。

在今天的文章中，我們將討論機(jī)器學(xué)習(xí)背景下的參數(shù)和非參數(shù)方法。此外，我們將探討它們的主要差異以及它們的主要優(yōu)點(diǎn)和缺點(diǎn)。

參數(shù)化方法

在參數(shù)化方法中，我們通常對(duì)函數(shù)f的形式做一個(gè)假設(shè)。例如，你可以假設(shè)未知函數(shù)f是線性的。換句話說(shuō)，我們假設(shè)函數(shù)是這樣的。

f(X) = β₀ + β₁ X₁ + … + βₚ Xₚ

其中f(X)為待估計(jì)的未知函數(shù)，β為待學(xué)習(xí)的系數(shù)，p為自變量個(gè)數(shù)，X為相應(yīng)的輸入。

既然我們已經(jīng)對(duì)要估計(jì)的函數(shù)的形式做出了假設(shè)，并選擇了符合這個(gè)假設(shè)的模型，那么我們需要一個(gè)學(xué)習(xí)過(guò)程，這個(gè)學(xué)習(xí)過(guò)程最終將幫助我們訓(xùn)練模型并估計(jì)系數(shù)。

機(jī)器學(xué)習(xí)中的參數(shù)化方法通常采用基于模型的方法，我們對(duì)要估計(jì)的函數(shù)的形式做出假設(shè)，然后根據(jù)這個(gè)假設(shè)選擇合適的模型來(lái)估計(jì)參數(shù)集。

參數(shù)化方法最大的缺點(diǎn)是，我們所做的假設(shè)可能并不總是正確的。例如，你可以假設(shè)函數(shù)的形式是線性的，但實(shí)際上它并不是。因此這些方法涉及較不靈活的算法，通常用于解決一些不復(fù)雜的問(wèn)題。

參數(shù)化方法速度非?？?，而且它們需要的數(shù)據(jù)也少得多(更多相關(guān)內(nèi)容將在下一節(jié)中介紹)。此外，由于參數(shù)化方法雖然不太靈活但是因?yàn)榛谖覀冏龀龅募僭O(shè)，所以它們更容易解釋。

機(jī)器學(xué)習(xí)中的參數(shù)化方法包括線性判別分析、樸素貝葉斯和感知器。

非參數(shù)方法

一般來(lái)說(shuō)非參數(shù)方法指的是對(duì)于要估計(jì)的函數(shù)的形式不做任何潛在的假設(shè)的一組算法。由于沒(méi)有做任何假設(shè)，這種方法可以估計(jì)未知函數(shù)f的任何形式。

非參數(shù)方法往往更精確，因?yàn)樗鼈儗で笞罴褦M合數(shù)據(jù)點(diǎn)。但是這是以需要進(jìn)行大量的觀測(cè)為代價(jià)的(這些觀測(cè)是精確估計(jì)未知函數(shù)f所必需的)。并且這些方法在訓(xùn)練模型時(shí)往往效率較低。另外的一個(gè)問(wèn)題是，非參數(shù)方法有時(shí)可能會(huì)引入過(guò)擬合，因?yàn)橛捎谶@些算法更靈活，它們有時(shí)可能會(huì)以無(wú)法很好地泛化到新的、看不見(jiàn)的數(shù)據(jù)點(diǎn)的方式學(xué)習(xí)錯(cuò)誤和噪聲。

非參數(shù)方法非常靈活，因?yàn)闆](méi)有對(duì)底層函數(shù)做出任何假設(shè)，所以可以帶來(lái)更好的模型性能。

機(jī)器學(xué)習(xí)中一些非參數(shù)方法的例子包括支持向量機(jī)和kNN。

總結(jié)

在今天的文章中，我們討論了機(jī)器學(xué)習(xí)背景下的參數(shù)化和非參數(shù)化方法以及它們的優(yōu)點(diǎn)和缺點(diǎn)。

參數(shù)方法往往不太靈活和準(zhǔn)確，但更具可解釋性，而非參數(shù)方法往往更靈活(因此適用于更復(fù)雜的問(wèn)題)和準(zhǔn)確但可解釋性較差。

盡管參數(shù)方法不太靈活并且有時(shí)不太準(zhǔn)確，但它們?cè)谠S多用例中仍然有用，因?yàn)樵诟?jiǎn)單的問(wèn)題中使用非常靈活的非參數(shù)方法可能會(huì)導(dǎo)致過(guò)度擬合。