除了統(tǒng)計(jì)模型和其他的一些算法，回歸是機(jī)器學(xué)習(xí)成功運(yùn)行的重要構(gòu)成要素。回歸的核心是尋找變量之間的關(guān)系，而機(jī)器學(xué)習(xí)需要根據(jù)這種關(guān)系來預(yù)測(cè)結(jié)果。

顯然，任何稱職的機(jī)器學(xué)習(xí)工程師都應(yīng)重視回歸，但回歸也有很多種。線性回歸和邏輯回歸通常是人們最先學(xué)習(xí)的算法，然而還有許多回歸類型。每種類型都有各自的重要性，并且有最適合應(yīng)用的情境。那么，該用哪一種呢?

本文將用通俗易懂的方式介紹最常用的回歸類型，遇到具體任務(wù)時(shí)你便知曉該使用哪一種。

[[267540]]

1. 線性回歸Linear regression

線性回歸是最典型的回歸類型，大約250年前就已出現(xiàn)，也被稱為普通最小二乘法(OLS)和線性最小二乘法回歸?？梢允褂盟鼘?duì)小數(shù)據(jù)集進(jìn)行計(jì)算，甚至可以手動(dòng)計(jì)算。目前線性回歸常用于插值，但不適合實(shí)際預(yù)測(cè)和主動(dòng)分析。

另外，現(xiàn)代數(shù)據(jù)常常結(jié)構(gòu)混亂，線性回歸容易“滯后”：線性回歸過于精確。如果模型對(duì)一組數(shù)據(jù)計(jì)算精確，對(duì)另一組數(shù)據(jù)卻極不精確，而線性回歸本應(yīng)描述一般模式，過于精確會(huì)使其在幾乎所有情況下變得不穩(wěn)定。

2. 嶺回歸Ridge regression

嶺回歸是線性回歸的重要改進(jìn)，增加了誤差容忍度，對(duì)回歸系數(shù)進(jìn)行了限制，從而得到更加真實(shí)的結(jié)果，并且結(jié)果更容易解釋。該方法用于解決自變量之間相互關(guān)聯(lián)(多重共線性)時(shí)的數(shù)據(jù)冗余問題。

嶺回歸需要使用如下公式來評(píng)估參數(shù)：

3. 套索回歸Lasso-regression

套索回歸與嶺回歸類似，但回歸系數(shù)可為0(模型中排除了一些符號(hào))。

4. 偏最小二乘法回歸Partial least squares(PLS)

與自變量數(shù)目相比，觀察結(jié)果很少時(shí)，或者自變量高度相關(guān)時(shí)，PLS會(huì)很有用。PLS可將自變量減少，并使其不相關(guān)，類似于主成分分析。然后，對(duì)這些自變量而非原始數(shù)據(jù)進(jìn)行線性回歸。

PLS強(qiáng)調(diào)發(fā)展預(yù)測(cè)模型，不用于篩選變量。與OLS不同，PLS可以包含多個(gè)連續(xù)因變量。PLS利用相關(guān)結(jié)構(gòu)識(shí)別較小的效應(yīng)，并對(duì)因變量中的多元模式進(jìn)行建模。

[[267543]]

來源：Pexels

5. 邏輯回歸Logistic regression

邏輯回歸廣泛應(yīng)用于臨床試驗(yàn)、量化，或者欺詐分析——當(dāng)測(cè)試藥物或信用卡交易的信息可以二進(jìn)制形式(是/否)獲得時(shí)。線性回歸固有的缺點(diǎn)它也有，如低誤差容忍度、依賴數(shù)據(jù)集，但總的來說，邏輯回歸更好，并且可以簡(jiǎn)化為線性回歸類型來簡(jiǎn)化計(jì)算。有些版本如泊松回歸得到了改進(jìn)，以便有時(shí)需要得到非二進(jìn)制答案，例如分類、年齡組、甚至回歸樹。

6. 生態(tài)回歸 Ecological Regression

生態(tài)回歸用于將數(shù)據(jù)劃分為相當(dāng)大的層或組的情況(回歸分別應(yīng)用于每個(gè)層或組)，例如，在政治學(xué)中生態(tài)回歸用于根據(jù)匯總數(shù)據(jù)評(píng)估選民的群體行為。

然而，應(yīng)該警惕“大數(shù)據(jù)的詛咒”：如果對(duì)數(shù)百萬次回歸進(jìn)行統(tǒng)計(jì)，其中一些模型可能完全不準(zhǔn)確，成功的模型將被高度(且人為)一致的嘈雜模型“擊潰”。因此，這種類型的回歸不適合預(yù)測(cè)極端事件(地震)和研究因果關(guān)系(全球變暖)。

7. 貝葉斯線性回歸Bayesian linear regression

貝葉斯線性回歸與嶺回歸類似，但它的前提是所有可能的誤差都服從正態(tài)分布。因此，假設(shè)對(duì)數(shù)據(jù)結(jié)構(gòu)有基本了解，就可能獲得更精確的模型(特別是與線性回歸相比)。

然而，在實(shí)際操作中，若處理大數(shù)據(jù)，對(duì)數(shù)據(jù)的初始了解并不能保證準(zhǔn)確性，所以這種假設(shè)是基于共軛值的，即本質(zhì)上是人為的，這是這種回歸類型的一個(gè)顯著缺陷。

觀測(cè)變量的計(jì)算：

誤差服從正態(tài)分布：

8. 分位數(shù)回歸Quantile regression

分位數(shù)回歸用于極端事件，包括故意在結(jié)果中引入偏差，從而提高模型的準(zhǔn)確性。

9. 最小絕對(duì)偏差Least absolute deviations(LAD)

最小絕對(duì)偏差也稱為最小絕對(duì)誤差(LAE)、最小絕對(duì)值(LAV)、最小絕對(duì)殘差(LAR)、絕對(duì)偏差之和或L1范數(shù)條件，是最小的模量方法。它用于從包含隨機(jī)誤差的測(cè)量值中評(píng)估未知值，以及估算給定函數(shù)的表示法(近似值)。最小絕對(duì)偏差看起來像線性回歸，但使用的是絕對(duì)值而不是平方。因此，模型的準(zhǔn)確性有所提高，且沒有使計(jì)算復(fù)雜化。

10. 刀切法重采樣Jackknife resampling(大折刀法)

刀切法重采樣是一種用于聚類和數(shù)據(jù)細(xì)化的新型回歸方法。這種方法不具有典型回歸類型的缺點(diǎn)，能為回歸問題提供近似但非常準(zhǔn)確、抗誤差的解決方案，自變量相關(guān)或不“服從”正態(tài)分布時(shí)都可使用。

這種類型的回歸很適合黑盒類型預(yù)測(cè)算法，它非常接近線性回歸，沒有精度損失，即使傳統(tǒng)回歸假設(shè)(變量不相關(guān)、數(shù)據(jù)正態(tài)分布、條件方差恒定)由于數(shù)據(jù)性質(zhì)不被接受，它依舊可以使用。

假設(shè)樣本如下：

在概率統(tǒng)計(jì)理論中，假設(shè)這是一組獨(dú)立同分布的隨機(jī)變量，且以下是要研究的數(shù)據(jù)：

約翰•圖基(John Tukey)在1949年提出的觀點(diǎn)(即“大折刀法”)是對(duì)一個(gè)樣本做大量的研究，排除一個(gè)觀察結(jié)果(并返回之前被排除的結(jié)果)。下面列出了從原始數(shù)據(jù)中獲得的樣本：

每一項(xiàng)都有n個(gè)新樣本，樣本容量為n-1，且都可用來計(jì)算計(jì)量經(jīng)濟(jì)學(xué)感興趣的統(tǒng)計(jì)數(shù)據(jù)的價(jià)值(樣本容量減1)：

通過獲得的統(tǒng)計(jì)值，可了解其分布和分布的特征，如期望、中值、分位數(shù)、散點(diǎn)和均方差。

那么，該使用哪一種回歸?

[[267552]]

• 如果模型需要連續(xù)的因變量：線性回歸是最常見和最直接的使用類型。如果有一個(gè)連續(xù)的因變量，可能要首先考慮線性回歸模型。然而，要注意線性回歸的幾個(gè)缺點(diǎn)，如對(duì)異常值和多重共線性很敏感。在這種情況下，最好使用更高級(jí)的線性回歸變體，如嶺回歸、套索回歸和偏最小二乘法回歸(PLS)。
• 如果模型需要分類因變量：應(yīng)使用邏輯回歸。這種模型最適合二元因變量。在進(jìn)行更復(fù)雜的分類建模之前，最好先使用這種模型。分類變量的有些值可以根據(jù)特征放入可計(jì)數(shù)的不同組中。邏輯回歸對(duì)因變量進(jìn)行變換，然后使用最大似然估計(jì)法而非最小二乘法來估計(jì)參數(shù)。
• 如果模型需要計(jì)數(shù)因變量：應(yīng)使用泊松回歸。計(jì)數(shù)數(shù)據(jù)往往遵循泊松分布，因此泊松回歸很適合。使用泊松變量可以計(jì)算和評(píng)估發(fā)生率。