統(tǒng)計學(xué)和機(jī)器學(xué)習(xí)是兩個密切相關(guān)的領(lǐng)域。實際上，兩者之間的界限有時可能非常模糊。但是，有一些方法顯然屬于統(tǒng)計領(lǐng)域，不僅在機(jī)器學(xué)習(xí)項目中有用，而且非常有價值?？梢怨降卣f，需要統(tǒng)計方法才能有效地通過機(jī)器學(xué)習(xí)預(yù)測建模項目工作。

[[285550]]

統(tǒng)計學(xué)是先決條件

機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)是兩個緊密相關(guān)的研究領(lǐng)域。因此許多統(tǒng)計學(xué)家將機(jī)器學(xué)習(xí)稱為“ 應(yīng)用統(tǒng)計學(xué) ”或“ 統(tǒng)計學(xué)習(xí) ”，而不是以計算機(jī)科學(xué)為中心的名稱。

所有的機(jī)器學(xué)習(xí)初學(xué)者都應(yīng)該學(xué)習(xí)一點統(tǒng)計學(xué)的知識。下面有幾個精心挑選的例子來具體說明。

從一本流行的應(yīng)用機(jī)器學(xué)習(xí)書《 Applied Predictive Modeling 》的開頭看一下這句話：

… the reader should have some knowledge of basic statistics, including variance, correlation, simple linear regression, and basic hypothesis testing (e.g. p-values and test statistics).

— Page vii, Applied Predictive Modeling, 2013

這是流行的《 Introduction to Statistical Learning 》一書中的另一個示例：

We expect that the reader will have had at least one elementary course in statistics.

— Page 9, An Introduction to Statistical Learning with Applications in R, 2013.

即使不是統(tǒng)計學(xué)的先決 條件，也需要一些原始的先驗知識，這可以從廣泛閱讀的“ Programming Collective Intelligence ”的引用中看出：

… this book does not assume you have any prior knowledge of […] or statistics. […] but having some knowledge of trigonometry and basic statistics will help you understand the algorithms.

— Page xiii, Programming Collective Intelligence: Building Smart Web 2.0 Applications, 2007.

為了能夠理解機(jī)器學(xué)習(xí)，需要對統(tǒng)計信息有一些基本的了解。

想要知道為什么會這樣，我們必須了解為什么首先需要統(tǒng)計領(lǐng)域。

為什么要學(xué)習(xí)統(tǒng)計?

原始觀測值本身就是數(shù)據(jù)，但它們不是信息或知識。

數(shù)據(jù)引發(fā)了一些問題，例如：

• 最常見或最期望的觀察是什么?
• 觀察的極限是什么?
• 數(shù)據(jù)是什么樣的?

盡管它們看起來很簡單，但必須回答這些問題才能將原始觀察結(jié)果轉(zhuǎn)化為我們可以使用和共享的信息。

除了原始數(shù)據(jù)，我們還可以通過設(shè)計實驗來收集觀察數(shù)據(jù)。從這些實驗結(jié)果中，我們可能會遇到更復(fù)雜的問題，例如：

• 哪些變量最相關(guān)?
• 兩次實驗的結(jié)果有何不同?
• 差異是真實存在的還是因為數(shù)據(jù)噪聲產(chǎn)生的?

這些問題很重要。問題的答案對項目，利益相關(guān)者以及有效的決策都是至關(guān)重要的。

需要統(tǒng)計方法來找到關(guān)于數(shù)據(jù)的問題的答案。

我們可以看到，為了了解用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)并解釋測試不同機(jī)器學(xué)習(xí)模型的結(jié)果，都需要統(tǒng)計方法。

這只是冰山一角，因為預(yù)測建模項目中的每個步驟都將需要使用統(tǒng)計方法。

什么是統(tǒng)計學(xué)?

統(tǒng)計學(xué)是數(shù)學(xué)的一個子領(lǐng)域。

它指的是處理數(shù)據(jù)和使用數(shù)據(jù)回答問題的方法的集合。

Statistics is the art of making numerical conjectures about puzzling questions. […] The methods were developed over several hundred years by people who were looking for answers to their questions.

— Page xiii, Statistics, Fourth Edition, 2007.

這是因為該領(lǐng)域包括處理數(shù)據(jù)的方法包，對于初學(xué)者而言，它看起來像是很大的東西，而且是不確定的。很難看出屬于統(tǒng)計方法的方法與屬于其他研究領(lǐng)域的方法之間的界限。通常，技術(shù)既可以是統(tǒng)計中的經(jīng)典方法，又可以是用于特征選擇或建模的現(xiàn)代算法。

盡管統(tǒng)計工作知識不需要深入的理論知識，但一些重要的且易于理解的定理可以為統(tǒng)計和概率之間的關(guān)系提供有價值的基礎(chǔ)。

兩個例子包括大數(shù)定律和中心極限定理;第一個有助于理解為什么較大的樣本通常更好，第二個則為我們?nèi)绾伪容^樣本之間的期望值(例如平均值)提供了基礎(chǔ)。

對于我們在實踐中使用的統(tǒng)計工具，將統(tǒng)計領(lǐng)域分為兩大類方法可能會有所幫助：用于匯總數(shù)據(jù)的描述性統(tǒng)計和用于從數(shù)據(jù)樣本中得出結(jié)論的推論統(tǒng)計。

Statistics allow researchers to collect information, or data, from a large number of people and then summarize their typical experience. […] Statistics are also used to reach conclusions about general differences between groups. […] Statistics can also be used to see if scores on two variables are related and to make predictions.

Pages ix-x, Statistics in Plain English, Third Edition, 2010.

描述統(tǒng)計

描述性統(tǒng)計指的是將原始觀察匯總為我們可以理解和共享的信息的方法。

通常，我們將描述性統(tǒng)計視為對數(shù)據(jù)樣本的統(tǒng)計值的計算，以便總結(jié)數(shù)據(jù)樣本的屬性，例如共同的期望值(例如，均值或中位數(shù))和數(shù)據(jù)的傳播范圍(例如，方差或標(biāo)準(zhǔn)差)。

描述性統(tǒng)計信息還可能涵蓋可用于可視化數(shù)據(jù)樣本的圖形方法。圖表和圖形可以對觀察的形狀或分布以及變量之間如何相互關(guān)聯(lián)提供有用的定性理解。

推論統(tǒng)計

推論統(tǒng)計是一些方法的統(tǒng)稱，這些方法可以幫助從較小的一組稱為樣本的觀測值中量化域或總體的屬性。

通常，我們認(rèn)為推論統(tǒng)計是根據(jù)總體分布估算的數(shù)量，例如期望值或傳播數(shù)量。

更復(fù)雜的統(tǒng)計推斷工具可用于量化在給定假設(shè)的情況下觀察數(shù)據(jù)樣本的可能性。這些通常被稱為統(tǒng)計假設(shè)檢驗的工具，其中檢驗的基本假設(shè)稱為原假設(shè)。

給定我們可以假設(shè)的假設(shè)范圍以及我們可能施加在數(shù)據(jù)上的約束條件，以提高檢驗結(jié)果正確的能力或可能性，推理性統(tǒng)計方法的例子很多。

統(tǒng)計方法在機(jī)器學(xué)習(xí)項目中的使用示例

在下面的內(nèi)容中，展示了統(tǒng)計方法的一些特定示例，這些示例在預(yù)測建模問題的關(guān)鍵步驟中非常重要。可以公平地說，需要統(tǒng)計方法才能有效地通過機(jī)器學(xué)習(xí)方法完成預(yù)測建模的工作。

1.問題框架

在預(yù)測建模問題中較大的影響力也許就是問題的框架。

這是問題類型的選擇，例如回歸或分類，也許是問題的輸入和輸出的結(jié)構(gòu)和類型。

問題的框架并不總是很明顯。對于某個領(lǐng)域的新手，可能需要對該領(lǐng)域中的觀察結(jié)果進(jìn)行大量探索。

對于可能不從常規(guī)角度看問題的領(lǐng)域?qū)＜?，他們也可能會從多個角度考慮數(shù)據(jù)而獲取一些有用信息。

可以在問題分類期間幫助探索數(shù)據(jù)的統(tǒng)計方法包括：

• 探索性數(shù)據(jù)分析。進(jìn)行匯總和可視化以探索數(shù)據(jù)的臨時視圖。
• 數(shù)據(jù)挖掘。自動發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)化關(guān)系和模式。

2.數(shù)據(jù)理解

數(shù)據(jù)理解意味著對變量的分布以及變量之間的關(guān)系有密切的了解。

其中一些知識可能來自領(lǐng)域?qū)I(yè)知識，或者需要領(lǐng)域?qū)I(yè)知識才能進(jìn)行解釋。盡管如此，研究領(lǐng)域的專家和新手都將從實際處理領(lǐng)域問題中的實際觀察有所受益。

統(tǒng)計方法的兩個大分支用于幫助理解數(shù)據(jù)。他們是：

• 摘要統(tǒng)計。使用統(tǒng)計量總結(jié)變量之間的分布和關(guān)系的方法。
• 數(shù)據(jù)可視化。使用圖表和圖形等可視化方法總結(jié)變量之間的分布和關(guān)系的方法。

3.數(shù)據(jù)清理

來自某個領(lǐng)域的觀察通常不是原始的。

盡管數(shù)據(jù)是數(shù)字的，但會受到可能破壞數(shù)據(jù)保真度的過程的影響，進(jìn)而可能會影響使用該數(shù)據(jù)的任何下一步過程或模型。

一些示例包括：

• 數(shù)據(jù)損壞。
• 數(shù)據(jù)錯誤。
• 數(shù)據(jù)丟失。

識別和修復(fù)數(shù)據(jù)問題的過程稱為數(shù)據(jù)清理

統(tǒng)計方法用于數(shù)據(jù)清理，例如：

• 離群值檢測。識別與分布中的期望值相差甚遠(yuǎn)的觀測值的方法。
• 歸責(zé)。修復(fù)或填充觀測值中損壞或缺失的方法。

4.數(shù)據(jù)選擇

建模時，并非所有觀察值或所有變量都可能相關(guān)。

將數(shù)據(jù)范圍縮小到對做出預(yù)測最有用的那些元素的過程稱為數(shù)據(jù)選擇。

用于數(shù)據(jù)選擇的兩種統(tǒng)計方法包括：

• 數(shù)據(jù)樣本。從較大的數(shù)據(jù)集中系統(tǒng)創(chuàng)建較小的代表性樣本的方法。
• 特征選擇。自動識別與結(jié)果變量最相關(guān)的那些變量的方法。

5.數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)通常不能直接用于建模。

通常需要進(jìn)行一些轉(zhuǎn)換，以更改數(shù)據(jù)的形狀或結(jié)構(gòu)，使其更適合問題的選定框架或?qū)W習(xí)算法。

使用統(tǒng)計方法進(jìn)行數(shù)據(jù)準(zhǔn)備。一些常見的示例包括：

• 縮放比例。標(biāo)準(zhǔn)化和歸一化等方法。
• 編碼。整數(shù)編碼和One-hot編碼等方法。
• 轉(zhuǎn)換。諸如Box-Cox方法之類的冪變換方法。

6.模型評估

預(yù)測建模問題的關(guān)鍵部分是評估學(xué)習(xí)方法。

在對模型訓(xùn)練期間未看到的數(shù)據(jù)進(jìn)行預(yù)測時，通常需要估計模型的技能。

通常，訓(xùn)練和評估預(yù)測模型的過程的計劃稱為實驗設(shè)計。這是統(tǒng)計方法的整個子領(lǐng)域。

• 實驗設(shè)計。設(shè)計系統(tǒng)實驗以比較自變量對結(jié)果的影響的方法，例如選擇機(jī)器學(xué)習(xí)算法來提高預(yù)測精度。

作為實施實驗設(shè)計的一部分，使用方法對數(shù)據(jù)集進(jìn)行重新采樣，以便經(jīng)濟(jì)地利用可用數(shù)據(jù)，從而估算模型的技能。

• 重采樣方法。為了訓(xùn)練和評估預(yù)測模型而將數(shù)據(jù)集系統(tǒng)地分為子集的方法。

7.模型超參數(shù)配置

給定的機(jī)器學(xué)習(xí)算法通常具有一整套超參數(shù)，這些超參數(shù)允許使用者根據(jù)特定問題而定制學(xué)習(xí)方法。

超參數(shù)的配置在本質(zhì)上通常是經(jīng)驗性的，而不是分析性的，需要大量的實驗才能評估不同的超參數(shù)的取值對模型效果的影響。

使用兩個統(tǒng)計子字段之一對不同的超參數(shù)配置之間的結(jié)果進(jìn)行解釋和比較：

• 統(tǒng)計假設(shè)檢驗。給定對結(jié)果的假設(shè)或期望，量化觀察結(jié)果的可能性的方法(使用臨界值和p值表示)。
• 估計統(tǒng)計。使用置信區(qū)間量化結(jié)果不確定性的方法。

8.模型選擇

對于給定的預(yù)測建模問題，可能有不止一個機(jī)器學(xué)習(xí)算法適合于此問題。選擇一種方法作為解決方案的過程稱為模型選擇。這可能涉及項目利益相關(guān)者的一套標(biāo)準(zhǔn)，也包括對問題評估方法的估計技能的仔細(xì)解釋。

與模型配置一樣，出于模型選擇的目的，可以使用兩類統(tǒng)計方法來解釋不同模型的估計技能。他們是：

• 統(tǒng)計假設(shè)檢驗。給定對結(jié)果的假設(shè)或期望，量化觀察結(jié)果的可能性的方法(使用臨界值和p值表示)。
• 估計統(tǒng)計。使用置信區(qū)間量化結(jié)果不確定性的方法。

9.模型介紹

一旦對最終模型進(jìn)行了訓(xùn)練，就可以在使用或部署最終模型以對實際數(shù)據(jù)進(jìn)行實際預(yù)測之前將其呈現(xiàn)給利益相關(guān)者。

呈現(xiàn)最終模型的一部分涉及呈現(xiàn)模型的估計方法。

估計統(tǒng)計領(lǐng)域的方法可用于通過使用公差區(qū)間和置信區(qū)間來量化機(jī)器學(xué)習(xí)模型的估計技能中的不確定性。

• 估計統(tǒng)計。通過置信區(qū)間量化模型技能不確定性的方法。

10.模型預(yù)測

最后，是時候開始使用最終模型對我們不知道實際結(jié)果的新數(shù)據(jù)進(jìn)行預(yù)測了。

作為進(jìn)行預(yù)測的一部分，量化預(yù)測的置信度很重要。

就像模型表示過程一樣，我們可以使用估計統(tǒng)計領(lǐng)域的方法來量化此不確定性，例如置信區(qū)間和預(yù)測區(qū)間。

• 估計統(tǒng)計。通過預(yù)測區(qū)間量化預(yù)測不確定性的方法。

從上面的例子可以看到統(tǒng)計方法在整個預(yù)測建模項目過程中的重要性。 探索性的數(shù)據(jù)分析，數(shù)據(jù)匯總和數(shù)據(jù)可視化可用于幫助構(gòu)建預(yù)測性建模問題并更好地理解數(shù)據(jù)。統(tǒng)計方法可用于清理和準(zhǔn)備用于建模的數(shù)據(jù)。統(tǒng)計假設(shè)檢驗和估計的統(tǒng)計數(shù)據(jù)可以在模型的選擇和從最終模型展示的技能和預(yù)測幫助。