為什么數(shù)據(jù)科學(xué)家都鐘情于最常見的正態(tài)分布?
大數(shù)據(jù)文摘出品
編譯:JonyKai、元元、云舟
高斯分布(Gaussian distribution),也稱正態(tài)分布,最早由A.棣莫弗在求二項(xiàng)分布的漸近公式中得到。C.F.高斯在研究測(cè)量誤差時(shí)從另一個(gè)角度導(dǎo)出了它。P.S.拉普拉斯和高斯研究了它的性質(zhì)。是一個(gè)在數(shù)學(xué)、物理及工程等領(lǐng)域都非常重要的概率分布,在統(tǒng)計(jì)學(xué)的許多方面有著重大的影響力。
正態(tài)曲線呈鐘型,兩頭低,中間高,左右對(duì)稱因其曲線呈鐘形,因此人們又經(jīng)常稱之為鐘形曲線。
若隨機(jī)變量X服從一個(gè)數(shù)學(xué)期望為μ、方差為σ^2的正態(tài)分布,記為N(μ,σ^2)。其概率密度函數(shù)為正態(tài)分布的期望值μ決定了其位置,其標(biāo)準(zhǔn)差σ決定了分布的幅度。當(dāng)μ = 0,σ = 1時(shí)的正態(tài)分布是標(biāo)準(zhǔn)正態(tài)分布。
高斯概率分布的數(shù)學(xué)表達(dá)式
一、在自然現(xiàn)象中隨處可見
所有模型都是錯(cuò)的,但有些是有用的
—George Box |
正在擴(kuò)散的粒子的位置可以用正態(tài)分布來(lái)描述
正態(tài)分布有極其廣泛的實(shí)際背景,生產(chǎn)與科學(xué)實(shí)驗(yàn)中很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來(lái)描述。例如,在生產(chǎn)條件不變的情況下,產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長(zhǎng)度等指標(biāo);同一種生物體的身長(zhǎng)、體重等指標(biāo);同一種種子的重量;測(cè)量同一物體的誤差;彈著點(diǎn)沿某一方向的偏差;某個(gè)地區(qū)的年降水量;以及理想氣體分子的速度分量,等等。
一般來(lái)說,如果一個(gè)量是由許多微小的獨(dú)立隨機(jī)因素影響的結(jié)果,那么就可以認(rèn)為這個(gè)量具有正態(tài)分布。從理論上看,正態(tài)分布具有很多良好的性質(zhì),許多概率分布可以用它來(lái)近似;還有一些常用的概率分布是由它直接導(dǎo)出的,例如對(duì)數(shù)正態(tài)分布、t分布、F分布等。
二、數(shù)學(xué)原因:中心極限定理
二維空間上進(jìn)行200萬(wàn)步的隨機(jī)游走之后得到的圖案
中心極限定理的內(nèi)容為:大量獨(dú)立隨機(jī)變量的和經(jīng)過適當(dāng)標(biāo)準(zhǔn)化之后趨近于正態(tài)分布,與這些變量原本的分布無(wú)關(guān)。比如,隨機(jī)游走的總距離就趨近于正態(tài)分布。下面我們介紹三種形式的中心極限定理:
1. 獨(dú)立同分布的中心極限定理
設(shè)隨機(jī)變量X1,X2,......Xn,......獨(dú)立同分布,并且具有有限的數(shù)學(xué)期望和方差:E(Xi)=μ,D(Xi)=σ^2 (i=1,2....),則對(duì)任意x,分布函數(shù)為
滿足
該定理說明,當(dāng)n很大時(shí),隨機(jī)變量近似地服從標(biāo)準(zhǔn)正態(tài)分布N(0,1)。因此,當(dāng)n很大時(shí),
近似地服從正態(tài)分布N(nμ,nσ^2).該定理是中心極限定理最簡(jiǎn)單又最常用的一種形式,在實(shí)際工作中,只要n足夠大,便可以把獨(dú)立同分布的隨機(jī)變量之和當(dāng)作正態(tài)變量。這種方法在數(shù)理統(tǒng)計(jì)中用得很普遍,當(dāng)處理大樣本時(shí),它是重要工具。
2. 棣莫佛-拉普拉斯定理
設(shè)隨機(jī)變量X(n=1,2,...,)服從參數(shù)為n,p(0<p<1)的二項(xiàng)分布,則對(duì)于任意有限區(qū)間(a,b)有
該定理表明,正態(tài)分布是二項(xiàng)分布的極限分布,當(dāng)數(shù)充分大時(shí),我們可以利用上式來(lái)計(jì)算二項(xiàng)分布的概率。
3. 不同分布的中心極限定理
設(shè)隨機(jī)變量X1,X2,......Xn,......獨(dú)立同分布,它們的概率密度分別為fxk(x),并有E(Xk)=μk,D(Xk)= σk^2,(k=1,2......)
若對(duì)任意正數(shù)τ,有:
對(duì)任意x,隨機(jī)變量Yn的分布函數(shù)Fn(x),滿足:
該定理說明:所研究的隨機(jī)變量如果是有大量獨(dú)立的而且均勻的隨機(jī)變量相加而成,那么它的分布將近似于正態(tài)分布。
三、萬(wàn)變不離其宗
與其他很多分布不同,正態(tài)分布進(jìn)行適當(dāng)?shù)淖儞Q之后,仍是正態(tài)分布。
- 兩個(gè)正態(tài)分布之積仍是正態(tài)分布
- 兩個(gè)獨(dú)立的服從正態(tài)分布的隨機(jī)變量之和服從正態(tài)分布
- 對(duì)一個(gè)正態(tài)分布進(jìn)行高斯卷積還是正態(tài)分布
- 正態(tài)分布經(jīng)過傅立葉變換之后仍是正態(tài)分布
1. 簡(jiǎn)潔
奧卡姆剃刀強(qiáng)調(diào)一個(gè)哲學(xué)原則:在其他條件都相同下,最簡(jiǎn)單的解就是***的解。
對(duì)于任何一個(gè)用正態(tài)分布擬合的隨機(jī)分布,都可能存在一個(gè)多參數(shù),更復(fù)雜,更準(zhǔn)確的解法。但是我們?nèi)匀粫?huì)傾向于選用正態(tài)分布,因?yàn)樗跀?shù)學(xué)上很簡(jiǎn)潔。
- 它的均值(mean)、中值(median)和眾數(shù)(mode)都相同
- 只需要用兩個(gè)參數(shù)就可以確定整個(gè)分布
2. 圖形特性:
- 集中性:正態(tài)曲線的高峰位于正中央,即均數(shù)所在的位置。
- 對(duì)稱性:正態(tài)曲線以均數(shù)為中心,左右對(duì)稱,曲線兩端永遠(yuǎn)不與橫軸相交。
- 均勻變動(dòng)性:正態(tài)曲線由均數(shù)所在處開始,分別向左右兩側(cè)逐漸均勻下降。
- 曲線與橫軸間的面積總等于1,相當(dāng)于概率密度函數(shù)的函數(shù)從正無(wú)窮到負(fù)無(wú)窮積分的概率為1。即頻率的總和為100%。
相關(guān)報(bào)道:https://towardsdatascience.com/why-data-scientists-love-gaussian-6e7a7b726859
【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文,微信公眾號(hào)“大數(shù)據(jù)文摘( id: BigDataDigest)”】