在日常生活中，統(tǒng)計(jì)學(xué)無(wú)處不在，每個(gè)人、每件事似乎都可以使用統(tǒng)計(jì)數(shù)據(jù)加以說(shuō)明。隨著人類(lèi)邁入大數(shù)據(jù)時(shí)代，統(tǒng)計(jì)學(xué)在方方面面更是發(fā)揮了不可或缺的作用。統(tǒng)計(jì)學(xué)思想，就是在統(tǒng)計(jì)實(shí)際工作、統(tǒng)計(jì)學(xué)理論的應(yīng)用研究中，必須遵循的基本理念和指導(dǎo)思想。它們對(duì)統(tǒng)計(jì)學(xué)的發(fā)展起到了指導(dǎo)作用。

近日，哥倫畢業(yè)大學(xué)和阿爾托大學(xué)的兩位知名統(tǒng)計(jì)學(xué)研究者撰文總結(jié)了過(guò)去 50 年最重要的統(tǒng)計(jì)學(xué)思想，包括反事實(shí)因果推理、bootstrapping 和基于模擬的推理、過(guò)參數(shù)化模型和正則化、多層次模型、通用計(jì)算算法、自適應(yīng)決策分析、魯棒性推理和探索性數(shù)據(jù)分析。除了詳細(xì)描述這些統(tǒng)計(jì)學(xué)思想的具體概念和發(fā)展歷程，研究者還概述了它們之間的共同特征、它們與現(xiàn)代計(jì)算和大數(shù)據(jù)之間的關(guān)系以及它們?cè)谖磥?lái)如何發(fā)展和擴(kuò)展。研究者表示，本文旨在激發(fā)人們對(duì)統(tǒng)計(jì)學(xué)和數(shù)據(jù)科學(xué)研究中更大主題的思考和討論。

論文鏈接：https://arxiv.org/pdf/2012.00174.pdf

這篇論文在社區(qū)引起了熱議，圖靈獎(jiǎng)得主、貝葉斯網(wǎng)絡(luò)之父 Judea Pearl 等學(xué)者紛紛轉(zhuǎn)推并發(fā)表自己的觀點(diǎn)。他表示：「這篇論文將因果推理列入了統(tǒng)計(jì)學(xué)思想之一，與芝加哥大學(xué)統(tǒng)計(jì)系教授 Stephen Stigler 所著《統(tǒng)計(jì)學(xué)七支柱》中的觀點(diǎn)截然不同?！?/p>

此外，需要指出的是，本文列出的 8 種統(tǒng)計(jì)學(xué)思想是根據(jù)經(jīng)驗(yàn)和閱讀文獻(xiàn)進(jìn)行分類(lèi)的，并不是按照時(shí)間先后順序或重要性進(jìn)行排序。無(wú)論是在理論統(tǒng)計(jì)文獻(xiàn)，還是在各個(gè)應(yīng)用領(lǐng)域的實(shí)踐中，這些統(tǒng)計(jì)學(xué)思想在 1970 年之前都有先例。但在過(guò)去的 50 年中，它們都得到了發(fā)展，并且已衍變出新的內(nèi)容。下面一一闡述論文中列出的八個(gè)統(tǒng)計(jì)學(xué)思想。

過(guò)去 50 年最重要的統(tǒng)計(jì)學(xué)思想

反事實(shí)因果推理

該研究從統(tǒng)計(jì)學(xué)、計(jì)量經(jīng)濟(jì)學(xué)、心理測(cè)驗(yàn)學(xué)、流行病學(xué)和計(jì)算機(jī)科學(xué)中出現(xiàn)的一系列不同觀點(diǎn)開(kāi)始，這些觀點(diǎn)都圍繞著因果推理挑戰(zhàn)展開(kāi)。其主要思想是，因果識(shí)別是可能的，人們可以通過(guò)設(shè)計(jì)和分析嚴(yán)格地陳述這些假設(shè)，并以各種方式加以解決。關(guān)于如何將因果模型應(yīng)用于實(shí)際數(shù)據(jù)的辯論仍在繼續(xù)，但在過(guò)去的 50 年里，這一領(lǐng)域的研究使因果推斷所需的假設(shè)更加精確，這又反過(guò)來(lái)促進(jìn)了針對(duì)這些問(wèn)題的統(tǒng)計(jì)方法的研究。

因果推理方法在不同的領(lǐng)域有不同的發(fā)展。在計(jì)量經(jīng)濟(jì)學(xué)領(lǐng)域，重點(diǎn)是從線性模型解釋因果推理 (Imbens and Angrist, 1994)；在流行病學(xué)中，重點(diǎn)是從觀測(cè)數(shù)據(jù)進(jìn)行因果推理(Greenland and Robins, 1986)；心理學(xué)家已經(jīng)意識(shí)到相互作用和不同的治療效果之間的重要性(Cronbach, 1975)；統(tǒng)計(jì)學(xué)中已經(jīng)有了匹配和其他方法來(lái)調(diào)整和測(cè)量治療組和對(duì)照組之間的差異 (Rosenbaum and Rubin, 1983)；在計(jì)算機(jī)科學(xué)領(lǐng)域，已經(jīng)有了很多關(guān)于因果推理的多維模型的研究(Pearl, 2009)。

這些研究中都有一個(gè)共同的主線，就是從反事實(shí)或潛在結(jié)果的角度對(duì)因果問(wèn)題進(jìn)行建模，這是一個(gè)很大的進(jìn)步，超越了早期的評(píng)判標(biāo)準(zhǔn)，后者沒(méi)有明確區(qū)分描述性推理和因果推理。主要研究包括 Neyman (1923)、Welch (1937)、 Rubin (1974)以及 Haavelmo (1973)，還有 Heckman 和 Pinto (2015)的背景介紹。

Bootstrapping 和基于模擬的推理

在過(guò)去 50 年里，統(tǒng)計(jì)學(xué)的一個(gè)趨勢(shì)是用計(jì)算取代數(shù)學(xué)分析。以 bootstrap 為例：在 bootstrap 中定義了一些估計(jì)器，并將其應(yīng)用于一組隨機(jī)重采樣的數(shù)據(jù)集 (Efron, 1979, Efron and Tibshirani, 1993)。主要思想是將估計(jì)值視為數(shù)據(jù)的一個(gè)近似的充分統(tǒng)計(jì)量，并將 bootstrap 分布視為數(shù)據(jù)的抽樣分布的近似。在概念層面上，有人呼吁將預(yù)測(cè)和重采樣作為基本原則，從中可以得出偏差校正和收縮等統(tǒng)計(jì)操作(Geisser, 1975)。

計(jì)算資源的增加使得其他相關(guān)的重采樣和基于模擬的方法也很流行。在置換測(cè)試中，通過(guò)對(duì)目標(biāo)值進(jìn)行隨機(jī)變換，打破了預(yù)測(cè)值與目標(biāo)值之間的依賴關(guān)系，生成重采樣數(shù)據(jù)集。Parametric bootstrapping、前驗(yàn)和后驗(yàn)預(yù)測(cè)性檢查 (Box, 1980, Rubin, 1984)、基于模擬的校準(zhǔn) (Talts et al., 2020) 都是從模型中創(chuàng)建復(fù)制的數(shù)據(jù)集，而不是直接從數(shù)據(jù)中重新采樣。

過(guò)參數(shù)化模型和正則化

自 20 世紀(jì) 70 年代以來(lái)，統(tǒng)計(jì)學(xué)的一個(gè)重大變化是關(guān)于用大量參數(shù)擬合模型的思想，模型參數(shù)可能比數(shù)據(jù)點(diǎn)還多，并且使用一些正則化方法來(lái)獲得穩(wěn)定的估計(jì)和良好的預(yù)測(cè)。關(guān)于用大量的參數(shù)擬合模型的主要思想是獲得非參數(shù)或高度參數(shù)化方法的靈活性，同時(shí)又能避免過(guò)擬合。正則化可以作為參數(shù)或預(yù)測(cè)曲線上的懲罰函數(shù)來(lái)實(shí)現(xiàn)(Good and Gaskins, 1971)。

參數(shù)豐富的模型的早期示例包括 Markov 隨機(jī)場(chǎng)（Besag, 1974）、樣條曲線（splines）（Wahba 和 Wold, 1975, Wahba, 1978）和高斯過(guò)程（O'Hagan, 1978），然后是分類(lèi)樹(shù)和回歸樹(shù)（Breiman 等人, 1984）、神經(jīng)網(wǎng)絡(luò)（Werbos, 1981；Rumelhart、Hinton 和 Williams, 1987；Buntine 和 Weigend, 1991；MacKay, 1992；Neal, 1996），小波收縮（wavelet shrinkage ）（Donoho 和 Johnstone, 1994）、lasso/horseshoe 等其他最小二乘法的變體（Dempster、Schatzoff 和 Wermuth, 1977 年；Tibshirani, 1996 年；Carvalho、Polson 和 Scott, 2010 年），此外還有支持向量機(jī)（Cortes 和 Vapnik, 1995 年）以及相關(guān)理論（Vapnik, 1998 年） 。

所有這些模型都具有隨樣本量和參數(shù)而擴(kuò)展的特征，這些參數(shù)并不總是可以直接解釋?zhuān)皇禽^大預(yù)測(cè)系統(tǒng)的一部分。在貝葉斯方法中，可以先在函數(shù)空間中考慮先驗(yàn)，然后間接導(dǎo)出模型參數(shù)的相應(yīng)先驗(yàn)。

在有足夠的計(jì)算資源之前，以上許多模型的使用都受到限制。但在圖像識(shí)別（Wu 等人，2004）和深度神經(jīng)網(wǎng)絡(luò)（Bengio、LeCun 和 Hinton, 2015 年；Schmidhuber, 2015 年）領(lǐng)域，過(guò)參數(shù)化模型得以繼續(xù)發(fā)展。Hastie、Tibshirani 和 Wainwright（2015）將大部分此類(lèi)工作歸化為稀疏結(jié)構(gòu)的估計(jì)，但作者認(rèn)為歸納為正則化更為合適，因?yàn)樗€包括適合于數(shù)據(jù)支持范圍的密集模型。這類(lèi)工作大部分是在統(tǒng)計(jì)之外完成的，方法包括非負(fù)矩陣分解（Paatero 和 Tapper, 1994）、非線性降維（Lee 和 Verleysen, 2007）、生成對(duì)抗網(wǎng)絡(luò)（Goodfellow 等, 2014）和自動(dòng)編碼器（Goodfellow、Bengio 和 Courville, 2016 年）：這些都是用于查找結(jié)構(gòu)和分解的無(wú)監(jiān)督學(xué)習(xí)方法。

隨著統(tǒng)計(jì)方法的發(fā)展及其在更大數(shù)據(jù)集中的應(yīng)用，研究人員開(kāi)發(fā)了多種方法對(duì)各種擬合推斷進(jìn)行精調(diào)、適應(yīng)和組合，包括 stacking（Wolpert, 1992）、貝葉斯模型平均（Hoeting 等, 1999）、boosting（Freund 和 Schapire, 1997）、梯度提升（Friedman, 2001）和隨機(jī)森林（Breiman, 2001）。

多層次模型

多層或分層模型的參數(shù)會(huì)隨組變化，從而使模型能夠適應(yīng)群集采樣。縱向研究、時(shí)間序列橫截面數(shù)據(jù)、元分析（meta-analysis）和其他結(jié)構(gòu)化設(shè)置。在回歸語(yǔ)境中，可以將多層次模型視為特定的參數(shù)化協(xié)方差結(jié)構(gòu)，也可以視為概率分布，其中參數(shù)的數(shù)量與數(shù)據(jù)成比例地增加。

多層次模型可以視為貝葉斯模型，因?yàn)樗鼈儼ㄎ粗獫撛谔卣骰蜃兓瘏?shù)的概率分布。相反，貝葉斯模型具有多層次結(jié)構(gòu)，具有給定參數(shù)的數(shù)據(jù)和給定超參數(shù)的參數(shù)分布。

通用計(jì)算算法

借助現(xiàn)代計(jì)算，建模方面的改進(jìn)才成為了可能。這不僅包括更大的內(nèi)存、更快的 CPU、高效的矩陣計(jì)算、用戶友好的語(yǔ)言以及其他計(jì)算創(chuàng)新，還有十分關(guān)鍵的部分是用于高效計(jì)算的統(tǒng)計(jì)算法上的改進(jìn)。

過(guò)去五十年來(lái)的創(chuàng)新統(tǒng)計(jì)算法是基于統(tǒng)計(jì)問(wèn)題的結(jié)構(gòu)而發(fā)展的。在統(tǒng)計(jì)學(xué)的歷史上，數(shù)據(jù)分析、概率建模和計(jì)算的進(jìn)步一直會(huì)相互結(jié)合，新模型讓創(chuàng)新計(jì)算算法和新的計(jì)算技術(shù)打開(kāi)了面向更復(fù)雜模型和新推論觀點(diǎn)的大門(mén)。通用的自動(dòng)推理算法允許解耦模型的開(kāi)發(fā)，因此更改模型不需要更改算法的實(shí)現(xiàn)。

自適應(yīng)決策分析

從 20 世紀(jì) 40 年代到 60 年代，決策理論通常通過(guò)效用最大化 (Wald, 1949, Savage, 1954)、錯(cuò)誤率控制(Tukey, 1953, Scheff´e, 1959) 和經(jīng)驗(yàn)貝葉斯分析 (Robbins, 1959, 1964) 作為統(tǒng)計(jì)的基礎(chǔ)。近幾十年來(lái)，在貝葉斯決策理論 (Berger, 1985) 和錯(cuò)誤發(fā)現(xiàn)率分析 (Benjamini and Hochberg, 1995) 中都看到了后續(xù)工作的進(jìn)展。決策理論也受到了外界關(guān)于啟發(fā)式算法和人類(lèi)決策偏見(jiàn)的心理學(xué)研究 (Kahneman, Slovic, and Tversky, 1982, Gigerenzer and Todd, 1999) 的影響。

人們還可以將決策視為統(tǒng)計(jì)應(yīng)用領(lǐng)域，統(tǒng)計(jì)決策分析的一些重要發(fā)展涉及貝葉斯優(yōu)化 (Mockus, 1974, 2012, Shariari et al., 2015) 和強(qiáng)化學(xué)習(xí) (Sutton and Barto, 2018)，這與行業(yè)中 A/B 測(cè)試實(shí)驗(yàn)設(shè)計(jì)的復(fù)興和工程應(yīng)用中的在線學(xué)習(xí)有關(guān)。計(jì)算科學(xué)的最新進(jìn)展是能夠使用諸如高斯過(guò)程和神經(jīng)網(wǎng)絡(luò)之類(lèi)的高度參數(shù)化模型作為自適應(yīng)決策分析功能的先驗(yàn)，并可以在模擬環(huán)境中進(jìn)行大規(guī)模的強(qiáng)化學(xué)習(xí)，例如創(chuàng)建人工智能控制的機(jī)器人、生成文本和參與圍棋(Silver et al., 2017) 之類(lèi)的游戲。

魯棒推理

魯棒性的概念是現(xiàn)代統(tǒng)計(jì)的核心，它是一種即使在假設(shè)不正確的情況下也能使用模型的思想。開(kāi)發(fā)在實(shí)際情況與假設(shè)不符的情況下也能良好使用的模型是統(tǒng)計(jì)理論中重要的一部分。Tukey (1960)總結(jié)了該領(lǐng)域的早期研究，Stigler (2010)的研究總結(jié)了歷史性回顧。繼 Huber (1972)等人的理論工作之后，研究者又開(kāi)發(fā)出行之有效的方法，這些方法在實(shí)踐中，尤其是在經(jīng)濟(jì)學(xué)中尤為重要，人們也對(duì)統(tǒng)計(jì)模型的不完善之處有了敏銳的認(rèn)識(shí)。

一般而言，魯棒性在統(tǒng)計(jì)研究中的主要影響并不在于開(kāi)發(fā)特定方法，而在于它影響了在 Bernardo 和 Smith (1994)稱為 M-open 世界（其中數(shù)據(jù)生成過(guò)程不屬于擬合概率模型的類(lèi)別）的情況下評(píng)估統(tǒng)計(jì)程序的思想。Greenland (2005)認(rèn)為研究者應(yīng)該明確說(shuō)明在傳統(tǒng)統(tǒng)計(jì)模型中不包含的誤差源。魯棒性問(wèn)題與許多現(xiàn)代統(tǒng)計(jì)數(shù)據(jù)所特有的密集參數(shù)化模型有關(guān)，這更普遍地影響了模型評(píng)估(Navarro, 2018)。

探索性數(shù)據(jù)分析

繼 Tukey (1962)之后，探索性數(shù)據(jù)分析的支持者重點(diǎn)說(shuō)明了漸近理論的局限性以及開(kāi)放式探索和通信 (Cleveland, 1985) 的好處，并且闡明了超越統(tǒng)計(jì)理論的更一般的數(shù)據(jù)科學(xué)觀點(diǎn)(Chambers, 1993, Donoho, 2017)。這符合統(tǒng)計(jì)建模的觀點(diǎn)，即更多的關(guān)注發(fā)現(xiàn)而不是檢驗(yàn)固定假設(shè)。這不僅影響了圖形化方法的發(fā)展，也將統(tǒng)計(jì)領(lǐng)域從定理證明走向更開(kāi)放、更健康的角度，因?yàn)樗菑目茖W(xué)領(lǐng)域的數(shù)據(jù)中學(xué)習(xí)。以醫(yī)學(xué)統(tǒng)計(jì)學(xué)領(lǐng)域?yàn)槔?，Bland 和 Altman 于 1986 年發(fā)表的一篇高被引論文提出用于數(shù)據(jù)對(duì)比的圖形化方法，替代了關(guān)聯(lián)性和回歸分析。

此外，研究人員試圖形式化定義探索性數(shù)據(jù)分析：「探索性模型分析」(Unwin, Volinsky, and Winkler, 2003, Wickham, 2006)有時(shí)被用來(lái)捕獲數(shù)據(jù)分析過(guò)程的實(shí)驗(yàn)屬性，研究者們也一直致力于在模型構(gòu)建和數(shù)據(jù)分析的過(guò)程中涵蓋可視化的工作(Gabry et al., 2019, Gelman et al., 2020)。

這些統(tǒng)計(jì)學(xué)思想之間的關(guān)聯(lián)

研究者認(rèn)為，上述這八種統(tǒng)計(jì)學(xué)思想之所以重要，是因?yàn)樗鼈兗冉鉀Q了現(xiàn)有問(wèn)題，還創(chuàng)建了新的統(tǒng)計(jì)思考和數(shù)據(jù)分析方式。換言之，每一種思想都不失為一部「法典」，其方法超越狹義的統(tǒng)計(jì)學(xué)范疇，更像是一種「研究品味」或者「哲學(xué)思想」。

這些統(tǒng)計(jì)學(xué)思想彼此之間存在著哪些關(guān)聯(lián)和交互呢？

Stigler (2016)曾說(shuō)過(guò)，一些明顯不同的統(tǒng)計(jì)學(xué)領(lǐng)域背后存在著某些相同的主題。這種互聯(lián)的觀點(diǎn)也可以應(yīng)用于最近的研究發(fā)展。

舉例而言，正則化過(guò)參數(shù)化模型可以使用機(jī)器學(xué)習(xí)元算法進(jìn)行優(yōu)化，反過(guò)來(lái)又可以獲得對(duì)污染（contamination）具有魯棒性的推理。這些關(guān)聯(lián)可以通過(guò)其他方式表示，魯棒性回歸模型對(duì)應(yīng)混合分布，而混合分布又可以被視為多層次模型，并且可以通過(guò)貝葉斯推理進(jìn)行擬合。深度學(xué)習(xí)模型不僅與一種多層邏輯回歸有關(guān)，還與樣條曲線和支持向量機(jī)中使用的復(fù)現(xiàn)核心希爾伯特（Hilbert）空間相關(guān)。

此外，特定統(tǒng)計(jì)模型又與文中列出的八種統(tǒng)計(jì)學(xué)思想存在什么聯(lián)系呢？研究者這里提及的是有影響力的研究工作，如風(fēng)險(xiǎn)回歸、廣義線性模型、空間自回歸、結(jié)構(gòu)方程模型、潛在分類(lèi)、高斯過(guò)程和深度學(xué)習(xí)等。如上文所述，在過(guò)去 50 年里，統(tǒng)計(jì)推理和計(jì)算領(lǐng)域出現(xiàn)了許多重要的發(fā)展，這些進(jìn)展都受到了文中談?wù)摰男履Ｐ秃屯评硭枷氲膯l(fā)和推動(dòng)。應(yīng)該看到，模型、方法、應(yīng)用和計(jì)算彼此結(jié)合，息息相關(guān)。

最后，研究者表示可以將統(tǒng)計(jì)學(xué)方法的研究與自然科學(xué)、工程學(xué)中的統(tǒng)計(jì)應(yīng)用趨勢(shì)聯(lián)系起來(lái)。他們認(rèn)為，生物學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)和其他科學(xué)領(lǐng)域可能出現(xiàn)復(fù)現(xiàn)危機(jī)或可復(fù)現(xiàn)性革命，而這些領(lǐng)域的巨大變化需要根據(jù)統(tǒng)計(jì)資料得出結(jié)論。

作者簡(jiǎn)介

Andrew Gelman，哥倫比亞大學(xué)統(tǒng)計(jì)學(xué)與政治學(xué)教授，著名的統(tǒng)計(jì)學(xué)家。他于 1990 年獲得哈佛大學(xué)統(tǒng)計(jì)學(xué)博士學(xué)位。他曾三次榮獲美國(guó)統(tǒng)計(jì)協(xié)會(huì)頒發(fā)的杰出統(tǒng)計(jì)應(yīng)用獎(jiǎng)（Outstanding Statistical Application award），2020 年當(dāng)選美國(guó) AAAS 院士。他還著有《貝葉斯數(shù)據(jù)分析》（Bayesian Data Analysis）等書(shū)籍。谷歌學(xué)術(shù)中論文總引用量超過(guò) 12 萬(wàn)。

Aki Vehtari，阿爾托大學(xué)計(jì)算概率建模副教授，主要研究興趣包括貝葉斯概率理論與方法、貝葉斯工作流、概率規(guī)劃、推理與模型診斷、模型評(píng)估與選擇、高斯過(guò)程以及分層模型等。他還著有《Regression and other stories》和《Bayesian Data Analysis》等書(shū)籍。谷歌學(xué)術(shù)中論文總引用量近 4 萬(wàn)。