五種被低估的非常規(guī)統(tǒng)計(jì)檢驗(yàn)方法：數(shù)學(xué)原理剖析與多領(lǐng)域應(yīng)用價(jià)值研究
在當(dāng)前的數(shù)據(jù)分析實(shí)踐中，研究人員往往過(guò)度依賴t檢驗(yàn)和方差分析（ANOVA）等傳統(tǒng)統(tǒng)計(jì)方法。但是還存在多種具有重要應(yīng)用價(jià)值但未受到足夠重視的統(tǒng)計(jì)檢驗(yàn)方法，這些方法在處理復(fù)雜的實(shí)際數(shù)據(jù)時(shí)具有獨(dú)特優(yōu)勢(shì)。本文將詳細(xì)介紹五種具有重要應(yīng)用價(jià)值的統(tǒng)計(jì)檢驗(yàn)方法，并探討它們?cè)诿庖邔W(xué)（TCR/BCR庫(kù)分析）、金融數(shù)據(jù)分析和運(yùn)動(dòng)科學(xué)等領(lǐng)域的具體應(yīng)用。
1、Mann-Kendall趨勢(shì)檢驗(yàn)
Mann-Kendall檢驗(yàn)是一種非參數(shù)檢驗(yàn)方法，用于檢測(cè)時(shí)間序列中是否存在單調(diào)上升或下降趨勢(shì)。與傳統(tǒng)線性回歸相比，該方法的優(yōu)勢(shì)在于不要求數(shù)據(jù)滿足線性關(guān)系假設(shè)或服從正態(tài)分布。
應(yīng)用價(jià)值：
- 金融領(lǐng)域：用于檢測(cè)股票價(jià)格的潛在趨勢(shì)變化，特別適用于非線性市場(chǎng)環(huán)境。
- 免疫學(xué)研究：監(jiān)測(cè)TCR/BCR克隆群體隨時(shí)間的動(dòng)態(tài)變化趨勢(shì)。
為了展示Mann-Kendall檢驗(yàn)的應(yīng)用效果，我們構(gòu)建了兩組對(duì)照數(shù)據(jù)：
- 具有上升趨勢(shì)的時(shí)間序列：數(shù)據(jù)呈現(xiàn)明確的時(shí)間依賴性增長(zhǎng)特征。
- 無(wú)趨勢(shì)隨機(jī)序列：數(shù)據(jù)表現(xiàn)為圍繞均值的隨機(jī)波動(dòng)（白噪聲過(guò)程）。
以下代碼實(shí)現(xiàn)了這兩種情況的數(shù)據(jù)生成和分析過(guò)程：
import pymannkendall as mk
np.random.seed(43)
# 1. 生成具有上升趨勢(shì)的時(shí)間序列
time_trend = np.arange(1, 31)
values_trend = 0.5 * time_trend + np.random.normal(0, 2, size=len(time_trend))
# 2. 生成無(wú)趨勢(shì)隨機(jī)序列
time_no_trend = np.arange(1, 31)
values_no_trend = np.random.normal(0, 2, size=len(time_no_trend))
# 執(zhí)行Mann-Kendall趨勢(shì)檢驗(yàn)
trend_result = mk.original_test(values_trend)
no_trend_result = mk.original_test(values_no_trend)
fig, axes = plt.subplots(1, 2, figsize=(20, 10))
plt.grid(lw=2, ls=':')
axes[0].plot(time_trend, values_trend, marker='o', linestyle='-', color='blue')
axes[0].set_title("Data with Upward Trend")
axes[0].set_xlabel("Time")
axes[0].set_ylabel("Value")
textstr_trend = '\n'.join((
f"Trend: {trend_result.trend}",
f"P-value: {trend_result.p:.5f}",
f"Tau (Kendall's): {trend_result.Tau:.4f}"
))
props = dict(boxstyle='round', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr_trend, transform=axes[0].transAxes, fontsize=14,
verticalalignment='top', bbox=props)
axes[1].plot(time_no_trend, values_no_trend, marker='o', linestyle='-', color='red')
axes[1].set_title("Data with No Trend")
axes[1].set_xlabel("Time")
axes[1].set_ylabel("Value")
axes[1].grid(lw=2, ls=':')
axes[0].grid(lw=2, ls=':')
textstr_no_trend = '\n'.join((
f"Trend: {no_trend_result.trend}",
f"P-value: {no_trend_result.p:.5f}",
f"Tau (Kendall's): {no_trend_result.Tau:.4f}"
))
axes[1].text(0.05, 0.95, textstr_no_trend, transform=axes[1].transAxes, fontsize=14,
verticalalignment='top', bbox=props)
plt.tight_layout()
plt.grid(lw=2, ls=':')
plt.show()
實(shí)驗(yàn)結(jié)果分析：
上升趨勢(shì)序列：檢驗(yàn)結(jié)果顯示"increasing"（上升趨勢(shì)），且p值較低，具有統(tǒng)計(jì)顯著性。
無(wú)趨勢(shì)序列：檢驗(yàn)結(jié)果顯示"no trend"（無(wú)趨勢(shì)），p值較高，未能拒絕無(wú)趨勢(shì)的原假設(shè)。
2、Mood中位數(shù)檢驗(yàn)
Mood中位數(shù)檢驗(yàn)是一種穩(wěn)健的非參數(shù)統(tǒng)計(jì)方法，用于檢驗(yàn)多個(gè)獨(dú)立樣本是否來(lái)自具有相同中位數(shù)的總體。該方法在處理偏態(tài)分布數(shù)據(jù)時(shí)具有特殊優(yōu)勢(shì)，尤其適用于研究重點(diǎn)關(guān)注中位數(shù)而非均值的場(chǎng)景。
方法應(yīng)用領(lǐng)域：
- 免疫學(xué)研究：用于比較不同患者群體間的TCR多樣性指標(biāo)中位數(shù)（如比較不同免疫庫(kù)間的K1000指數(shù)）。
- 金融數(shù)據(jù)分析：評(píng)估不同金融資產(chǎn)的日收益率中位數(shù)差異。
- 運(yùn)動(dòng)科學(xué)研究：分析不同訓(xùn)練方案下運(yùn)動(dòng)表現(xiàn)指標(biāo)的中位數(shù)差異。
實(shí)證研究設(shè)計(jì)
為驗(yàn)證Mood中位數(shù)檢驗(yàn)的效能，我們?cè)O(shè)計(jì)了兩組對(duì)照實(shí)驗(yàn)：
中位數(shù)顯著差異組：構(gòu)造具有明顯中位數(shù)差異的兩個(gè)樣本組。
中位數(shù)相近組：構(gòu)造具有相似中位數(shù)的兩個(gè)樣本組。
實(shí)驗(yàn)代碼實(shí)現(xiàn)如下：
import numpy as np
from scipy.stats import median_test
import matplotlib.pyplot as plt
np.random.seed(2024)
# 構(gòu)造具有顯著差異的樣本組
group_A_diff = np.random.exponential(scale=1.0, size=50)
group_B_diff = np.random.exponential(scale=2.0, size=50)
# 構(gòu)造中位數(shù)相近的樣本組
group_A_sim = np.random.exponential(scale=1.0, size=50)
group_B_sim = np.random.exponential(scale=1.1, size=50)
# 應(yīng)用Mood中位數(shù)檢驗(yàn)
stat_diff, p_value_diff, median_diff, table_diff = median_test(group_A_diff, group_B_diff)
stat_sim, p_value_sim, median_sim, table_sim = median_test(group_A_sim, group_B_sim)
fig, axes = plt.subplots(1, 2, figsize=(20, 7))
axes[0].boxplot([group_A_diff, group_B_diff], labels=["Group A (diff)", "Group B (diff)"])
axes[0].set_title("Groups with Different Medians")
axes[0].set_ylabel("Value")
textstr_diff = '\n'.join((
f"Test Statistic: {stat_diff:.4f}",
f"P-value: {p_value_diff:.5f}",
f"Overall Median: {median_diff:.4f}",
f"Contingency Table:\n{table_diff}"
))
props = dict(boxstyle='round', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr_diff, transform=axes[0].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].boxplot([group_A_sim, group_B_sim], labels=["Group A (sim)", "Group B (sim)"])
axes[1].set_title("Groups with Similar Medians")
axes[1].set_ylabel("Value")
textstr_sim = '\n'.join((
f"Test Statistic: {stat_sim:.4f}",
f"P-value: {p_value_sim:.5f}",
f"Overall Median: {median_sim:.4f}",
f"Contingency Table:\n{table_sim}"
))
axes[1].text(0.05, 0.95, textstr_sim, transform=axes[1].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].grid(lw=2, ls=':', axis='y')
axes[0].grid(lw=2, ls=':', axis='y')
plt.tight_layout()
plt.show()
3、 Friedman檢驗(yàn)
Friedman檢驗(yàn)是重復(fù)測(cè)量設(shè)計(jì)中的非參數(shù)檢驗(yàn)方法，其作用等同于參數(shù)檢驗(yàn)中的重復(fù)測(cè)量方差分析。該方法主要用于評(píng)估在相同實(shí)驗(yàn)單元（或區(qū)組）上實(shí)施多種處理時(shí)，不同處理之間是否存在顯著差異。
應(yīng)用場(chǎng)景分析：
運(yùn)動(dòng)科學(xué)研究：評(píng)估同一組運(yùn)動(dòng)員在不同訓(xùn)練方案下的長(zhǎng)期表現(xiàn)變化。
免疫學(xué)研究：分析同一患者群體在不同治療方案下或不同時(shí)間點(diǎn)的免疫應(yīng)答變化。
金融分析：在多個(gè)時(shí)間窗口內(nèi)對(duì)比評(píng)估同一時(shí)間序列數(shù)據(jù)的不同預(yù)測(cè)模型性能。
實(shí)驗(yàn)設(shè)計(jì)包含兩種對(duì)照情況：
顯著差異情況：三種處理方法產(chǎn)生統(tǒng)計(jì)上顯著不同的效果。
無(wú)顯著差異情況：三種處理方法產(chǎn)生統(tǒng)計(jì)上相似的效果。
實(shí)驗(yàn)代碼實(shí)現(xiàn)：
import numpy as np
from scipy.stats import friedmanchisquare
import matplotlib.pyplot as plt
np.random.seed(456)
# 構(gòu)造顯著差異數(shù)據(jù)
method_A1 = np.random.normal(loc=50, scale=5, size=10)
method_B1 = np.random.normal(loc=60, scale=5, size=10)
method_C1 = np.random.normal(loc=70, scale=5, size=10)
stat1, pval1 = friedmanchisquare(method_A1, method_B1, method_C1)
# 構(gòu)造無(wú)顯著差異數(shù)據(jù)
method_A2 = np.random.normal(loc=50, scale=5, size=10)
method_B2 = np.random.normal(loc=51, scale=5, size=10)
method_C2 = np.random.normal(loc=49.5, scale=5, size=10)
stat2, pval2 = friedmanchisquare(method_A2, method_B2, method_C2)
fig, axes = plt.subplots(1, 2, figsize=(20, 7))
axes[0].boxplot([method_A1, method_B1, method_C1], labels=["A", "B", "C"])
axes[0].set_title("Scenario 1: Significant Difference")
textstr1 = f"Test statistic: {stat1:.4f}\nP-value: {pval1:.4f}"
props = dict(boxstyle='square', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr1, transform=axes[0].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].boxplot([method_A2, method_B2, method_C2], labels=["A", "B", "C"])
axes[1].set_title("Scenario 2: No Significant Difference")
textstr2 = f"Test statistic: {stat2:.4f}\nP-value: {pval2:.4f}"
axes[1].text(0.05, 0.95, textstr2, transform=axes[1].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[0].grid(lw=2, ls=':', axis='y')
axes[1].grid(lw=2, ls=':', axis='y')
plt.tight_layout()
plt.show()
實(shí)驗(yàn)結(jié)果分析：
- 顯著差異組：檢驗(yàn)結(jié)果表明組間存在統(tǒng)計(jì)顯著性差異，體現(xiàn)為較低的p值和明顯的中位數(shù)差異。
- 無(wú)顯著差異組：數(shù)據(jù)分布呈現(xiàn)大量重疊，p值較高，未能拒絕無(wú)差異的原假設(shè)。
4、Theil-Sen估計(jì)方法
Theil-Sen估計(jì)器是一種用于線性關(guān)系估計(jì)的穩(wěn)健統(tǒng)計(jì)方法。與傳統(tǒng)最小二乘法（OLS）相比，該方法基于所有數(shù)據(jù)點(diǎn)對(duì)之間斜率的中位數(shù)進(jìn)行估計(jì)，因此對(duì)異常值具有較強(qiáng)的抗干擾能力。
主要應(yīng)用領(lǐng)域：
- 金融數(shù)據(jù)分析：在存在市場(chǎng)異常波動(dòng)的情況下估計(jì)資產(chǎn)價(jià)格趨勢(shì)。
- 免疫學(xué)研究：分析TCR頻率或抗體水平的時(shí)間序列變化趨勢(shì)，即使存在個(gè)別異常測(cè)量值。
- 運(yùn)動(dòng)科學(xué)研究：在剔除極端表現(xiàn)影響的情況下評(píng)估運(yùn)動(dòng)員的進(jìn)步趨勢(shì)。
方法驗(yàn)證實(shí)驗(yàn)
實(shí)驗(yàn)設(shè)計(jì)包含兩種典型場(chǎng)景：
常規(guī)數(shù)據(jù)場(chǎng)景：數(shù)據(jù)點(diǎn)呈現(xiàn)規(guī)律的線性關(guān)系。
異常值場(chǎng)景：數(shù)據(jù)中包含顯著偏離主要趨勢(shì)的異常觀測(cè)值。
實(shí)驗(yàn)代碼實(shí)現(xiàn)：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression, TheilSenRegressor
np.random.seed(789)
X = np.linspace(0, 10, 50)
y = 3 * X + np.random.normal(0, 1, 50)
# 構(gòu)造常規(guī)數(shù)據(jù)場(chǎng)景
X1 = X.reshape(-1, 1)
y1 = y.copy()
lr1 = LinearRegression().fit(X1, y1)
ts1 = TheilSenRegressor().fit(X1, y1)
y_pred_lr1 = lr1.predict(X1)
y_pred_ts1 = ts1.predict(X1)
# 構(gòu)造異常值場(chǎng)景
X2 = X.reshape(-1, 1)
y2 = y.copy()
y2[10] += 20 # 引入正向異常值
y2[25] -= 15 # 引入負(fù)向異常值
lr2 = LinearRegression().fit(X2, y2)
ts2 = TheilSenRegressor().fit(X2, y2)
y_pred_lr2 = lr2.predict(X2)
y_pred_ts2 = ts2.predict(X2)
fig, axes = plt.subplots(1, 2, figsize=(20, 10))
axes[0].scatter(X1, y1, color='grey', label='Data')
axes[0].plot(X1, y_pred_lr1, color='red', label='Linear Regression')
axes[0].plot(X1, y_pred_ts1, color='green', label='Theil-Sen')
axes[0].set_title("No Outliers")
axes[0].set_xlabel("X")
axes[0].set_ylabel("Y")
axes[0].legend()
axes[1].scatter(X2, y2, color='grey', label='Data (with outliers)')
axes[1].plot(X2, y_pred_lr2, color='red', label='Linear Regression')
axes[1].plot(X2, y_pred_ts2, color='green', label='Theil-Sen')
axes[1].set_title("With Outliers")
axes[1].set_xlabel("X")
axes[1].set_ylabel("Y")
axes[1].legend()
axes[0].grid(lw=2, ls=':', axis='both')
axes[1].grid(lw=2, ls=':', axis='both')
plt.tight_layout()
plt.show()
實(shí)驗(yàn)結(jié)果顯示了Theil-Sen估計(jì)器在處理異常值時(shí)的優(yōu)越性，特別是在保持整體趨勢(shì)估計(jì)穩(wěn)定性方面表現(xiàn)出明顯優(yōu)勢(shì)。
5、Anderson-Darling檢驗(yàn)
Anderson-Darling檢驗(yàn)是一種高效的擬合優(yōu)度檢驗(yàn)方法，主要用于驗(yàn)證數(shù)據(jù)是否符合特定的理論分布（通常為正態(tài)分布）。該方法的特點(diǎn)是對(duì)分布尾部的偏差具有較高的敏感度，這一特性使其在某些應(yīng)用場(chǎng)景下比傳統(tǒng)的Shapiro-Wilk檢驗(yàn)更具優(yōu)勢(shì)。
應(yīng)用價(jià)值分析：
- 金融數(shù)據(jù)分析：驗(yàn)證資產(chǎn)收益率分布的正態(tài)性假設(shè)，這對(duì)于風(fēng)險(xiǎn)管理和投資決策具有重要意義。
- 免疫學(xué)研究：評(píng)估TCR/BCR多樣性指標(biāo)的分布特征。
- 運(yùn)動(dòng)科學(xué)研究：在應(yīng)用參數(shù)統(tǒng)計(jì)方法前驗(yàn)證性能數(shù)據(jù)的分布假設(shè)。
方法驗(yàn)證實(shí)驗(yàn)
實(shí)驗(yàn)設(shè)計(jì)對(duì)比兩種典型情況：
- 正態(tài)分布數(shù)據(jù)：符合正態(tài)分布假設(shè)的標(biāo)準(zhǔn)數(shù)據(jù)集。
- 非正態(tài)分布數(shù)據(jù)：采用指數(shù)分布生成的偏態(tài)數(shù)據(jù)。
實(shí)驗(yàn)代碼實(shí)現(xiàn)：
import numpy as np
from scipy.stats import anderson
import matplotlib.pyplot as plt
np.random.seed(101)
# 生成正態(tài)分布數(shù)據(jù)
normal_data = np.random.normal(loc=0, scale=1, size=200)
result_normal = anderson(normal_data, dist='norm')
# 生成非正態(tài)分布數(shù)據(jù)（指數(shù)分布）
non_normal_data = np.random.exponential(scale=1.0, size=200)
result_non_normal = anderson(non_normal_data, dist='norm')
# 數(shù)據(jù)可視化分析
fig, axes = plt.subplots(1, 2, figsize=(20, 8))
axes[0].hist(normal_data, bins=20, color='blue', alpha=0.7)
axes[0].set_title("Scenario 1: Normal Data")
textstr_normal = '\n'.join((
f"Statistic: {result_normal.statistic:.4f}",
"Critical Values / Significance Levels:",
*[f" - {sl}% level: CV = {cv:.4f}" for cv, sl in zip(result_normal.critical_values, result_normal.significance_level)]
))
props = dict(boxstyle='round', facecolor='wheat', alpha=0.5)
axes[0].text(0.05, 0.95, textstr_normal, transform=axes[0].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[1].hist(non_normal_data, bins=20, color='orange', alpha=0.7)
axes[1].set_title("Scenario 2: Non-Normal Data")
textstr_non_normal = '\n'.join((
f"Statistic: {result_non_normal.statistic:.4f}",
"Critical Values / Significance Levels:",
*[f" - {sl}% level: CV = {cv:.4f}" for cv, sl in zip(result_non_normal.critical_values, result_non_normal.significance_level)]
))
axes[1].text(0.25, 0.95, textstr_non_normal, transform=axes[1].transAxes, fontsize=10,
verticalalignment='top', bbox=props)
axes[0].grid(lw=2, ls=':', axis='y')
axes[1].grid(lw=2, ls=':', axis='y')
plt.tight_layout()
plt.show()
實(shí)驗(yàn)結(jié)果分析：
- 正態(tài)分布數(shù)據(jù)：檢驗(yàn)統(tǒng)計(jì)量低于臨界值，表明數(shù)據(jù)符合正態(tài)分布假設(shè)。
- 非正態(tài)分布數(shù)據(jù)：檢驗(yàn)統(tǒng)計(jì)量顯著高于臨界值，特別是在分布尾部表現(xiàn)出明顯的偏離。
總結(jié)
本文詳細(xì)介紹的五種統(tǒng)計(jì)檢驗(yàn)方法，雖然在應(yīng)用頻率上不及t檢驗(yàn)或方差分析，但在特定研究場(chǎng)景中具有獨(dú)特的優(yōu)勢(shì)，尤其是在處理非正態(tài)分布、異常值頻現(xiàn)、以及重復(fù)測(cè)量等復(fù)雜數(shù)據(jù)情況時(shí)：
- Mann-Kendall檢驗(yàn)：為時(shí)間序列趨勢(shì)分析提供穩(wěn)健的非參數(shù)方法。
- Mood中位數(shù)檢驗(yàn)：在不要求正態(tài)性假設(shè)的情況下實(shí)現(xiàn)多組中位數(shù)的比較。
- Friedman檢驗(yàn)：為重復(fù)測(cè)量數(shù)據(jù)提供可靠的非參數(shù)分析方案。
- Theil-Sen估計(jì)：提供對(duì)異常值具有高度穩(wěn)健性的趨勢(shì)估計(jì)方法。
- Anderson-Darling檢驗(yàn)：在驗(yàn)證分布假設(shè)時(shí)提供對(duì)尾部偏差更敏感的檢驗(yàn)方案。
這些方法為研究人員在TCR庫(kù)分析、金融數(shù)據(jù)研究和運(yùn)動(dòng)科學(xué)等領(lǐng)域提供了有力的統(tǒng)計(jì)工具。盡管數(shù)據(jù)分析本質(zhì)上具有挑戰(zhàn)性，但這些方法的合理應(yīng)用可以幫助研究者獲得更可靠的分析結(jié)果。
