[[248896]]

K―平均算法

K―平均算法是一種得到廣泛應(yīng)用的基于劃分的聚類算法。其把M個(gè)對(duì)象分為N個(gè)簇，使得每個(gè)簇內(nèi)具有較高的相似度。

在應(yīng)用該算法進(jìn)行數(shù)據(jù)分析時(shí)，首先應(yīng)輸入包含M個(gè)對(duì)象的數(shù)據(jù)集A以及簇的數(shù)目N。從A中任意選擇N個(gè)對(duì)象作為初始簇中心并且不斷重復(fù)，隨后計(jì)算出簇中對(duì)象的均值，將每個(gè)對(duì)象分配到最相似的簇并且不斷更新簇均值，***計(jì)算準(zhǔn)則函數(shù)直到其不再發(fā)生變化為止。因?yàn)樵撍惴ǖ膹?fù)雜度大約是0(nkt)，所以該算法在處理大數(shù)據(jù)集時(shí)是相對(duì)可伸縮的和高效率的。

奇異值分解

假設(shè)A是一個(gè)m×n階矩陣，其中的元素全部屬于實(shí)數(shù)域或復(fù)數(shù)域。如此則存在一個(gè)分解使得A=U∑V*。其中U是m×m階酉矩陣，Σ是半正定m×n階對(duì)角矩陣，而V*是n×n階酉矩陣的共軛轉(zhuǎn)置矩陣。這樣的分解就稱為A的奇異值分解。

在MATLAB仿真軟件中計(jì)算奇異值分解的函數(shù)式為：[b.c.d]=svd(x)

主成分分析(PCA算法)

從宏觀上來說，主成分分析是指在研究一項(xiàng)變量較多的課題時(shí)，將這些變量通過線性變換而簡化為幾個(gè)重要變量的一種多元統(tǒng)計(jì)分析方法。而在數(shù)據(jù)分析領(lǐng)域，主成分分析的主要作用是對(duì)大規(guī)模的數(shù)據(jù)集進(jìn)行分析與簡化。其主要體現(xiàn)在降低數(shù)據(jù)集的維數(shù)，同時(shí)盡可能保持?jǐn)?shù)據(jù)集中的對(duì)所研究的問題最有價(jià)值的特征。簡而言之，就是保留低階主成分，忽略高階主成分。其具體方法是通過對(duì)協(xié)方差矩陣進(jìn)行特征分解，從而得出數(shù)據(jù)的特征向量與特征值。主成分分析在數(shù)學(xué)上可以理解為一個(gè)正交化的線性變換，把數(shù)據(jù)整體變換到一個(gè)新的坐標(biāo)系中，使得這一數(shù)據(jù)的任何投影的***大方差在***主成分上，第二大方差在第二主成分上，依次類推。

決策樹學(xué)習(xí)

從廣義上講，決策樹是一種運(yùn)用圖解法的概率分析，即在已知各種事件發(fā)生概率的基礎(chǔ)上，通過構(gòu)建決策樹來探究期望值大于等于零的概率，同時(shí)判斷可行性的決策分析方法。

決策樹學(xué)習(xí)是數(shù)據(jù)分析領(lǐng)域常用的方法，其目的是構(gòu)建一個(gè)模型來預(yù)測(cè)樣本的目標(biāo)值。一棵決策樹的訓(xùn)練就是依據(jù)一個(gè)既定指標(biāo)，將訓(xùn)練數(shù)據(jù)集分為幾個(gè)子集并且在所產(chǎn)生的子集中不斷重復(fù)此方法的過程，直到一個(gè)訓(xùn)練子集的類標(biāo)都相同時(shí)為止。決策樹主要有兩種類型：分類樹和回歸樹。其中分類樹的輸出是樣本的類標(biāo)，而回歸樹輸出的是一個(gè)實(shí)數(shù)。決策樹的優(yōu)點(diǎn)體現(xiàn)在即可以處理數(shù)值型數(shù)據(jù)也可以處理類別型數(shù)據(jù)，并且適合處理大規(guī)模數(shù)據(jù)。