•   1. 學習方式
•  1.1 監(jiān)督式學習
•  1.2 非監(jiān)督式學習
•  1.3 半監(jiān)督式學習
•  1.4 強化學習
•  2. 算法分類
•  2.1 回歸算法
•  2.2 基于實例的算法
•  2.3 正則化方法
•  2.4 決策樹學習
•  2.5 貝葉斯方法
•  2.6 基于核的算法
•  2.7 聚類算法
•  2.8 關聯(lián)規(guī)則學習
•  2.9 遺傳算法（genetic algorithm）
•  2.10 人工神經(jīng)網(wǎng)絡
•  2.11 深度學習
•  2.12 降低維度算法
•  2.13 集成算法

聲明：本篇博文根據(jù)http://www.ctocio.com/hotnews/15919.html整理，原作者張萌，尊重原創(chuàng)。

機器學習無疑是當前數(shù)據(jù)分析領域的一個熱點內(nèi)容。很多人在平時的工作中都或多或少會用到機器學習的算法。本文為您總結一下常見的機器學習算法，以供您在工作和學習中參考。

機器學習的算法很多。很多時候困惑人們都是，很多算法是一類算法，而有些算法又是從其他算法中延伸出來的。這里，我們從兩個方面來給大家介紹，第一個方面是學習的方式，第二個方面是算法的分類。

博主在原創(chuàng)基礎上加入了遺傳算法（2.9）的介紹，這樣一來，本篇博文所包含的機器學習算法更加全面豐富。該博文屬于總結型文章，如想具體理解每一個算法的具體實現(xiàn)方法，還得針對逐個算法進行學習和推敲。

 1. 學習方式

根據(jù)數(shù)據(jù)類型的不同，對一個問題的建模有不同的方式。在機器學習或者人工智能領域，人們首先會考慮算法的學習方式。在機器學習領域，有幾種主要的學習方式。將算法按照學習方式分類是一個不錯的想法，這樣可以讓人們在建模和算法選擇的時候考慮能根據(jù)輸入數(shù)據(jù)來選擇最合適的算法來獲得好的結果。

1.1 監(jiān)督式學習

在監(jiān)督式學習下，輸入數(shù)據(jù)被稱為“訓練數(shù)據(jù)”，每組訓練數(shù)據(jù)有一個明確的標識或結果，如對防垃圾郵件系統(tǒng)中“垃圾郵件”“非垃圾郵件”，對手寫數(shù)字識別中的“1“，”2“，”3“，”4“等。在建立預測模型的時候，監(jiān)督式學習建立一個學習過程，將預測結果與“訓練數(shù)據(jù)”的實際結果進行比較，不斷的調(diào)整預測模型，直到模型的預測結果達到一個預期的準確率。監(jiān)督式學習的常見應用場景如分類問題和回歸問題。常見算法有邏輯回歸（Logistic Regression）和反向傳遞神經(jīng)網(wǎng)絡（Back Propagation Neural Network）。

1.2 非監(jiān)督式學習

在非監(jiān)督式學習中，數(shù)據(jù)并不被特別標識，學習模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結構。常見的應用場景包括關聯(lián)規(guī)則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。

1.3 半監(jiān)督式學習

在此學習方式下，輸入數(shù)據(jù)部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數(shù)據(jù)的內(nèi)在結構以便合理的組織數(shù)據(jù)來進行預測。應用場景包括分類和回歸，算法包括一些對常用監(jiān)督式學習算法的延伸，這些算法首先試圖對未標識數(shù)據(jù)進行建模，在此基礎上再對標識的數(shù)據(jù)進行預測。如圖論推理算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。

1.4 強化學習

在這種學習模式下，輸入數(shù)據(jù)作為對模型的反饋，不像監(jiān)督模型那樣，輸入數(shù)據(jù)僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數(shù)據(jù)直接反饋到模型，模型必須對此立刻作出調(diào)整。常見的應用場景包括動態(tài)系統(tǒng)以及機器人控制等。常見算法包括Q-Learning以及時間差學習（Temporal difference learning）。

在企業(yè)數(shù)據(jù)應用的場景下， 人們最常用的可能就是監(jiān)督式學習和非監(jiān)督式學習的模型。 在圖像識別等領域，由于存在大量的非標識的數(shù)據(jù)和少量的可標識數(shù)據(jù)， 目前半監(jiān)督式學習是一個很熱的話題。 而強化學習更多的應用在機器人控制及其他需要進行系統(tǒng)控制的領域。

2. 算法分類

根據(jù)算法的功能和形式的類似性，我們可以把算法分類，比如說基于樹的算法，基于神經(jīng)網(wǎng)絡的算法等等。當然，機器學習的范圍非常龐大，有些算法很難明確歸類到某一類。而對于有些分類來說，同一分類的算法可以針對不同類型的問題。這里，我們盡量把常用的算法按照最容易理解的方式進行分類。

2.1 回歸算法

回歸算法是試圖采用對誤差的衡量來探索變量之間的關系的一類算法?；貧w算法是統(tǒng)計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。常見的回歸算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（Multivariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）。

2.2 基于實例的算法

基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數(shù)據(jù)，然后根據(jù)某些近似性把新數(shù)據(jù)與樣本數(shù)據(jù)進行比較。通過這種方式來尋找匹配。因此，基于實例的算法常常也被稱為“贏家通吃”學習或者“基于記憶的學習”。常見的算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map ， SOM）。

2.3 正則化方法

正則化方法是其他算法（通常是回歸算法）的延伸，根據(jù)算法的復雜度對算法進行調(diào)整。正則化方法通常對簡單模型予以獎勵而對復雜算法予以懲罰。常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網(wǎng)絡（Elastic Net）。

2.4 決策樹學習

決策樹算法根據(jù)數(shù)據(jù)的屬性采用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）

2.5 貝葉斯方法

貝葉斯方法算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，平均單依賴估計（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。

2.6 基于核的算法

基于核的算法中最著名的莫過于支持向量機（SVM）了。 基于核的算法把輸入數(shù)據(jù)映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。 常見的基于核的算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數(shù)（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等。

2.7 聚類算法

聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數(shù)據(jù)進行歸并。所以的聚類算法都試圖找到數(shù)據(jù)的內(nèi)在結構，以便按照最大的共同點將數(shù)據(jù)進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。

2.8 關聯(lián)規(guī)則學習

關聯(lián)規(guī)則學習通過尋找最能夠解釋數(shù)據(jù)變量之間關系的規(guī)則，來找出大量多元數(shù)據(jù)集中有用的關聯(lián)規(guī)則。常見算法包括 Apriori算法和Eclat算法等。

2.9 遺傳算法（genetic algorithm）

遺傳算法模擬生物繁殖的突變、交換和達爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問題可能的解編碼為一個向量，稱為個體，向量的每一個元素稱為基因，并利用目標函數(shù)（相應于自然選擇標準）對群體（個體的集合）中的每一個個體進行評價，根據(jù)評價值（適應度）對個體進行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用于非常復雜和困難的環(huán)境，比如，帶有大量噪聲和無關數(shù)據(jù)、事物不斷更新、問題目標不能明顯和精確地定義，以及通過很長的執(zhí)行過程才能確定當前行為的價值等。同神經(jīng)網(wǎng)絡一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個獨立分支，其代表人物為霍勒德（J.H.Holland）。

2.10 人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡算法模擬生物神經(jīng)網(wǎng)絡，是一類模式匹配算法。通常用于解決分類和回歸問題。人工神經(jīng)網(wǎng)絡是機器學習的一個龐大的分支，有幾百種不同的算法。（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經(jīng)網(wǎng)絡算法包括：感知器神經(jīng)網(wǎng)絡（Perceptron Neural Network）, 反向傳遞（Back Propagation）， Hopfield網(wǎng)絡，自組織映射（Self-Organizing Map, SOM）。

2.11 深度學習

深度學習算法是對人工神經(jīng)網(wǎng)絡的發(fā)展。 在近期贏得了很多關注， 特別是百度也開始發(fā)力深度學習后， 更是在國內(nèi)引起了很多關注。 在計算能力變得日益廉價的今天，深度學習試圖建立大得多也復雜得多的神經(jīng)網(wǎng)絡。很多深度學習的算法是半監(jiān)督式學習算法，用來處理存在少量未標識數(shù)據(jù)的大數(shù)據(jù)集。常見的深度學習算法包括：受限波爾茲曼機（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網(wǎng)絡（Convolutional Network）, 堆棧式自動編碼器（Stacked Auto-encoders）。

2.12 降低維度算法

像聚類算法一樣，降低維度算法試圖分析數(shù)據(jù)的內(nèi)在結構，不過降低維度算法是以非監(jiān)督學習的方式試圖利用較少的信息來歸納或者解釋數(shù)據(jù)。這類算法可以用于高維數(shù)據(jù)的可視化或者用來簡化數(shù)據(jù)以便監(jiān)督式學習使用。常見的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling, MDS）, 投影追蹤（Projection Pursuit）等。

2.13 集成算法

集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然后把結果整合起來進行整體預測。集成算法的主要難點在于究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。常見的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（Gradient Boosting Machine, GBM），隨機森林（Random Forest），GBDT（Gradient Boosting Decision Tree）。