機(jī)器學(xué)習(xí)怎么入門(mén)最簡(jiǎn)單？今年剛剛從哈佛大學(xué)統(tǒng)計(jì)專(zhuān)業(yè)畢業(yè)的 Danny Friedman 寫(xiě)了一本「轉(zhuǎn)專(zhuān)業(yè)學(xué)生專(zhuān)用教材」，無(wú)基礎(chǔ)也可輕松入門(mén)，資源現(xiàn)已全部開(kāi)放。

說(shuō)起機(jī)器學(xué)習(xí)入門(mén)書(shū)，大概有成百上千種選擇。這些書(shū)籍大多是由具備豐富研究經(jīng)驗(yàn)的學(xué)者撰寫(xiě)的，涵蓋各種主題。

俗話說(shuō)「開(kāi)卷有益」，但對(duì)于轉(zhuǎn)專(zhuān)業(yè)的初學(xué)者來(lái)說(shuō)，這本新書(shū)或許更適合入門(mén)：

近日，一位畢業(yè)于哈佛大學(xué)的小哥根據(jù)自己的機(jī)器學(xué)習(xí)入門(mén)經(jīng)歷，撰寫(xiě)了一本《從零開(kāi)始的機(jī)器學(xué)習(xí)》。

書(shū)籍地址：https://dafriedman97.github.io/mlbook/content/introduction.html

這本書(shū)涵蓋了機(jī)器學(xué)習(xí)領(lǐng)域最常見(jiàn)的方法，就像是一位機(jī)器學(xué)習(xí)工程師的工具箱，適用于入門(mén)級(jí)學(xué)習(xí)者。撰寫(xiě)目的是為讀者提供獨(dú)立構(gòu)建一些基本的機(jī)器學(xué)習(xí)算法的實(shí)踐指導(dǎo)，如果用工具箱類(lèi)比的話，就是教會(huì)讀者具體使用一把螺絲刀、一盒卷尺。書(shū)中的每一章都對(duì)應(yīng)一種機(jī)器學(xué)習(xí)方法。

作者 Danny Friedman 介紹說(shuō)，學(xué)習(xí)一種方法的最佳方式就是從零開(kāi)始（無(wú)論是從理論上還是代碼上），因此本書(shū)的宗旨也是提供這些推導(dǎo)過(guò)程。每章分為三個(gè)部分：首先是從「概念」上進(jìn)行介紹，并且從數(shù)學(xué)層面演示推導(dǎo)過(guò)程；然后是「構(gòu)造」部分，如何使用 Python 從零開(kāi)始演示這些方法；最后的「實(shí)現(xiàn)」部分介紹了如何使用 Python 包應(yīng)用這些方法，比如 scikit-learn、 statsmodels 和 tensorflow。

這本書(shū)面向的是機(jī)器學(xué)習(xí)領(lǐng)域的新人，或者是希望深入了解算法的學(xué)習(xí)者。閱讀書(shū)中的推論可能有助于以前不熟悉算法的讀者充分理解方法背后的原理，也能幫助有建模經(jīng)驗(yàn)的讀者了解不同算法如何建模，并觀察每種算法的優(yōu)缺點(diǎn)。

章節(jié)介紹

在閱讀這本書(shū)的「概念」部分之前，讀者應(yīng)該熟悉微積分的知識(shí)，有的部分可能會(huì)用到概率的知識(shí)（最大似然和貝葉斯定律）以及基礎(chǔ)的線性代數(shù)（矩陣運(yùn)算和點(diǎn)積）。這部分還引用了一些常見(jiàn)的機(jī)器學(xué)習(xí)方法（附錄中有介紹），但「概念」部分不需要編程知識(shí)。

「構(gòu)造」和「代碼」部分會(huì)用到一些 Python 的知識(shí)。「構(gòu)造」部分需要了解對(duì)應(yīng)內(nèi)容部分，并熟悉 Python 的創(chuàng)建函數(shù)和類(lèi)。這些「代碼」部分均不需要。

全書(shū)目錄如下：

1. 普通線性回歸（Ordinary Linear Regression）

最小化損失（The Loss-Minimization Perspective）

最大似然（The Likelihood-Maximization Perspective）

2. 線性回歸擴(kuò)展（Linear Regression Extensions）

正則回歸（Regularized Regression）

貝葉斯回歸（Bayesian Regression）

廣義線性模型（Generalized Linear Models）

3. 判別分類(lèi)（Discriminative Classification）

邏輯回歸（Logistic Regression）

感知器算法（The Perceptron Algorithm）

Fisher 線性判別（Fisher’s Linear Discriminant）

4. 生成分類(lèi)（Generative Classification）

線性和二次判別分析、樸素貝葉斯 (Linear and Quadratic Discriminant Analysis、Naive Bayes)

5. 決策樹(shù)（Decision Trees）

回歸樹(shù)（Regression Trees）

分類(lèi)樹(shù)（Classification Trees）

6. 基于樹(shù)的集成方法（Tree Ensemble Methods）

Bagging

隨機(jī)森林（Random Forests）

Boosting

7. 神經(jīng)網(wǎng)絡(luò)（Neural Networks）

線性回歸是一種相對(duì)簡(jiǎn)單的方法，用途極為廣泛，所以也是必學(xué)算法之一。

第一章介紹了普通線性回歸，第二章主要介紹了線性回歸的擴(kuò)展。可以通過(guò)多種方式擴(kuò)展線性回歸，以適應(yīng)各種建模需求。正則回歸懲罰了回歸系數(shù)的大小，以避免過(guò)度擬合。這對(duì)于使用大量預(yù)測(cè)變量的模型尤其有效，貝葉斯回歸對(duì)回歸系數(shù)進(jìn)行先驗(yàn)分布，以便將關(guān)于這些參數(shù)的現(xiàn)有觀念與從新數(shù)據(jù)中獲得的信息相協(xié)調(diào)。最后，廣義線性模型（GLM）通過(guò)更改假定的誤差結(jié)構(gòu)并允許期望值來(lái)擴(kuò)展常規(guī)的線性回歸。目標(biāo)變量是預(yù)測(cè)變量的非線性函數(shù)。

分類(lèi)器是一種有監(jiān)督的學(xué)習(xí)算法。它試圖識(shí)別觀察值對(duì)兩個(gè)或多個(gè)組之一的成員資格。換句話說(shuō)，分類(lèi)中的目標(biāo)變量表示有限集而不是連續(xù)數(shù)的類(lèi)。例如，檢測(cè)垃圾郵件或識(shí)別手寫(xiě)數(shù)字。

第三章和第四章分別介紹了判別分類(lèi)和生成分類(lèi)。判別分類(lèi)根據(jù)觀察變量的輸入變量直接對(duì)其進(jìn)行建模。生成分類(lèi)將輸入變量視為觀察類(lèi)的函數(shù)。它首先對(duì)觀察值屬于給定類(lèi)的先驗(yàn)概率建模。然后計(jì)算觀察觀察值以其類(lèi)為條件的輸入變量的概率。最后使用貝葉斯定律求解屬于給定類(lèi)的后驗(yàn)概率。邏輯回歸不是唯一的區(qū)分性分類(lèi)器，書(shū)中還介紹了另外兩種：感知器算法和 Fisher 線性判別法。

第五章演示了如何構(gòu)建決策樹(shù)。第一部分涵蓋了回歸任務(wù)，其中目標(biāo)變量是定量的；第二部分涵蓋了分類(lèi)任務(wù)，其中目標(biāo)變量是分類(lèi)的。

決策樹(shù)是用于回歸和分類(lèi)的可解釋機(jī)器學(xué)習(xí)方法。樹(shù)根據(jù)所選預(yù)測(cè)變量的值迭代地拆分訓(xùn)練數(shù)據(jù)的樣本。每次拆分的目的是創(chuàng)建兩個(gè)子樣本（即「孩子」）。其目標(biāo)變量的 purity 高于其「父親」。對(duì)于分類(lèi)任務(wù)，purity 意味著第一個(gè)孩子應(yīng)該觀察一個(gè)類(lèi)別，第二個(gè)孩子主要觀察另一個(gè)類(lèi)別。對(duì)于回歸任務(wù)，purity 意味著第一個(gè)孩子的目標(biāo)變量值應(yīng)該較高，而第二個(gè)孩子的目標(biāo)變量值應(yīng)該較低。

以下是使用 penguins 數(shù)據(jù)集的分類(lèi)決策樹(shù)的示例：

由于其高方差，決策樹(shù)通常無(wú)法達(dá)到與其他預(yù)測(cè)算法可比的精確度。在第五章中介紹了幾種最小化單個(gè)決策樹(shù)的方差的方法，例如剪枝或調(diào)整大小。第六章將介紹另一種方法：集成方法。集成方法結(jié)合了多個(gè)簡(jiǎn)單模型的輸出，以創(chuàng)建具有較低方差的最終模型。書(shū)中在基于樹(shù)的學(xué)習(xí)器的背景下介紹集成方法，但集成方法也可以用于多種學(xué)習(xí)算法。在這本書(shū)中，作者討論了三種基于樹(shù)的集成方法：bagging、隨機(jī)森林和 boosting。

第七章介紹了神經(jīng)網(wǎng)絡(luò)，一種功能強(qiáng)大且用途廣泛的模型，已成為機(jī)器學(xué)習(xí)中的一大熱門(mén)話題。盡管神經(jīng)網(wǎng)絡(luò)的性能通常勝過(guò)其他模型，但神經(jīng)網(wǎng)絡(luò)也不像想象中那么復(fù)雜。相反，通過(guò)優(yōu)化高度參數(shù)化和非線性的結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)具有足夠的靈活性對(duì)其他模型難以檢測(cè)到的細(xì)微關(guān)系進(jìn)行建模。

這一章按照如下結(jié)構(gòu)展開(kāi)：

1. 模型結(jié)構(gòu)

概述

層與層之間的交互

激活函數(shù)

2. 優(yōu)化

反向傳播

計(jì)算梯度

將結(jié)果與鏈?zhǔn)椒▌t結(jié)合

3. 結(jié)合觀察值

一種新的表征

梯度

其他資源推薦

此外，作者還推薦了三本經(jīng)典的機(jī)器學(xué)習(xí)理論入門(mén)書(shū)籍，也都能在網(wǎng)絡(luò)上獲取免費(fèi)資源：

1、《統(tǒng)計(jì)學(xué)習(xí)導(dǎo)論：基于 R 應(yīng)用》

資源地址：http://faculty.marshall.usc.edu/gareth-james/ISL/

2、《統(tǒng)計(jì)學(xué)習(xí)的要素：數(shù)據(jù)挖掘、推理和預(yù)測(cè)》

資源地址：https://web.stanford.edu/~hastie/ElemStatLearn/

3、《模式識(shí)別與機(jī)器學(xué)習(xí)》

資源地址：https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/