2021年來(lái)了，越過(guò)了充滿艱辛的2020，希望大家在新的一年里，手里能多一件對(duì)抗未知的武器，剛哥送給大家免費(fèi)的Python機(jī)器學(xué)習(xí)課程。

線性回歸

最基本的機(jī)器學(xué)習(xí)算法必須是具有單個(gè)變量的線性回歸算法。如今，可用的高級(jí)機(jī)器學(xué)習(xí)算法，庫(kù)和技術(shù)如此之多，以至于線性回歸似乎并不重要。但是，學(xué)習(xí)基礎(chǔ)知識(shí)總是一個(gè)好主意。這樣，您將非常清楚地理解這些概念。在本文中，我將逐步解釋線性回歸算法。

多元線性回歸

在回歸分析中，如果有兩個(gè)或兩個(gè)以上的自變量，就稱為多元回歸。事實(shí)上，一種現(xiàn)象常常是與多個(gè)因素相聯(lián)系的，由多個(gè)自變量的最優(yōu)組合共同來(lái)預(yù)測(cè)或估計(jì)因變量，比只用一個(gè)自變量進(jìn)行預(yù)測(cè)或估計(jì)更有效，更符合實(shí)際。因此多元線性回歸比一元線性回歸的實(shí)用意義更大

多項(xiàng)式回歸

在統(tǒng)計(jì)學(xué)中， 多項(xiàng)式回歸是回歸分析的一種形式，其中自變量 x 和因變量 y 之間的關(guān)系被建模為關(guān)于 x 的 n 次多項(xiàng)式。多項(xiàng)式回歸擬合x(chóng)的值與 y 的相應(yīng)條件均值之間的非線性關(guān)系，表示為 E(y|x)，并且已被用于描述非線性現(xiàn)象，例如組織的生長(zhǎng)速率[1]、湖中碳同位素的分布[2]以及沉積物和流行病的發(fā)展[3]。雖然多項(xiàng)式回歸是擬合數(shù)據(jù)的非線性模型，但作為統(tǒng)計(jì)估計(jì)問(wèn)題，它是線性的。在某種意義上，回歸函數(shù) E(y|x) 在從數(shù)據(jù)估計(jì)到的未知參數(shù)中是線性的。因此，多項(xiàng)式回歸被認(rèn)為是多元線性回歸的特例。

邏輯回歸

自上世紀(jì)以來(lái)，邏輯回歸是一種流行的方法。它建立了分類變量和一個(gè)或多個(gè)自變量之間的關(guān)系。在機(jī)器學(xué)習(xí)中使用此關(guān)系來(lái)預(yù)測(cè)分類變量的結(jié)果。它被廣泛用于許多不同的領(lǐng)域，例如醫(yī)療領(lǐng)域，貿(mào)易和商業(yè)，技術(shù)等等。

多類分類邏輯回歸

普通的邏輯回歸只能針對(duì)二分類問(wèn)題，要想實(shí)現(xiàn)多個(gè)類別的分類，我們必須要改進(jìn)邏輯回歸，讓其適應(yīng)多分類問(wèn)題。

關(guān)于這種改進(jìn)，有兩種方式可以做到。

第一種方式是直接根據(jù)每個(gè)類別，都建立一個(gè)二分類器，帶有這個(gè)類別的樣本標(biāo)記為1，帶有其他類別的樣本標(biāo)記為0。假如我們有k個(gè)類別，最后我們就得到了k個(gè)針對(duì)不同標(biāo)記的普通的邏輯二分類器。

第二種方式是修改邏輯回歸的損失函數(shù)，讓其適應(yīng)多分類問(wèn)題。這個(gè)損失函數(shù)不再籠統(tǒng)地只考慮二分類非1就0的損失，而是具體考慮每個(gè)樣本標(biāo)記的損失。這種方法叫做softmax回歸，即邏輯回歸的多分類版本。

神經(jīng)網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)已被開(kāi)發(fā)來(lái)模仿人類的大腦。神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中非常有效。它在1980年代和1990年代很流行。最近，它變得越來(lái)越流行?？赡苁且?yàn)橛?jì)算機(jī)足夠快，可以在合理的時(shí)間內(nèi)運(yùn)行大型神經(jīng)網(wǎng)絡(luò)。

如何應(yīng)對(duì)算法效果不佳

我們花了很多時(shí)間來(lái)開(kāi)發(fā)機(jī)器學(xué)習(xí)算法。但是在部署后，如果該算法性能不佳，那將令人沮喪。問(wèn)題是，如果算法無(wú)法按預(yù)期工作，下一步應(yīng)該怎么做。什么地方出了錯(cuò)?訓(xùn)練數(shù)據(jù)的數(shù)量是否足夠?我們使用了正確的功能嗎?我們是否應(yīng)該繼續(xù)收集更多數(shù)據(jù)?我們可以，但是那是非常耗時(shí)且昂貴的。我們應(yīng)該添加更多功能嗎?那也可能很昂貴。

往哪個(gè)方向走?

如果您的機(jī)器學(xué)習(xí)算法無(wú)法正常工作，下一步該怎么做?有幾種選擇：

• 獲取更多的訓(xùn)練數(shù)據(jù)非常耗時(shí)。甚至可能需要數(shù)月的時(shí)間才能獲得更多的研究數(shù)據(jù)。
• 獲得更多的訓(xùn)練特征。也可能需要很多時(shí)間。但是，如果添加一些多項(xiàng)式特征可以工作，那就太酷了。
• 選擇較小的一組訓(xùn)練特征。
• 增加正則項(xiàng)
• 減少正則項(xiàng)。

那么，接下來(lái)您應(yīng)該嘗試哪一個(gè)呢?開(kāi)始嘗試任何操作都不是一個(gè)好主意。因?yàn)槟赡茏罱K會(huì)花太多時(shí)間在無(wú)用的事情上。您需要先發(fā)現(xiàn)問(wèn)題，然后采取相應(yīng)措施。學(xué)習(xí)曲線有助于輕松檢測(cè)問(wèn)題，從而節(jié)省大量時(shí)間。

學(xué)習(xí)曲線對(duì)于確定如何提高算法性能非常有用。確定算法是否遭受偏差或擬合不足，方差或擬合過(guò)度，或兩者兼而有之，這很有用。

精確度，召回率

如何處理機(jī)器學(xué)習(xí)中偏斜的數(shù)據(jù)集

用偏斜的數(shù)據(jù)集開(kāi)發(fā)有效的機(jī)器學(xué)習(xí)算法可能很棘手。例如，數(shù)據(jù)集涉及銀行中的欺詐活動(dòng)或癌癥檢測(cè)。發(fā)生的情況是，您將在數(shù)據(jù)集中看到99%的時(shí)間沒(méi)有欺詐活動(dòng)或沒(méi)有癌癥。您可以很容易地作弊，并且始終可以僅預(yù)測(cè)0(如果癌癥則預(yù)測(cè)1，如果沒(méi)有癌癥則預(yù)測(cè)0)，從而獲得99%的準(zhǔn)確性。如果這樣做，我們將擁有99%的準(zhǔn)確機(jī)器學(xué)習(xí)算法，但我們將永遠(yuǎn)不會(huì)檢測(cè)到癌癥。如果某人患有癌癥，他/他將永遠(yuǎn)得不到治療。在銀行中，不會(huì)采取任何針對(duì)欺詐活動(dòng)的措施。因此，僅靠準(zhǔn)確性就無(wú)法確定偏斜的數(shù)據(jù)集，就像算法是否有效運(yùn)行一樣。

有不同的評(píng)估矩陣可以幫助處理這些類型的數(shù)據(jù)集。這些評(píng)估指標(biāo)稱為精確召回評(píng)估指標(biāo)。

要了精確度和召回率，您需要了解下表及其所有術(shù)語(yǔ)?？紤]二進(jìn)制分類。它將返回0或1。對(duì)于給定的訓(xùn)練數(shù)據(jù)，如果實(shí)際類別為1，而預(yù)測(cè)類別也為1，則稱為真實(shí)肯定。如果實(shí)際類別為0，而預(yù)測(cè)類別為1，則為假陽(yáng)性。如果實(shí)際類別為1，但預(yù)測(cè)類別為0，則稱為假陰性。如果實(shí)際類別和預(yù)測(cè)類別均為0，則為真陰性。

使用所有這些，我們將計(jì)算精度和召回率。

K均值聚類

K均值聚類是最流行和廣泛使用的無(wú)監(jiān)督學(xué)習(xí)模型。它也稱為群集，因?yàn)樗ㄟ^(guò)群集數(shù)據(jù)來(lái)工作。與監(jiān)督學(xué)習(xí)模型不同，非監(jiān)督模型不使用標(biāo)記數(shù)據(jù)。

該算法的目的不是預(yù)測(cè)任何標(biāo)簽。而是更好地了解數(shù)據(jù)集并對(duì)其進(jìn)行標(biāo)記。

在k均值聚類中，我們將數(shù)據(jù)集聚類為不同的組。

異常檢測(cè)

異常檢測(cè)可以作為離群分析的統(tǒng)計(jì)任務(wù)來(lái)對(duì)待。但是，如果我們開(kāi)發(fā)一個(gè)機(jī)器學(xué)習(xí)模型，它可以自動(dòng)化，并且像往常一樣可以節(jié)省大量時(shí)間。有很多異常檢測(cè)用例。信用卡欺詐檢測(cè)，故障機(jī)器檢測(cè)或基于其異常功能的硬件系統(tǒng)檢測(cè)，基于病歷的疾病檢測(cè)都是很好的例子。還有更多的用例。而且異常檢測(cè)的使用只會(huì)越來(lái)越多。

單變量和多元高斯分布

高斯分布是統(tǒng)計(jì)中最重要的概率分布，在機(jī)器學(xué)習(xí)中也很重要。因?yàn)樵S多自然現(xiàn)象，例如人口高度，血壓，鞋子的尺碼，諸如考試成績(jī)之類的教育手段以及自然界中許多其他重要方面，都傾向于遵循高斯分布。

我敢肯定，您聽(tīng)說(shuō)過(guò)這個(gè)詞，并且在某種程度上也知道。如果沒(méi)有，請(qǐng)不要擔(dān)心。本文將對(duì)其進(jìn)行清晰的解釋。我在吳哥倫教授在Coursera的機(jī)器學(xué)習(xí)課程中發(fā)現(xiàn)了一些驚人的視覺(jué)效果。他知道如何將主題分解成小塊，使其變得更容易并進(jìn)行詳細(xì)說(shuō)明。

他使用了一些視覺(jué)效果，可以很容易地理解高斯分布及其與相關(guān)參數(shù)(例如均值，標(biāo)準(zhǔn)偏差和方差)的關(guān)系。

在本文中，我從他的課程中切出了一些視覺(jué)效果，并在這里用它來(lái)詳細(xì)解釋了高斯分布。

推薦系統(tǒng)

如今，我們到處都能看到推薦系統(tǒng)。當(dāng)您在諸如Amazon，eBay或其他任何地方的在線市場(chǎng)上購(gòu)買(mǎi)商品時(shí)，他們會(huì)推薦類似的產(chǎn)品。在Netflix或youtube上，您會(huì)在首頁(yè)上看到與以前的活動(dòng)或搜索類似的建議。他們是如何做到的?他們都遵循這一想法。也就是說(shuō)，他們從您之前的活動(dòng)中獲取數(shù)據(jù)并進(jìn)行相似性分析。根據(jù)該分析，他們會(huì)建議您喜歡的更多產(chǎn)品或視頻或電影。

希望這些課程能夠幫助你學(xué)習(xí)機(jī)器學(xué)習(xí)的基本知識(shí)，在新的一年里，解決更為復(fù)雜的問(wèn)題。