我是51CTO學(xué)院講師唐宇迪，在51CTO學(xué)院“4.20 IT充電節(jié)”(4月19~20日)到來(lái)之際，和大家分享一下機(jī)器學(xué)習(xí)實(shí)戰(zhàn)案例經(jīng)驗(yàn)。正文來(lái)啦~~~

[[188200]]

數(shù)據(jù)分析太火爆，怎奈機(jī)器學(xué)習(xí)太難懂!隨著人工智能的浪潮襲來(lái)，機(jī)器學(xué)習(xí)已經(jīng)越來(lái)越火爆啦。數(shù)據(jù)分析與機(jī)器學(xué)習(xí)崗位可謂供不應(yīng)求，但是入門的門檻也是蠻高的，究竟是機(jī)器學(xué)習(xí)太難學(xué)還是咱們木有挑選到趁手的兵器呢?今天咱們的任務(wù)就是嘗試用Python去開啟一場(chǎng)數(shù)據(jù)分析和機(jī)器學(xué)習(xí)建模之旅，用最簡(jiǎn)單的方式帶大家邁出機(jī)器學(xué)習(xí)的***步!

機(jī)器學(xué)習(xí)：數(shù)據(jù)分析很好理解，就是挖掘出來(lái)我們需要的有價(jià)值的信息，那么機(jī)器學(xué)習(xí)又是什么呢?剛接觸這個(gè)領(lǐng)域的同學(xué)可能有些迷茫，這個(gè)詞看起來(lái)蠻高端的，我就來(lái)通俗的解釋一下，機(jī)器學(xué)習(xí)是我們要讓機(jī)器(咱們的電腦)在歷史的數(shù)據(jù)中去學(xué)習(xí)到一些數(shù)據(jù)分布的規(guī)則，然后應(yīng)用到新的數(shù)據(jù)中，這樣新的數(shù)據(jù)來(lái)了我們就可以做一系列任務(wù)啦，比如銀行根據(jù)歷史數(shù)據(jù)得出什么樣的人我會(huì)借給他多少錢，那么一個(gè)新來(lái)的同學(xué)來(lái)借錢，銀行就會(huì)得出一個(gè)明確值，借給他多少錢!機(jī)器學(xué)習(xí)的應(yīng)用已經(jīng)涉及到我們生活中的各個(gè)角落，隨著人工智能業(yè)的發(fā)展，相信機(jī)器學(xué)習(xí)的力量會(huì)使得我們生活的環(huán)境更上一層樓!

故事背景：今天要講的故事是咱們家喻戶曉的泰坦尼克號(hào)，那么咱們是要來(lái)回顧一下jack和rose的經(jīng)典動(dòng)作嗎?這些只是咱們故事的開始，我們要做一件非常有意思的事情，去預(yù)測(cè)一下泰坦尼克號(hào)中，哪些成員能獲救。

[[188201]]

挑選兵器：任務(wù)已經(jīng)明確下達(dá)，接下來(lái)的目的就是挑選幾個(gè)合適的兵器去進(jìn)行預(yù)測(cè)的工作啦，咱們的主線是使用Python，因?yàn)樵跀?shù)據(jù)分析與機(jī)器學(xué)習(xí)界Python已經(jīng)成為一哥啦!首先介紹下咱們的兵器譜!

Numpy-科學(xué)計(jì)算庫(kù) 主要用來(lái)做矩陣運(yùn)算，什么?你不知道哪里會(huì)用到矩陣，那么這樣想吧，咱們的數(shù)據(jù)就是行(樣本)和列(特征)組成的，那么數(shù)據(jù)本身不就是一個(gè)矩陣嘛。

Pandas-數(shù)據(jù)分析處理庫(kù) 很多小伙伴都在說(shuō)用python處理數(shù)據(jù)很容易，那么容易在哪呢?其實(shí)有了pandas，很復(fù)雜的操作我們也可以一行代碼去解決掉!

Matplotlib-可視化庫(kù) 無(wú)論是分析還是建模，光靠好記性可不行，很有必要把結(jié)果和過(guò)程可視化的展示出來(lái)。

Scikit-Learn-機(jī)器學(xué)習(xí)庫(kù) 非常實(shí)用的機(jī)器學(xué)習(xí)算法庫(kù)，這里面包含了基本你覺得你能用上的所有機(jī)器學(xué)習(xí)算法啦。但還遠(yuǎn)不止如此，還有很多預(yù)處理和評(píng)估的模塊等你來(lái)挖掘!

數(shù)據(jù)簡(jiǎn)介：拿上這些趁手的兵器，我們趕緊干活吧，首先來(lái)看一下咱們的數(shù)據(jù)是長(zhǎng)什么樣子的!接下來(lái)我們就用這些武器來(lái)應(yīng)對(duì)問(wèn)題!

Pandas首先登場(chǎng)，我們用它來(lái)進(jìn)行數(shù)據(jù)處理和分析是灰常方便的，首先讀取了.csv文件，又顯示了它的前5行數(shù)據(jù)。來(lái)簡(jiǎn)單介紹一下數(shù)據(jù)中每一列都是什么意思。

PassengerId：一個(gè)乘客的ID號(hào)，這對(duì)我們來(lái)說(shuō)好像沒啥大用呢，獲不獲救跟ID貌似沒啥大關(guān)系，暫且不用它!

Survived：這個(gè)就很重要了，它就是咱們的標(biāo)簽(LABEL)標(biāo)志著這個(gè)人到底是獲救了，還是沒獲救。

Pclass：乘客的船艙等級(jí)，是貴族還是平民呢?有3個(gè)船艙的等級(jí)。

Name：乘客的姓名，老外的名字真長(zhǎng)啊~

Sex：只有二種~

Age：各個(gè)年齡段都有的

SibSp：與該船員一起登船的兄弟姐妹個(gè)數(shù)

Parch：老人和孩子個(gè)數(shù)

Ticket：船票~貌似咱們用不上這個(gè)編碼

Fare：船票的價(jià)格，貴族票還是蠻貴的

Cabin：太多的缺失值了，直接給它pass掉不用了

Embarked：登船的碼頭，只有3個(gè)地點(diǎn)

觀察可以發(fā)現(xiàn)，對(duì)于Age這一列來(lái)說(shuō)，只有714個(gè)值，而其他列都是891個(gè)值，這說(shuō)明了什么呢?粗大事了，有缺失值，那怎么辦呢?這可以用很多種方法啦，用均值，眾數(shù)，中位數(shù)都可以進(jìn)行填充嘛。在這里，我們使用中位數(shù)來(lái)對(duì)缺失值進(jìn)行了填充。這個(gè)不是個(gè)別現(xiàn)象，對(duì)于一份真實(shí)的數(shù)據(jù)來(lái)說(shuō)，缺失值是灰常常見的現(xiàn)象!

再觀察一下數(shù)據(jù)，數(shù)據(jù)中很多列的屬性值都是字符型的，這對(duì)我們有什么影響呢?咱們?nèi)祟惪梢哉J(rèn)識(shí)這些male和female，但是計(jì)算機(jī)就不認(rèn)識(shí)啦，它只認(rèn)識(shí)數(shù)值，所以我們需要把字符值轉(zhuǎn)換成數(shù)值類型的。

核武器登場(chǎng)啦，使用scikit-learn可以輕松建立一個(gè)機(jī)器學(xué)習(xí)模型，這里我們使用邏輯回歸(經(jīng)典的二分類)完成這個(gè)案例，首先還是先來(lái)介紹下邏輯回歸是什么吧!

假設(shè)現(xiàn)在有兩個(gè)特征，工資和年齡。我們要根據(jù)這兩個(gè)指標(biāo)來(lái)預(yù)測(cè)一下銀行會(huì)借給這個(gè)人多少錢。那么，我們就可以建立出來(lái)這樣一個(gè)方程式!也就是說(shuō)要找到最合適的一組參數(shù)使得我們最終預(yù)測(cè)的值和真實(shí)值越接近越好!但是我們現(xiàn)在要做的是一個(gè)分類任務(wù)呀!也就是說(shuō)要得到一個(gè)類別值究竟是獲救了還是沒獲救，那么還需要往下再走一步。

這個(gè)函數(shù)可厲害了，我們來(lái)觀察一下，首先這個(gè)sigmoid函數(shù)的自變量取值范圍是負(fù)無(wú)窮到正無(wú)窮的，值域是在0到1區(qū)間上，也就是說(shuō)任何一個(gè)數(shù)值進(jìn)入sigmoid函數(shù)之后都會(huì)得到一個(gè)(0,1)區(qū)間上的值，相當(dāng)于是一個(gè)概率值了，那么我們就可以設(shè)置這樣一個(gè)閾值。比如一個(gè)概率值>0.5，我們把它當(dāng)成1這個(gè)類別(獲救啦);概率值<0.5，我們把它當(dāng)成0這個(gè)類別(很遺憾~)。在木有調(diào)節(jié)任何參數(shù)的情況下，精度已經(jīng)接近百分之八十啦!

特征選擇：現(xiàn)在我們要好好想一想啦，我們最終的預(yù)測(cè)結(jié)果的準(zhǔn)確程度和什么有關(guān)呢?一方面是我們選擇的機(jī)器學(xué)習(xí)模型，另一方面還有我們輸入的特征數(shù)據(jù)，所以我們還得動(dòng)動(dòng)腦筋什么樣的特征更適合預(yù)測(cè)呢。腦洞大開時(shí)間到啦，這回我們把一個(gè)成員的家庭數(shù)量也統(tǒng)計(jì)了出來(lái)，就是兄弟姐妹+老人孩子，還有名字的長(zhǎng)度(玄學(xué))以及稱謂Mr,Miss,Master等。加入這些的目的就是讓我們的特征更豐富一些，要想模型建立的好，特征的選擇很關(guān)鍵，在起步階段，我們需要盡可能多的提供有價(jià)值的特征。

建立好模型還木有結(jié)束呀，對(duì)于一個(gè)分析任務(wù)來(lái)說(shuō)，我們也需要知道這些特征對(duì)***的結(jié)果產(chǎn)生了怎樣的影響，例如是性別對(duì)結(jié)果影響比較大還是年齡呢?這回我們也可以通過(guò)預(yù)測(cè)的結(jié)果和真實(shí)值之間進(jìn)行對(duì)比來(lái)分析不同特征的重要程度!下圖中可以分析得出不同特征的重要程度的差異還是蠻大的，我們還可以進(jìn)行取舍以及進(jìn)一步分析啦!

使用Matplotlib來(lái)畫一個(gè)最簡(jiǎn)單的條形圖，只需指定條形位置以及柱的高度即可，要進(jìn)行可視化展示我們得長(zhǎng)和它打交道啦!

這樣咱們完成了一個(gè)灰常簡(jiǎn)單的預(yù)測(cè)任務(wù)，首先通過(guò)數(shù)據(jù)預(yù)處理把我們的數(shù)據(jù)做的純凈一些，然后把這些字符值轉(zhuǎn)換成機(jī)器認(rèn)識(shí)的數(shù)值，接下來(lái)讓機(jī)器通過(guò)這批歷史數(shù)據(jù)去學(xué)習(xí)一下什么樣的參數(shù)能夠***的擬合咱們的數(shù)據(jù)，最終輸出來(lái)一個(gè)預(yù)測(cè)結(jié)果就完成這個(gè)簡(jiǎn)單的任務(wù)啦!

51CTO學(xué)院 4.20 IT充電節(jié)

(19-20號(hào)兩天，100門視頻課程免單搶，更有視頻課程會(huì)員享6折，非會(huì)員享7折，套餐折上8折，微職位立減2000元鉅惠)

活動(dòng)鏈接：http://edu.51cto.com/activity/lists/id-47.html?wenzhang

相關(guān)直播教程：

《一站式搞定Python數(shù)據(jù)分析與機(jī)器學(xué)習(xí)特訓(xùn)營(yíng)直播實(shí)站》