[[196072]]

耳聞目睹了機(jī)器學(xué)習(xí)的諸般神奇，有沒(méi)有沖動(dòng)打算自己嘗試一下?本文我們通過(guò)一個(gè)貸款風(fēng)險(xiǎn)評(píng)估的案例，用最通俗的語(yǔ)言向你介紹機(jī)器學(xué)習(xí)的基礎(chǔ)招式，一步步幫助你用Python完成自己的第一個(gè)機(jī)器學(xué)習(xí)項(xiàng)目。試過(guò)之后你會(huì)發(fā)現(xiàn)，機(jī)器學(xué)習(xí)真的不難。

任務(wù)

祝賀你，成功進(jìn)入了一家金融公司實(shí)習(xí)。

第一天上班，你還處在興奮中。這時(shí)主管把你叫過(guò)去，給你看了一個(gè)文件。文件內(nèi)容是這個(gè)樣子的：

主管說(shuō)這是公司寶貴的數(shù)據(jù)資產(chǎn)。囑咐你認(rèn)真閱讀，并且從數(shù)字中找出規(guī)律，以便做出明智的貸款決策。

每一行數(shù)據(jù)，都代表了之前的一次貸款信息。你琢磨了很久，終于弄明白了每一列究竟代表什么意思：

• grade：貸款級(jí)別
• sub_grade: 貸款細(xì)分級(jí)別
• short_emp：一年以內(nèi)短期雇傭
• emp_length_num：受雇年限
• home_ownership：居住狀態(tài)(自有，按揭，租住)
• dti：貸款占收入比例
• purpose：貸款用途
• term：貸款周期
• last_delinq_none：貸款申請(qǐng)人是否有不良記錄
• last_major_derog_none：貸款申請(qǐng)人是否有還款逾期90天以上記錄
• revol_util：透支額度占信用比例
• total_rec_late_fee：逾期罰款總額
• safe_loans：貸款是否安全

最后一列，記錄了這筆貸款是否按期收回。拿著以前的這些寶貴經(jīng)驗(yàn)教訓(xùn)，主管希望你能夠總結(jié)出貸款是否安全的規(guī)律。在面對(duì)新的貸款申請(qǐng)時(shí)，從容和正確應(yīng)對(duì)。

主管讓你找的這種規(guī)律，可以用決策樹(shù)來(lái)表達(dá)。

決策

我們來(lái)說(shuō)說(shuō)什么是決策樹(shù)。決策樹(shù)長(zhǎng)得就像這個(gè)樣子：

做決策的時(shí)候，你需要從最上面的節(jié)點(diǎn)出發(fā)。在每一個(gè)分支上，都有一個(gè)判斷條件。滿足條件，往左走;不滿足，向右走。一旦走到了樹(shù)的邊緣，一項(xiàng)決策就完成了。

例如你走在街上，遇見(jiàn)鄰居老張。你熱情地打招呼：

“老張，吃了嗎?”

好了，這里就是個(gè)分支。老張的回答，將決定你的決策走向，即后面你將說(shuō)什么。

第一種情況。

老張：吃過(guò)了。

你：要不來(lái)我家再吃點(diǎn)兒?

第二種情況。

老張：還沒(méi)吃。

你：那趕緊回家吃去吧。再見(jiàn)!

……

具體到貸款這個(gè)實(shí)例，你需要依次分析申請(qǐng)人的各項(xiàng)指標(biāo)，然后判定這個(gè)貸款申請(qǐng)是否安全，以做出是否貸款給他的決策。把這個(gè)流程寫(xiě)下來(lái)，就是一棵決策樹(shù)。

作為一名金融界新兵，你原本也是抱著積極開(kāi)放的心態(tài)，希望多嘗試一下的。但是當(dāng)你把數(shù)據(jù)表下拉到最后一行的時(shí)候，你發(fā)現(xiàn)記錄居然有46509條!

你估算了一下自己的閱讀速度、耐心和認(rèn)知負(fù)荷能力，覺(jué)得這個(gè)任務(wù)屬于Mission Impossible(不可能完成)，于是開(kāi)始默默地收拾東西，打算找主管道個(gè)別，辭職不干了。

且慢，你不必如此沮喪。因?yàn)榭萍嫉陌l(fā)展，已經(jīng)把一項(xiàng)黑魔法放在了你的手邊，隨時(shí)供你取用。它的名字，叫做機(jī)器學(xué)習(xí)。

學(xué)習(xí)

什么叫機(jī)器學(xué)習(xí)?

從前，人是“操作”計(jì)算機(jī)的。一項(xiàng)任務(wù)如何完成，人心里是完全有數(shù)的。人把一條條指令下達(dá)給電腦，電腦負(fù)責(zé)傻呵呵地干完，收工。

后來(lái)人們發(fā)現(xiàn)，對(duì)有些任務(wù)，人根本就不知道該怎么辦。

前些日子的新聞里，你知道Alpha Go和柯潔下圍棋?？聺嵅粌H輸了棋，還哭了。

[[196075]]

可是制造Alpha Go的那幫人，當(dāng)真知道怎樣下棋，才能贏過(guò)柯潔嗎?你就是讓他們放棄體育家精神，攢雞毛湊撣子一起上，跟柯潔下棋……你估計(jì)哭的是誰(shuí)?

一幫連自己下棋，都下不贏柯潔的人，又是如何制作出電腦軟件，戰(zhàn)勝了人類(lèi)圍棋界的“最強(qiáng)大腦”呢?

答案正是機(jī)器學(xué)習(xí)。

你自己都不知道如何完成的任務(wù)，自然也不可能告訴機(jī)器“第一步這么干，第二步那么辦”，或者“如果出現(xiàn)A情況，打開(kāi)第一個(gè)錦囊;如果出現(xiàn)B情況，打開(kāi)第二個(gè)錦囊”。

機(jī)器學(xué)習(xí)的關(guān)鍵，不在于人類(lèi)的經(jīng)驗(yàn)和智慧，而在于數(shù)據(jù)。

本文我們接觸到的，是最為基礎(chǔ)的監(jiān)督式學(xué)習(xí)(supervised learning)。監(jiān)督式學(xué)習(xí)利用的數(shù)據(jù)，是機(jī)器最喜歡的。這些數(shù)據(jù)的特點(diǎn)，是都被打了標(biāo)記。

主管給你的這個(gè)貸款記錄數(shù)據(jù)集，就是打了標(biāo)記的。針對(duì)每個(gè)貸款案例，后面都有“是否安全”的標(biāo)記。1代表了安全，-1代表了不安全。

機(jī)器看到一條數(shù)據(jù)，又看到了數(shù)據(jù)上的標(biāo)記，于是有了一個(gè)假設(shè)。

然后你再讓它看一條數(shù)據(jù)，它就會(huì)強(qiáng)化或者修改原先的假設(shè)。

這就是學(xué)習(xí)的過(guò)程：建立假設(shè)——收到反饋——修正假設(shè)。在這個(gè)過(guò)程中，機(jī)器通過(guò)迭代，不斷刷新自己的認(rèn)知。

這讓我想起了經(jīng)典相聲段子“蛤蟆鼓”里面的對(duì)話片段。

甲：那我問(wèn)問(wèn)你，蛤蟆你看見(jiàn)過(guò)吧?

乙：誰(shuí)沒(méi)見(jiàn)過(guò)蛤蟆呀。

甲：你說(shuō)為什么它那么小的動(dòng)物，叫喚出來(lái)的聲音會(huì)那么大呢?

乙：那是因?yàn)樗齑蠖莾捍蟛弊哟?，叫喚出?lái)的聲音必然大。萬(wàn)物都是一個(gè)理。

甲：我家的字紙簍子也是嘴大脖子粗，為什么它不叫喚哪?

乙：字紙簍是死物，那是竹子編的，不但不叫，連響都響不了。

甲：吹的笙也是竹子的，怎么響呢?

乙：雖然竹子編的，因?yàn)樗锌吡醒蹆?，有眼兒的就響?/p>

甲：我家篩米的篩子盡是窟窿眼兒，怎么吹不響?

這里相聲演員乙，就一直試圖建立可以推廣的假設(shè)?？上?，甲總是用新的例證摧毀乙的三觀。

在四處碰壁后，可憐的機(jī)器跌跌撞撞地成長(zhǎng)。看了許許多多的數(shù)據(jù)后，電腦逐漸有了自己對(duì)一些事情判斷的想法。我們把這種想法叫做模型。

之后，你就可以用模型去輔助自己做出明智的判斷了。

下面我們開(kāi)始動(dòng)手實(shí)踐。用Python做個(gè)決策樹(shù)出來(lái)，輔助我們判斷貸款風(fēng)險(xiǎn)。

準(zhǔn)備

使用Python和相關(guān)軟件包，你需要先安裝Anaconda套裝。

主管給你展示的這份貸款數(shù)據(jù)文件，請(qǐng)從這里下載：

http://t.cn/RoDJeNH

文件的擴(kuò)展名是csv，你可以用Excel打開(kāi)，看看是否下載正確。

如果一切正常，請(qǐng)把它移動(dòng)到咱們的工作目錄demo里面。

到你的系統(tǒng)“終端”(macOS, Linux)或者“命令提示符”(Windows)下，進(jìn)入我們的工作目錄demo，執(zhí)行以下命令。

pip install -U PIL 

運(yùn)行環(huán)境配置完畢。

在終端或者命令提示符下鍵入：

1. jupyter notebook 

Jupyter Notebook已經(jīng)正確運(yùn)行。下面我們就可以正式編寫(xiě)代碼了。

代碼

首先，我們新建一個(gè)Python 2筆記本，起名叫做loans-tree。

為了讓Python能夠高效率處理表格數(shù)據(jù)，我們使用一個(gè)非常優(yōu)秀的數(shù)據(jù)處理框架Pandas。

import pandas as pd 

然后我們把loans.csv里面的內(nèi)容全部讀取出來(lái)，存入到一個(gè)叫做df的變量里面。

df = pd.read_csv('loans.csv') 

我們看看df這個(gè)數(shù)據(jù)框的前幾行，以確認(rèn)數(shù)據(jù)讀取無(wú)誤。

df.head() 

因?yàn)楸砀窳袛?shù)較多，屏幕上顯示不完整，我們向右拖動(dòng)表格，看表格最右邊幾列是否也正確讀取。

經(jīng)驗(yàn)證，數(shù)據(jù)所有列都已讀入。

統(tǒng)計(jì)一下總行數(shù)，看是不是所有行也都完整讀取進(jìn)來(lái)了。

df.shape

運(yùn)行結(jié)果如下：

(46508, 13)

行列數(shù)量都正確，數(shù)據(jù)讀取無(wú)誤。

你應(yīng)該還記得吧，每一條數(shù)據(jù)的最后一列 safe_loans 是個(gè)標(biāo)記，告訴我們之前發(fā)放的這筆貸款是否安全。我們把這種標(biāo)記叫做目標(biāo)(target)，把前面的所有列叫做“特征”(features)。這些術(shù)語(yǔ)你現(xiàn)在記不住沒(méi)關(guān)系，因?yàn)橐院髸?huì)反復(fù)遇到。自然就會(huì)強(qiáng)化記憶。

下面我們就分別把特征和目標(biāo)提取出來(lái)。依照機(jī)器學(xué)習(xí)領(lǐng)域的習(xí)慣，我們把特征叫做X，目標(biāo)叫做y。

X = df.drop('safe_loans', axis=1) 
y = df.safe_loans 

我們看一下特征數(shù)據(jù)X的形狀：

X.shape 

運(yùn)行結(jié)果為：

(46508, 12) 

除了最后一列，其他行列都在。符合我們的預(yù)期。我們?cè)倏纯?ldquo;目標(biāo)”列。

y.shape 

執(zhí)行后顯示如下結(jié)果：

(46508,) 

這里的逗號(hào)后面沒(méi)有數(shù)字，指的是只有1列。

我們來(lái)看看X的前幾列。

X.head() 

運(yùn)行結(jié)果為：

注意這里有一個(gè)問(wèn)題。Python下做決策樹(shù)的時(shí)候，每一個(gè)特征都應(yīng)該是數(shù)值(整型或者實(shí)數(shù))類(lèi)型的。但是我們一眼就可以看出，grade, sub_grade, home_ownership等列的取值都是類(lèi)別(categorical)型。所以，必須經(jīng)過(guò)一步轉(zhuǎn)換，把這些類(lèi)別都映射成為某個(gè)數(shù)值，才能進(jìn)行下面的步驟。

那我們就開(kāi)始映射吧：

from sklearn.preprocessing import LabelEncoder 
from collections import defaultdict 
d = defaultdict(LabelEncoder) 
X_trans = X.apply(lambda x: d[x.name].fit_transform(x)) 
X_trans.head() 

運(yùn)行結(jié)果是這樣的：

這里，我們使用了LabelEncoder函數(shù)，成功地把類(lèi)別變成了數(shù)值。小測(cè)驗(yàn)：在grade列下面，B被映射成了什么數(shù)字?

請(qǐng)對(duì)比兩個(gè)表格，思考10秒鐘。

答案是1。你答對(duì)了嗎?

下面我們需要做的事情，是把數(shù)據(jù)分成兩部分，分別叫做訓(xùn)練集和測(cè)試集。

為什么這么折騰?

因?yàn)橛械览怼?/p>

想想看，如果期末考試之前，老師給你一套試題和答案，你把它背了下來(lái)。然后考試的時(shí)候，只是從那套試題里面抽取一部分考。你憑借超人的記憶力獲得了100分。請(qǐng)問(wèn)你學(xué)會(huì)了這門(mén)課的知識(shí)了嗎?不知道如果給你新的題目，你會(huì)不會(huì)做呢?答案還是不知道。

所以考試題目需要和復(fù)習(xí)題目有區(qū)別。同樣的道理，我們用數(shù)據(jù)生成了決策樹(shù)，這棵決策樹(shù)肯定對(duì)已見(jiàn)過(guò)的數(shù)據(jù)處理得很完美?？墒撬芊裢茝V到新的數(shù)據(jù)上呢?這才是我們真正關(guān)心的。就如同在本例中，你的公司關(guān)心的，不是以前的貸款該不該貸。而是如何處理今后遇到的新貸款申請(qǐng)。

把數(shù)據(jù)隨機(jī)拆分成訓(xùn)練集和測(cè)試集，在Python里只需要2條語(yǔ)句就夠了。

from sklearn.cross_validation import train_test_split 
X_train, X_test, y_train, y_test = train_test_split(X_trans, y, random_state=1) 

我們看看訓(xùn)練數(shù)據(jù)集的形狀：

X_train.shape 

運(yùn)行結(jié)果如下：

(34881, 12) 

測(cè)試集呢?

X_test.shape 

這是運(yùn)行結(jié)果：

(11627, 12) 

至此，一切數(shù)據(jù)準(zhǔn)備工作都已就緒。我們開(kāi)始呼喚Python中的scikit-learn軟件包。決策樹(shù)的模型，已經(jīng)集成在內(nèi)。只需要3條語(yǔ)句，直接調(diào)用就可以，非常方便。

from sklearn import tree 
clf = tree.DecisionTreeClassifier(max_depth=3) 
clf = clf.fit(X_train, y_train) 

好了，你要的決策樹(shù)已經(jīng)生成完了。

就是這么簡(jiǎn)單。任性吧?

可是，我怎么知道生成的決策樹(shù)是個(gè)什么樣子呢?眼見(jiàn)才為實(shí)!

這個(gè)……好吧，咱們把決策樹(shù)畫(huà)出來(lái)吧。注意這一段語(yǔ)句內(nèi)容較多。以后有機(jī)會(huì)咱們?cè)僭敿?xì)介紹。此處你把它直接抄進(jìn)去執(zhí)行就可以了。

with open("safe-loans.dot", 'w') as f: 
f = tree.export_graphviz(clf, 
out_file=f, 
max_depth = 3, 
impurity = True, 
feature_names = list(X_train), 
class_names = ['not safe', 'safe'], 
rounded = True, 
filled= True ) 
from subprocess import check_call 
check_call(['dot','-Tpng','safe-loans.dot','-o','safe-loans.png']) 
from IPython.display import Image as PImage 
from PIL import Image, ImageDraw, ImageFont 
img = Image.open("safe-loans.png") 
draw = ImageDraw.Draw(img) 
img.save('output.png') 
PImage("output.png") 

見(jiàn)證奇跡的時(shí)刻到了：

你是不是跟我第一次看到?jīng)Q策樹(shù)的可視化結(jié)果一樣，驚詫了?

我們其實(shí)只讓Python生成了一棵簡(jiǎn)單的決策樹(shù)(深度僅3層)，但是Python已經(jīng)盡職盡責(zé)地幫我們考慮到了各種變量對(duì)最終決策結(jié)果的影響。

測(cè)試

欣喜若狂的你，在悄悄背誦什么?你說(shuō)想把這棵決策樹(shù)的判斷條件背下來(lái)，然后去做貸款風(fēng)險(xiǎn)判斷?

省省吧。都什么時(shí)代了，還這么喜歡背誦?

以后的決策，電腦可以自動(dòng)化幫你完成了。

你不信?

我們隨便從測(cè)試集里面找一條數(shù)據(jù)出來(lái)。讓電腦用決策樹(shù)幫我們判斷一下看看。

test_rec = X_test.iloc[1,:] 
clf.predict([test_rec]) 

電腦告訴我們，它調(diào)查后風(fēng)險(xiǎn)結(jié)果是這樣的：

array([1]) 

之前提到過(guò)，1代表這筆貸款是安全的。實(shí)際情況如何呢?我們來(lái)驗(yàn)證一下。從測(cè)試集目標(biāo)里面取出對(duì)應(yīng)的標(biāo)記：

y_test.iloc[1] 

結(jié)果是：

1 

經(jīng)驗(yàn)證，電腦通過(guò)決策樹(shù)對(duì)這個(gè)新見(jiàn)到的貸款申請(qǐng)風(fēng)險(xiǎn)判斷無(wú)誤。

但是我們不能用孤證來(lái)說(shuō)明問(wèn)題。下面我們驗(yàn)證一下，根據(jù)訓(xùn)練得來(lái)的決策樹(shù)模型，貸款風(fēng)險(xiǎn)類(lèi)別判斷準(zhǔn)確率究竟有多高。

from sklearn.metrics import accuracy_score  
accuracy_score(y_test, clf.predict(X_test)) 

雖然測(cè)試集有近萬(wàn)條數(shù)據(jù)，但是電腦立即就算完了：

0.61615205986066912 

你可能會(huì)有些失望——忙活了半天，怎么才60%多的準(zhǔn)確率?剛及格而已嘛。

不要灰心。因?yàn)樵谡麄€(gè)兒的機(jī)器學(xué)習(xí)過(guò)程中，你用的都是缺省值，根本就沒(méi)有來(lái)得及做一個(gè)重要的工作——優(yōu)化。

想想看，你買(mǎi)一臺(tái)新手機(jī)，自己還得設(shè)置半天，不是嗎?面對(duì)公司的貸款業(yè)務(wù)，你用的竟然只是沒(méi)有優(yōu)化的缺省模型?？杉幢氵@樣，準(zhǔn)確率也已經(jīng)超過(guò)了及格線。

關(guān)于優(yōu)化的問(wèn)題，以后有機(jī)會(huì)咱們?cè)敿?xì)展開(kāi)來(lái)聊。

你終于擺脫了實(shí)習(xí)第一天就灰溜溜逃走的厄運(yùn)。我仿佛看到了一顆未來(lái)的華爾街新星正在冉冉升起。

茍富貴，無(wú)相忘哦。