自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

機(jī)器學(xué)習(xí)算法實(shí)踐：決策樹(shù) (Decision Tree)

作者：佚名
人工智能 機(jī)器學(xué)習(xí) 算法
最近打算系統(tǒng)學(xué)習(xí)下機(jī)器學(xué)習(xí)的基礎(chǔ)算法，避免眼高手低，決定把常用的機(jī)器學(xué)習(xí)基礎(chǔ)算法都實(shí)現(xiàn)一遍以便加深印象。本文為這系列博客的第一篇，關(guān)于決策樹(shù)(Decision Tree)的算法實(shí)現(xiàn)，文中我將對(duì)決策樹(shù)種涉及到的算法進(jìn)行總結(jié)并附上自己相關(guān)的實(shí)現(xiàn)代碼。

前言

最近打算系統(tǒng)學(xué)習(xí)下機(jī)器學(xué)習(xí)的基礎(chǔ)算法，避免眼高手低，決定把常用的機(jī)器學(xué)習(xí)基礎(chǔ)算法都實(shí)現(xiàn)一遍以便加深印象。本文為這系列博客的第一篇，關(guān)于決策樹(shù)(Decision Tree)的算法實(shí)現(xiàn)，文中我將對(duì)決策樹(shù)種涉及到的算法進(jìn)行總結(jié)并附上自己相關(guān)的實(shí)現(xiàn)代碼。所有算法代碼以及用于相應(yīng)模型的訓(xùn)練的數(shù)據(jù)都會(huì)放到GitHub上(https://github.com/PytLab/MLBox).

本文中我將一步步通過(guò)MLiA的隱形眼鏡處方數(shù)集構(gòu)建決策樹(shù)并使用Graphviz將決策樹(shù)可視化。

正文

決策樹(shù)學(xué)習(xí)

決策樹(shù)學(xué)習(xí)是根據(jù)數(shù)據(jù)的屬性采用樹(shù)狀結(jié)構(gòu)建立的一種決策模型，可以用此模型解決分類(lèi)和回歸問(wèn)題。常見(jiàn)的算法包括 CART(Classification And Regression Tree), ID3, C4.5等。我們往往根據(jù)數(shù)據(jù)集來(lái)構(gòu)建一棵決策樹(shù)，他的一個(gè)重要任務(wù)就是為了數(shù)據(jù)中所蘊(yùn)含的知識(shí)信息，并提取出一系列的規(guī)則，這些規(guī)則也就是樹(shù)結(jié)構(gòu)的創(chuàng)建過(guò)程就是機(jī)器學(xué)習(xí)的過(guò)程。

決策樹(shù)的結(jié)構(gòu)

以下面一個(gè)簡(jiǎn)單的用于是否買(mǎi)電腦預(yù)測(cè)的決策樹(shù)為例子，樹(shù)中的內(nèi)部節(jié)點(diǎn)表示某個(gè)屬性，節(jié)點(diǎn)引出的分支表示此屬性的所有可能的值，葉子節(jié)點(diǎn)表示最終的判斷結(jié)果也就是類(lèi)型。

 

借助可視化工具例如Graphviz，matplotlib的注解等等都可以講我們創(chuàng)建的決策樹(shù)模型可視化并直接被人理解，這是貝葉斯神經(jīng)網(wǎng)絡(luò)等算法沒(méi)有的特性。

決策樹(shù)算法

決策樹(shù)算法主要是指決策樹(shù)進(jìn)行創(chuàng)建中進(jìn)行樹(shù)分裂(劃分?jǐn)?shù)據(jù)集)的時(shí)候選取最優(yōu)特征的算法，他的主要目的就是要選取一個(gè)特征能夠?qū)⒎珠_(kāi)的數(shù)據(jù)集盡量的規(guī)整，也就是盡可能的純. 最大的原則就是: 將無(wú)序的數(shù)據(jù)變得更加有序

這里總結(jié)下三個(gè)常用的方法:

  • 信息增益(information gain)
  • 增益比率(gain ratio)
  • 基尼不純度(Gini impurity)

信息增益 (Information gain)

這里涉及到了信息論中的一些概念：某個(gè)事件的信息量，信息熵，信息增益等, 關(guān)于事件信息的通俗解釋可以看知乎上的一個(gè)回答

  • 某個(gè)事件 i 的信息量: 這個(gè)事件發(fā)生的概率的負(fù)對(duì)數(shù)

 

  • 信息熵就是平均而言一個(gè)事件發(fā)生得到的信息量大小，也就是信息量的期望值 

 

任何一個(gè)序列都可以獲取這個(gè)序列的信息熵，也就是將此序列分類(lèi)后統(tǒng)計(jì)每個(gè)類(lèi)型的概率，再用上述公式計(jì)算，使用Python實(shí)現(xiàn)如下:

  1. def get_shanno_entropy(self, values): 
  2.  
  3.     ''' 根據(jù)給定列表中的值計(jì)算其Shanno Entropy 
  4.  
  5.     ''' 
  6.  
  7.     uniq_vals = set(values) 
  8.  
  9.     val_nums = {key: values.count(key) for key in uniq_vals} 
  10.  
  11.     probs = [v/len(values) for k, v in val_nums.items()] 
  12.  
  13.     entropy = sum([-prob*log2(prob) for prob in probs]) 
  14.  
  15.     return entropy  

信息增益

我們將一組數(shù)據(jù)集進(jìn)行劃分后，數(shù)據(jù)的信息熵會(huì)發(fā)生改變，我們可以通過(guò)使用信息熵的計(jì)算公式分別計(jì)算被劃分的子數(shù)據(jù)集的信息熵并計(jì)算他們的平均值(期望值)來(lái)作為分割后的數(shù)據(jù)集的信息熵。新的信息熵的相比未劃分?jǐn)?shù)據(jù)的信息熵的減小值便是信息增益了. 這里我在最初就理解錯(cuò)了，于是寫(xiě)出的代碼并不能創(chuàng)建正確的決策樹(shù)。

假設(shè)我們將數(shù)據(jù)集D劃分成kk 份D1,D2,…,Dk，則劃分后的信息熵為:

 

信息增益便是兩個(gè)信息熵的差值

 

在這里我主要使用信息增益來(lái)進(jìn)行屬性選擇，具體的實(shí)現(xiàn)代碼如下:

  1. def choose_best_split_feature(self, dataset, classes): 
  2.  
  3.     ''' 根據(jù)信息增益確定最好的劃分?jǐn)?shù)據(jù)的特征 
  4.  
  5.   
  6.  
  7.     :param dataset: 待劃分的數(shù)據(jù)集 
  8.  
  9.     :param classes: 數(shù)據(jù)集對(duì)應(yīng)的類(lèi)型 
  10.  
  11.   
  12.  
  13.     :return: 劃分?jǐn)?shù)據(jù)的增益最大的屬性索引 
  14.  
  15.     ''' 
  16.  
  17.     base_entropy = self.get_shanno_entropy(classes) 
  18.  
  19.   
  20.  
  21.     feat_num = len(dataset[0]) 
  22.  
  23.     entropy_gains = [] 
  24.  
  25.     for i in range(feat_num): 
  26.  
  27.         splited_dict = self.split_dataset(dataset, classes, i) 
  28.  
  29.         new_entropy = sum([ 
  30.  
  31.             len(sub_classes)/len(classes)*self.get_shanno_entropy(sub_classes) 
  32.  
  33.             for _, (_, sub_classes) in splited_dict.items() 
  34.  
  35.         ]) 
  36.  
  37.         entropy_gains.append(base_entropy - new_entropy) 
  38.  
  39.   
  40.  
  41.     return entropy_gains.index(max(entropy_gains))  

增益比率

增益比率是信息增益方法的一種擴(kuò)展，是為了克服信息增益帶來(lái)的弱泛化的缺陷。因?yàn)榘凑招畔⒃鲆孢x擇，總是會(huì)傾向于選擇分支多的屬性，這樣會(huì)是的每個(gè)子集的信息熵最小。例如給每個(gè)數(shù)據(jù)添加一個(gè)第一無(wú)二的id值特征，則按照這個(gè)id值進(jìn)行分類(lèi)是獲得信息增益最大的，這樣每個(gè)子集中的信息熵都為0，但是這樣的分類(lèi)便沒(méi)有任何意義，沒(méi)有任何泛化能力，類(lèi)似過(guò)擬合。

因此我們可以通過(guò)引入一個(gè)分裂信息來(lái)找到一個(gè)更合適的衡量數(shù)據(jù)劃分的標(biāo)準(zhǔn)，即增益比率。

分裂信息的公式表示為:

 

當(dāng)然SplitInfo有可能趨近于0，這個(gè)時(shí)候增益比率就會(huì)變得非常大而不可信，因此有時(shí)還需在分母上添加一個(gè)平滑函數(shù)，具體的可以參考參考部分列出的文章

基尼不純度(Gini impurity)

基尼不純度的定義:

 

其中m 表示數(shù)據(jù)集D 中類(lèi)別的個(gè)數(shù), pi 表示某種類(lèi)型出現(xiàn)的概率。可見(jiàn)當(dāng)只有一種類(lèi)型的時(shí)候基尼不純度的值為0，此時(shí)不純度最低。

針對(duì)劃分成k個(gè)子數(shù)據(jù)集的數(shù)據(jù)集的基尼不純度可以通過(guò)如下式子計(jì)算:

 

由此我們可以根據(jù)不純度的變化來(lái)選取最有的樹(shù)分裂屬性

 

樹(shù)分裂

有了選取最佳分裂屬性的算法，下面我們就需要根據(jù)選擇的屬性來(lái)將樹(shù)進(jìn)一步的分裂。所謂樹(shù)分裂只不過(guò)是根據(jù)選擇的屬性將數(shù)據(jù)集劃分，然后在總劃分出來(lái)的數(shù)據(jù)集中再次調(diào)用選取屬性的方法選取子數(shù)據(jù)集的中屬性。實(shí)現(xiàn)的最好方式就是遞歸了.

關(guān)于用什么數(shù)據(jù)結(jié)構(gòu)來(lái)表示決策樹(shù)，在Python中可以使用字典很方便的表示決策樹(shù)的嵌套，一個(gè)樹(shù)的根節(jié)點(diǎn)便是屬性，屬性對(duì)應(yīng)的值又是一個(gè)新的字典，其中key為屬性的可能值，value為新的子樹(shù)。

下面是我使用Python實(shí)現(xiàn)的根據(jù)數(shù)據(jù)集創(chuàng)建決策樹(shù)：

  1. def create_tree(self, dataset, classes, feat_names): 
  2.  
  3.     ''' 根據(jù)當(dāng)前數(shù)據(jù)集遞歸創(chuàng)建決策樹(shù) 
  4.  
  5.   
  6.  
  7.     :param dataset: 數(shù)據(jù)集 
  8.  
  9.     :param feat_names: 數(shù)據(jù)集中數(shù)據(jù)相應(yīng)的特征名稱(chēng) 
  10.  
  11.     :param classes: 數(shù)據(jù)集中數(shù)據(jù)相應(yīng)的類(lèi)型 
  12.  
  13.   
  14.  
  15.     :param tree: 以字典形式返回決策樹(shù) 
  16.  
  17.     ''' 
  18.  
  19.     # 如果數(shù)據(jù)集中只有一種類(lèi)型停止樹(shù)分裂 
  20.  
  21.     if len(set(classes)) == 1: 
  22.  
  23.         return classes[0] 
  24.  
  25.   
  26.  
  27.     # 如果遍歷完所有特征，返回比例最多的類(lèi)型 
  28.  
  29.     if len(feat_names) == 0: 
  30.  
  31.         return get_majority(classes) 
  32.  
  33.   
  34.  
  35.     # 分裂創(chuàng)建新的子樹(shù) 
  36.  
  37.     tree = {} 
  38.  
  39.     best_feat_idx = self.choose_best_split_feature(dataset, classes) 
  40.  
  41.     feature = feat_names[best_feat_idx] 
  42.  
  43.     tree[feature] = {} 
  44.  
  45.   
  46.  
  47.     # 創(chuàng)建用于遞歸創(chuàng)建子樹(shù)的子數(shù)據(jù)集 
  48.  
  49.     sub_feat_names = feat_names[:] 
  50.  
  51.     sub_feat_names.pop(best_feat_idx) 
  52.  
  53.   
  54.  
  55.     splited_dict = self.split_dataset(dataset, classes, best_feat_idx) 
  56.  
  57.     for feat_val, (sub_dataset, sub_classes) in splited_dict.items(): 
  58.  
  59.         tree[feature][feat_val] = self.create_tree(sub_dataset, 
  60.  
  61.                                                    sub_classes, 
  62.  
  63.                                                    sub_feat_names) 
  64.  
  65.     self.tree = tree 
  66.  
  67.     self.feat_names = feat_names 
  68.  
  69.   
  70.  
  71.     return tree  

樹(shù)分裂的終止條件有兩個(gè)

  • 一個(gè)是遍歷完所有的屬性

可以看到，在進(jìn)行樹(shù)分裂的時(shí)候，我們的數(shù)據(jù)集中的數(shù)據(jù)向量的長(zhǎng)度是不斷縮短的，當(dāng)縮短到0時(shí)，說(shuō)明數(shù)據(jù)集已經(jīng)將所有的屬性用盡，便也分裂不下去了, 這時(shí)我們選取最終子數(shù)據(jù)集中的眾數(shù)作為最終的分類(lèi)結(jié)果放到葉子節(jié)點(diǎn)上.

  • 另一個(gè)是新劃分的數(shù)據(jù)集中只有一個(gè)類(lèi)型。

若某個(gè)節(jié)點(diǎn)所指向的數(shù)據(jù)集都是同一種類(lèi)型，那自然沒(méi)有必要在分裂下去了即使屬性還沒(méi)有遍歷完.

構(gòu)建一棵決策樹(shù)

這我用了一下MLiA書(shū)上附帶的隱形眼鏡的數(shù)據(jù)來(lái)生成一棵決策樹(shù)，數(shù)據(jù)中包含了患者眼部狀況以及醫(yī)生推薦的隱形眼鏡類(lèi)型.

首先先導(dǎo)入數(shù)據(jù)并將數(shù)據(jù)特征同類(lèi)型分開(kāi)作為訓(xùn)練數(shù)據(jù)用于生成決策樹(shù)

  1. from trees import DecisionTreeClassifier 
  2.  
  3.   
  4.  
  5. lense_labels = ['age', 'prescript', 'astigmatic', 'tearRate'] 
  6.  
  7. X = [] 
  8.  
  9. Y = [] 
  10.  
  11.   
  12.  
  13. with open('lenses.txt', 'r') as f: 
  14.  
  15.     for line in f: 
  16.  
  17.         comps = line.strip().split('\t') 
  18.  
  19.         X.append(comps[: -1]) 
  20.  
  21.         Y.append(comps[-1])  

生成決策樹(shù):

  1. clf = DecisionTreeClassifier() 
  2.  
  3. clf.create_tree(X, Y, lense_labels)  

查看生成的決策樹(shù):

  1. In [2]: clf.tree 
  2.  
  3. Out[2]: 
  4.  
  5. {'tearRate': {'normal': {'astigmatic': {'no': {'age': {'pre': 'soft', 
  6.  
  7.       'presbyopic': {'prescript': {'hyper': 'soft', 'myope': 'no lenses'}}, 
  8.  
  9.             'young': 'soft'}}, 
  10.  
  11.     'yes': {'prescript': {'hyper': {'age': {'pre': 'no lenses', 
  12.  
  13.                 'presbyopic': 'no lenses', 
  14.  
  15.                         'young': 'hard'}}, 
  16.  
  17.           'myope': 'hard'}}}}, 
  18.  
  19.   'reduced': 'no lenses'}}  

可視化決策樹(shù)

直接通過(guò)嵌套字典表示決策樹(shù)對(duì)人來(lái)說(shuō)不好理解，我們需要借助可視化工具可視化樹(shù)結(jié)構(gòu)，這里我將使用Graphviz來(lái)可視化樹(shù)結(jié)構(gòu)。為此實(shí)現(xiàn)了講字典表示的樹(shù)生成Graphviz Dot文件內(nèi)容的函數(shù)，大致思想就是遞歸獲取整棵樹(shù)的所有節(jié)點(diǎn)和連接節(jié)點(diǎn)的邊然后將這些節(jié)點(diǎn)和邊生成Dot格式的字符串寫(xiě)入文件中并繪圖。

遞歸獲取樹(shù)的節(jié)點(diǎn)和邊，其中使用了uuid給每個(gè)節(jié)點(diǎn)添加了id屬性以便將相同屬性的節(jié)點(diǎn)區(qū)分開(kāi).

  1. def get_nodes_edges(self, tree=None, root_node=None): 
  2.  
  3.     ''' 返回樹(shù)中所有節(jié)點(diǎn)和邊 
  4.  
  5.     ''' 
  6.  
  7.     Node = namedtuple('Node', ['id', 'label']) 
  8.  
  9.     Edge = namedtuple('Edge', ['start', 'end', 'label']) 
  10.  
  11.   
  12.  
  13.     if tree is None: 
  14.  
  15.         tree = self.tree 
  16.  
  17.   
  18.  
  19.     if type(tree) is not dict: 
  20.  
  21.         return [], [] 
  22.  
  23.   
  24.  
  25.     nodes, edges = [], [] 
  26.  
  27.   
  28.  
  29.     if root_node is None: 
  30.  
  31.         label = list(tree.keys())[0] 
  32.  
  33.         root_node = Node._make([uuid.uuid4(), label]) 
  34.  
  35.         nodes.append(root_node) 
  36.  
  37.   
  38.  
  39.     for edge_label, sub_tree in tree[root_node.label].items(): 
  40.  
  41.         node_label = list(sub_tree.keys())[0] if type(sub_tree) is dict else sub_tree 
  42.  
  43.         sub_node = Node._make([uuid.uuid4(), node_label]) 
  44.  
  45.         nodes.append(sub_node) 
  46.  
  47.   
  48.  
  49.         edge = Edge._make([root_node, sub_node, edge_label]) 
  50.  
  51.         edges.append(edge) 
  52.  
  53.   
  54.  
  55.         sub_nodes, sub_edges = self.get_nodes_edges(sub_tree, root_node=sub_node) 
  56.  
  57.         nodes.extend(sub_nodes) 
  58.  
  59.         edges.extend(sub_edges) 
  60.  
  61.   
  62.  
  63.     return nodes, edges  

生成dot文件內(nèi)容

  1. def dotify(self, tree=None): 
  2.  
  3.     ''' 獲取樹(shù)的Graphviz Dot文件的內(nèi)容 
  4.  
  5.     ''' 
  6.  
  7.     if tree is None: 
  8.  
  9.         tree = self.tree 
  10.  
  11.   
  12.  
  13.     content = 'digraph decision_tree {\n' 
  14.  
  15.     nodes, edges = self.get_nodes_edges(tree) 
  16.  
  17.   
  18.  
  19.     for node in nodes: 
  20.  
  21.         content += '    "{}" [label="{}"];\n'.format(node.id, node.label) 
  22.  
  23.   
  24.  
  25.     for edge in edges: 
  26.  
  27.         start, label, end = edge.start, edge.label, edge.end 
  28.  
  29.         content += '    "{}" -> "{}" [label="{}"];\n'.format(start.id, end.id, label) 
  30.  
  31.     content += '}' 
  32.  
  33.   
  34.  
  35.     return content  

隱形眼鏡數(shù)據(jù)生成Dot文件內(nèi)容如下:

  1. digraph decision_tree { 
  2.  
  3.     "959b4c0c-1821-446d-94a1-c619c2decfcd" [label="call"]; 
  4.  
  5.     "18665160-b058-437f-9b2e-05df2eb55661" [label="to"]; 
  6.  
  7.     "2eb9860d-d241-45ca-85e6-cbd80fe2ebf7" [label="your"]; 
  8.  
  9.     "bcbcc17c-9e2a-4bd4-a039-6e51fde5f8fd" [label="areyouunique"]; 
  10.  
  11.     "ca091fc7-8a4e-4970-9ec3-485a4628ad29" [label="02073162414"]; 
  12.  
  13.     "aac20872-1aac-499d-b2b5-caf0ef56eff3" [label="ham"]; 
  14.  
  15.     "18aa8685-a6e8-4d76-bad5-ccea922bb14d" [label="spam"]; 
  16.  
  17.     "3f7f30b1-4dbb-4459-9f25-358ad3c6d50b" [label="spam"]; 
  18.  
  19.     "44d1f972-cd97-4636-b6e6-a389bf560656" [label="spam"]; 
  20.  
  21.     "7f3c8562-69b5-47a9-8ee4-898bd4b6b506" [label="i"]; 
  22.  
  23.     "a6f22325-8841-4a81-bc04-4e7485117aa1" [label="spam"]; 
  24.  
  25.     "c181fe42-fd3c-48db-968a-502f8dd462a4" [label="ldn"]; 
  26.  
  27.     "51b9477a-0326-4774-8622-24d1d869a283" [label="ham"]; 
  28.  
  29.     "16f6aecd-c675-4291-867c-6c64d27eb3fc" [label="spam"]; 
  30.  
  31.     "adb05303-813a-4fe0-bf98-c319eb70be48" [label="spam"]; 
  32.  
  33.     "959b4c0c-1821-446d-94a1-c619c2decfcd" -> "18665160-b058-437f-9b2e-05df2eb55661" [label="0"]; 
  34.  
  35.     "18665160-b058-437f-9b2e-05df2eb55661" -> "2eb9860d-d241-45ca-85e6-cbd80fe2ebf7" [label="0"]; 
  36.  
  37.     "2eb9860d-d241-45ca-85e6-cbd80fe2ebf7" -> "bcbcc17c-9e2a-4bd4-a039-6e51fde5f8fd" [label="0"]; 
  38.  
  39.     "bcbcc17c-9e2a-4bd4-a039-6e51fde5f8fd" -> "ca091fc7-8a4e-4970-9ec3-485a4628ad29" [label="0"]; 
  40.  
  41.     "ca091fc7-8a4e-4970-9ec3-485a4628ad29" -> "aac20872-1aac-499d-b2b5-caf0ef56eff3" [label="0"]; 
  42.  
  43.     "ca091fc7-8a4e-4970-9ec3-485a4628ad29" -> "18aa8685-a6e8-4d76-bad5-ccea922bb14d" [label="1"]; 
  44.  
  45.     "bcbcc17c-9e2a-4bd4-a039-6e51fde5f8fd" -> "3f7f30b1-4dbb-4459-9f25-358ad3c6d50b" [label="1"]; 
  46.  
  47.     "2eb9860d-d241-45ca-85e6-cbd80fe2ebf7" -> "44d1f972-cd97-4636-b6e6-a389bf560656" [label="1"]; 
  48.  
  49.     "18665160-b058-437f-9b2e-05df2eb55661" -> "7f3c8562-69b5-47a9-8ee4-898bd4b6b506" [label="1"]; 
  50.  
  51.     "7f3c8562-69b5-47a9-8ee4-898bd4b6b506" -> "a6f22325-8841-4a81-bc04-4e7485117aa1" [label="0"]; 
  52.  
  53.     "7f3c8562-69b5-47a9-8ee4-898bd4b6b506" -> "c181fe42-fd3c-48db-968a-502f8dd462a4" [label="1"]; 
  54.  
  55.     "c181fe42-fd3c-48db-968a-502f8dd462a4" -> "51b9477a-0326-4774-8622-24d1d869a283" [label="0"]; 
  56.  
  57.     "c181fe42-fd3c-48db-968a-502f8dd462a4" -> "16f6aecd-c675-4291-867c-6c64d27eb3fc" [label="1"]; 
  58.  
  59.     "959b4c0c-1821-446d-94a1-c619c2decfcd" -> "adb05303-813a-4fe0-bf98-c319eb70be48" [label="1"]; 
  60.  
  61. } 

 這樣我們便可以使用Graphviz將決策樹(shù)繪制出來(lái)

  1. with open('lenses.dot', 'w') as f: 
  2.  
  3.     dot = clf.tree.dotify() 
  4.  
  5.     f.write(dot) 
  6.  
  7.  
  8. dot -Tgif lenses.dot -o lenses.gif  

效果如下:

 

 

使用生成的決策樹(shù)進(jìn)行分類(lèi)

對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)，主要是根據(jù)樹(shù)中的節(jié)點(diǎn)遞歸的找到葉子節(jié)點(diǎn)即可。z這里可以通過(guò)為遞歸進(jìn)行優(yōu)化，代碼實(shí)現(xiàn)如下:

  1. def classify(self, data_vect, feat_names=None, tree=None): 
  2.  
  3.     ''' 根據(jù)構(gòu)建的決策樹(shù)對(duì)數(shù)據(jù)進(jìn)行分類(lèi) 
  4.  
  5.     ''' 
  6.  
  7.     if tree is None: 
  8.  
  9.         tree = self.tree 
  10.  
  11.   
  12.  
  13.     if feat_names is None: 
  14.  
  15.         feat_names = self.feat_names 
  16.  
  17.   
  18.  
  19.     # Recursive base case. 
  20.  
  21.     if type(tree) is not dict: 
  22.  
  23.         return tree 
  24.  
  25.   
  26.  
  27.     feature = list(tree.keys())[0] 
  28.  
  29.     value = data_vect[feat_names.index(feature)] 
  30.  
  31.     sub_tree = tree[feature][value] 
  32.  
  33.   
  34.  
  35.     return self.classify(feat_names, data_vect, sub_tree)  

決策樹(shù)的存儲(chǔ)

通過(guò)字典表示決策樹(shù)，這樣我們可以通過(guò)內(nèi)置的pickle或者json模塊將其存儲(chǔ)到硬盤(pán)上，同時(shí)也可以從硬盤(pán)中讀取樹(shù)結(jié)構(gòu)，這樣在數(shù)據(jù)集很大的時(shí)候可以節(jié)省構(gòu)建決策樹(shù)的時(shí)間.

  1. def dump_tree(self, filename, tree=None): 
  2.  
  3.     ''' 存儲(chǔ)決策樹(shù) 
  4.  
  5.     ''' 
  6.  
  7.     if tree is None: 
  8.  
  9.         tree = self.tree 
  10.  
  11.   
  12.  
  13.     with open(filename, 'w') as f: 
  14.  
  15.         pickle.dump(tree, f) 
  16.  
  17.   
  18.  
  19. def load_tree(self, filename): 
  20.  
  21.     ''' 加載樹(shù)結(jié)構(gòu) 
  22.  
  23.     ''' 
  24.  
  25.     with open(filename, 'r') as f: 
  26.  
  27.         tree = pickle.load(f) 
  28.  
  29.         self.tree = tree 
  30.  
  31.     return tree  

總結(jié)

本文一步步實(shí)現(xiàn)了決策樹(shù)的實(shí)現(xiàn), 其中使用了ID3算法確定最佳劃分屬性，并通過(guò)Graphviz可視化了構(gòu)建的決策樹(shù)。本文相關(guān)的代碼鏈接: https://github.com/PytLab/MLBox/tree/master/decision_tree

參考:

  • 《Machine Learning in Action》
  • 數(shù)據(jù)挖掘系列(6)決策樹(shù)分類(lèi)算法 

 

責(zé)任編輯：龐桂玉 來(lái)源： Python開(kāi)發(fā)者
機(jī)器學(xué)習(xí)算法決策樹(shù)
相關(guān)推薦

2017-05-10 15:41:29

機(jī)器學(xué)習(xí)算法數(shù)據(jù)

2017-11-21 13:00:20

機(jī)器學(xué)習(xí)決策樹(shù)可視化

2022-12-21 14:39:35

機(jī)器學(xué)習(xí)案發(fā)決策樹(shù)

2014-07-07 10:05:57

機(jī)械學(xué)習(xí)

2022-11-11 08:00:00

決策樹(shù)機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)

2012-08-06 09:04:01

決策樹(shù)建模

2017-10-18 14:11:20

機(jī)器學(xué)習(xí)決策樹(shù)隨機(jī)森林

2024-09-11 08:34:28

2018-02-02 17:08:48

機(jī)器學(xué)習(xí)算法決策樹(shù)

2017-02-23 08:45:36

Python決策樹(shù)數(shù)據(jù)集

2023-08-11 17:30:54

決策樹(shù)機(jī)器學(xué)習(xí)算法

2016-09-30 16:12:47

GBDT算法決策樹(shù)

2020-12-22 19:37:04

決策樹(shù)機(jī)器學(xué)習(xí)人工智能

2018-02-02 15:50:07

決策樹(shù)Apache Spar數(shù)據(jù)

2019-05-15 09:00:00

決策樹(shù)機(jī)器學(xué)習(xí)人工智能

2017-08-04 14:28:40

決策樹(shù)隨機(jī)森林CART模型

2022-01-24 09:00:00

機(jī)器學(xué)習(xí)決策樹(shù)算法

2017-09-11 13:33:44

大數(shù)據(jù)數(shù)據(jù)可視化決策樹(shù)

2017-12-12 12:24:39

Python決策樹(shù)

2021-11-08 07:11:49

決策樹(shù)數(shù)據(jù)分類(lèi)器
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)