魚和熊掌我都要！BAIR公布神經(jīng)支持決策樹新研究，兼顧準(zhǔn)確率與可解釋性。

隨著深度學(xué)習(xí)在金融、醫(yī)療等領(lǐng)域的不斷落地，模型的可解釋性成了一個(gè)非常大的痛點(diǎn)，因?yàn)檫@些領(lǐng)域需要的是預(yù)測(cè)準(zhǔn)確而且可以解釋其行為的模型。然而，深度神經(jīng)網(wǎng)絡(luò)缺乏可解釋性也是出了名的，這就帶來了一種矛盾?？山忉屝匀斯ぶ悄埽╔AI）試圖平衡模型準(zhǔn)確率與可解釋性之間的矛盾，但 XAI 在說明決策原因時(shí)并沒有直接解釋模型本身。

決策樹是一種用于分類的經(jīng)典機(jī)器學(xué)習(xí)方法，它易于理解且可解釋性強(qiáng)，能夠在中等規(guī)模數(shù)據(jù)上以低難度獲得較好的模型。之前很火的微軟小冰讀心術(shù)極可能就是使用了決策樹。小冰會(huì)先讓我們想象一個(gè)知名人物（需要有點(diǎn)名氣才行），然后向我們?cè)儐?15 個(gè)以內(nèi)的問題，我們只需回答是、否或不知道，小冰就可以很快猜到我們想的那個(gè)人是誰。

周志華老師曾在「西瓜書」中展示過決策樹的示意圖：

決策樹示意圖。

盡管決策樹有諸多優(yōu)點(diǎn)，但歷史經(jīng)驗(yàn)告訴我們，如果遇上 ImageNet 這一級(jí)別的數(shù)據(jù)，其性能還是遠(yuǎn)遠(yuǎn)比不上神經(jīng)網(wǎng)絡(luò)。

「準(zhǔn)確率」和「可解釋性」，「魚」與「熊掌」要如何兼得？把二者結(jié)合會(huì)怎樣？最近，來自加州大學(xué)伯克利分校和波士頓大學(xué)的研究者就實(shí)踐了這種想法。

他們提出了一種神經(jīng)支持決策樹「Neural-backed decision trees」，在 ImageNet 上取得了 75.30% 的 top-1 分類準(zhǔn)確率，在保留決策樹可解釋性的同時(shí)取得了當(dāng)前神經(jīng)網(wǎng)絡(luò)才能達(dá)到的準(zhǔn)確率，比其他基于決策樹的圖像分類方法高出了大約 14%。

BAIR 博客地址：https://bair.berkeley.edu/blog/2020/04/23/decisions/

論文地址：https://arxiv.org/abs/2004.00221

開源項(xiàng)目地址：https://github.com/alvinwan/neural-backed-decision-trees

這種新提出的方法可解釋性有多強(qiáng)？我們來看兩張圖。

OpenAI Microscope 中深層神經(jīng)網(wǎng)絡(luò)可視化后是這樣的：

而論文所提方法在 CIFAR100 上分類的可視化結(jié)果是這樣的：

哪種方法在圖像分類上的可解釋性強(qiáng)已經(jīng)很明顯了吧。

決策樹的優(yōu)勢(shì)與缺陷

在深度學(xué)習(xí)風(fēng)靡之前，決策樹是準(zhǔn)確性和可解釋性的標(biāo)桿。下面，我們首先闡述決策樹的可解釋性。

如上圖所示，這個(gè)決策樹不只是給出輸入數(shù)據(jù) x 的預(yù)測(cè)結(jié)果（是「超級(jí)漢堡」還是「華夫薯?xiàng)l」），還會(huì)輸出一系列導(dǎo)致最終預(yù)測(cè)的中間決策。我們可以對(duì)這些中間決策進(jìn)行驗(yàn)證或質(zhì)疑。

然而，在圖像分類數(shù)據(jù)集上，決策樹的準(zhǔn)確率要落后神經(jīng)網(wǎng)絡(luò) 40%。神經(jīng)網(wǎng)絡(luò)和決策樹的組合體也表現(xiàn)不佳，甚至在 CIFAR10 數(shù)據(jù)集上都無法和神經(jīng)網(wǎng)絡(luò)相提并論。

這種準(zhǔn)確率缺陷使其可解釋性的優(yōu)點(diǎn)變得「一文不值」：我們首先需要一個(gè)準(zhǔn)確率高的模型，但這個(gè)模型也要具備可解釋性。

走近神經(jīng)支持決策樹

現(xiàn)在，這種兩難處境終于有了進(jìn)展。加州大學(xué)伯克利分校和波士頓大學(xué)的研究者通過建立既可解釋又準(zhǔn)確的模型來解決這個(gè)問題。

研究的關(guān)鍵點(diǎn)是將神經(jīng)網(wǎng)絡(luò)和決策樹結(jié)合起來，保持高層次的可解釋性，同時(shí)用神經(jīng)網(wǎng)絡(luò)進(jìn)行低層次的決策。如下圖所示，研究者稱這種模型為「神經(jīng)支持決策樹（NBDT）」，并表示這種模型在保留決策樹的可解釋性的同時(shí)，也能夠媲美神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。

在這張圖中，每一個(gè)節(jié)點(diǎn)都包含一個(gè)神經(jīng)網(wǎng)絡(luò)，上圖放大標(biāo)記出了一個(gè)這樣的節(jié)點(diǎn)與其包含的神經(jīng)網(wǎng)絡(luò)。在這個(gè) NBDT 中，預(yù)測(cè)是通過決策樹進(jìn)行的，保留高層次的可解釋性。但決策樹上的每個(gè)節(jié)點(diǎn)都有一個(gè)用來做低層次決策的神經(jīng)網(wǎng)絡(luò)，比如上圖的神經(jīng)網(wǎng)絡(luò)做出的低層決策是「有香腸」或者「沒有香腸」。

NBDT 具備和決策樹一樣的可解釋性。并且 NBDT 能夠輸出預(yù)測(cè)結(jié)果的中間決策，這一點(diǎn)優(yōu)于當(dāng)前的神經(jīng)網(wǎng)絡(luò)。

如下圖所示，在一個(gè)預(yù)測(cè)「狗」的網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)可能只輸出「狗」，但 NBDT 可以輸出「狗」和其他中間結(jié)果（動(dòng)物、脊索動(dòng)物、肉食動(dòng)物等）。

此外，NBDT 的預(yù)測(cè)層次軌跡也是可視化的，可以說明哪些可能性被否定了。

與此同時(shí)，NBDT 也實(shí)現(xiàn)了可以媲美神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。在 CIFAR10、CIFAR100 和 TinyImageNet200 等數(shù)據(jù)集上，NBDT 的準(zhǔn)確率接近神經(jīng)網(wǎng)絡(luò)（差距

神經(jīng)支持決策樹是如何解釋的

對(duì)于個(gè)體預(yù)測(cè)的辯證理由

最有參考價(jià)值的辯證理由是面向該模型從未見過的對(duì)象。例如，考慮一個(gè) NBDT（如下圖所示），同時(shí)在 Zebra 上進(jìn)行推演。雖然此模型從未見過斑馬，但下圖所顯示的中間決策是正確的-斑馬既是動(dòng)物又是蹄類動(dòng)物。對(duì)于從未見過的物體而言，個(gè)體預(yù)測(cè)的合理性至關(guān)重要。

對(duì)于模型行為的辯證理由

此外，研究者發(fā)現(xiàn)使用 NBDT，可解釋性隨著準(zhǔn)確性的提高而提高。這與文章開頭中介紹的準(zhǔn)確性與可解釋性的對(duì)立背道而馳，即：NBDT 不僅具有準(zhǔn)確性和可解釋性，還可以使準(zhǔn)確性和可解釋性成為同一目標(biāo)。

ResNet10 層次結(jié)構(gòu)（左）不如 WideResNet 層次結(jié)構(gòu)（右）。

例如，ResNet10 的準(zhǔn)確度比 CIFAR10 上的 WideResNet28x10 低 4％。相應(yīng)地，較低精度的 ResNet ^ 6 層次結(jié)構(gòu)（左）將青蛙，貓和飛機(jī)分組在一起且意義較小，因?yàn)楹茈y找到三個(gè)類共有的視覺特征。而相比之下，準(zhǔn)確性更高的 WideResNet 層次結(jié)構(gòu)（右）更有意義，將動(dòng)物與車完全分離開了。因此可以說，準(zhǔn)確性越高，NBDT 就越容易解釋。

了解決策規(guī)則

使用低維表格數(shù)據(jù)時(shí)，決策樹中的決策規(guī)則很容易解釋，例如，如果盤子中有面包，然后分配給合適的孩子（如下所示）。然而，決策規(guī)則對(duì)于像高維圖像的輸入而言則不是那么直接。模型的決策規(guī)則不僅基于對(duì)象類型，而且還基于上下文，形狀和顏色等等。

此案例演示了如何使用低維表格數(shù)據(jù)輕松解釋決策的規(guī)則。

為了定量解釋決策規(guī)則，研究者使用了 WordNet3 的現(xiàn)有名詞層次；通過這種層次結(jié)構(gòu)可以找到類別之間最具體的共享含義。例如，給定類別 Cat 和 Dog，WordNet 將反饋哺乳動(dòng)物。在下圖中，研究者定量驗(yàn)證了這些 WordNet 假設(shè)。

左側(cè)從屬樹（紅色箭頭）的 WordNet 假設(shè)是 Vehicle。右邊的 WordNet 假設(shè)（藍(lán)色箭頭）是 Animal。

值得注意的是，在具有 10 個(gè)類（如 CIFAR10）的小型數(shù)據(jù)集中，研究者可以找到所有節(jié)點(diǎn)的 WordNet 假設(shè)。但是，在具有 1000 個(gè)類別的大型數(shù)據(jù)集（即 ImageNet）中，則只能找到節(jié)點(diǎn)子集中的 WordNet 假設(shè)。

How it Works

Neural-Backed 決策樹的訓(xùn)練與推斷過程可分解為如下四個(gè)步驟：

為決策樹構(gòu)建稱為誘導(dǎo)層級(jí)「Induced Hierarchy」的層級(jí)；

該層級(jí)產(chǎn)生了一個(gè)稱為樹監(jiān)督損失「Tree Supervision Loss」的獨(dú)特?fù)p失函數(shù)；

通過將樣本傳遞給神經(jīng)網(wǎng)絡(luò)主干開始推斷。在最后一層全連接層之前，主干網(wǎng)絡(luò)均為神經(jīng)網(wǎng)絡(luò)；

以序列決策法則方式運(yùn)行最后一層全連接層結(jié)束推斷，研究者將其稱為嵌入決策法則「Embedded Decision Rules」。

Neural-Backed 決策樹訓(xùn)練與推斷示意圖。

運(yùn)行嵌入決策法則

這里首先討論推斷問題。如前所述，NBDT 使用神經(jīng)網(wǎng)絡(luò)主干提取每個(gè)樣本的特征。為便于理解接下來的操作，研究者首先構(gòu)建一個(gè)與全連接層等價(jià)的退化決策樹，如下圖所示：

以上產(chǎn)生了一個(gè)矩陣-向量乘法，之后變?yōu)橐粋€(gè)向量的內(nèi)積，這里將其表示為$\hat{y}$。以上輸出最大值的索引即為對(duì)類別的預(yù)測(cè)。

簡(jiǎn)單決策樹（naive decision tree）：研究者構(gòu)建了一個(gè)每一類僅包含一個(gè)根節(jié)點(diǎn)與一個(gè)葉節(jié)點(diǎn)的基本決策樹，如上圖中「B—Naive」所示。每個(gè)葉節(jié)點(diǎn)均直接與根節(jié)點(diǎn)相連，并且具有一個(gè)表征向量（來自 W 的行向量）。

使用從樣本提取的特征 x 進(jìn)行推斷意味著，計(jì)算 x 與每個(gè)子節(jié)點(diǎn)表征向量的內(nèi)積。類似于全連接層，最大內(nèi)積的索引即為所預(yù)測(cè)的類別。

全連接層與簡(jiǎn)單決策樹之間的直接等價(jià)關(guān)系，啟發(fā)研究者提出一種特別的推斷方法——使用內(nèi)積的決策樹。

構(gòu)建誘導(dǎo)層級(jí)

該層級(jí)決定了 NBDT 需要決策的類別集合。由于構(gòu)建該層級(jí)時(shí)使用了預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的權(quán)重，研究者將其稱為誘導(dǎo)層級(jí)。

具體地，研究者將全連接層中權(quán)重矩陣 W 的每個(gè)行向量，看做 d 維空間中的一點(diǎn)，如上圖「Step B」所示。接下來，在這些點(diǎn)上進(jìn)行層級(jí)聚類。連續(xù)聚類之后便產(chǎn)生了這一層級(jí)。

使用樹監(jiān)督損失進(jìn)行訓(xùn)練

考慮上圖中的「A-Hard」情形。假設(shè)綠色節(jié)點(diǎn)對(duì)應(yīng)于 Horse 類。這只是一個(gè)類，同時(shí)它也是動(dòng)物（橙色）。對(duì)結(jié)果而言，也可以知道到達(dá)根節(jié)點(diǎn)（藍(lán)色）的樣本應(yīng)位于右側(cè)的動(dòng)物處。到達(dá)節(jié)點(diǎn)動(dòng)物「Animal」的樣本也應(yīng)再次向右轉(zhuǎn)到「Horse」。所訓(xùn)練的每個(gè)節(jié)點(diǎn)用于預(yù)測(cè)正確的子節(jié)點(diǎn)。研究者將強(qiáng)制實(shí)施這種損失的樹稱為樹監(jiān)督損失（Tree Supervision Loss）。換句話說，這實(shí)際上是每個(gè)節(jié)點(diǎn)的交叉熵?fù)p失。

使用指南

我們可以直接使用 Python 包管理工具來安裝 nbdt：

pip install nbdt  

安裝好 nbdt 后即可在任意一張圖片上進(jìn)行推斷，nbdt 支持網(wǎng)頁(yè)鏈接或本地圖片。

nbdt https://images.pexels.com/photos/126407/pexels-photo-126407.jpeg?auto=compress&cs=tinysrgb&dpr=2&w=32  
 
# OR run on a local image  
 
nbdt /imaginary/path/to/local/image.png  

不想安裝也沒關(guān)系，研究者為我們提供了網(wǎng)頁(yè)版演示以及 Colab 示例，地址如下：

Demo：http://nbdt.alvinwan.com/demo/

Colab：http://nbdt.alvinwan.com/notebook/

下面的代碼展示了如何使用研究者提供的預(yù)訓(xùn)練模型進(jìn)行推斷：

from nbdt.model import SoftNBDT  
 
from nbdt.models import ResNet18, wrn28_10_cifar10, wrn28_10_cifar100, wrn28_10 # use wrn28_10 for TinyImagenet200  
 
model = wrn28_10_cifar10()  
 
model = SoftNBDT(  
 
pretrained=True,  
 
dataset='CIFAR10',  
 
arch='wrn28_10_cifar10',  
 
model=model)  

另外，研究者還提供了如何用少于 6 行代碼將 nbdt 與我們自己的神經(jīng)網(wǎng)絡(luò)相結(jié)合，詳細(xì)內(nèi)容請(qǐng)見其 GitHub 開源項(xiàng)目。