神經(jīng)網(wǎng)絡(luò)就像“煉丹爐”一樣，投喂大量數(shù)據(jù)，或許能獲得神奇的效果。

“煉丹”成功后，神經(jīng)網(wǎng)絡(luò)也能對(duì)沒(méi)見(jiàn)過(guò)的數(shù)據(jù)進(jìn)行預(yù)測(cè)了~

然而，這種情況下，神經(jīng)網(wǎng)絡(luò)其實(shí)成了“黑匣子”——具有一定的功能，但看不見(jiàn)是怎么起作用的。

如果只做簡(jiǎn)單的圖像分類，其實(shí)還好；但如果用在醫(yī)學(xué)方向，對(duì)疾病進(jìn)行預(yù)測(cè)，那么神經(jīng)網(wǎng)絡(luò)下的“判斷”就不可輕信。

如果能了解它是怎么工作的，就更好了。

出于這種考慮，來(lái)自牛津大學(xué)的博士生Oana-Maria Camburu撰寫了畢業(yè)論文《解釋神經(jīng)網(wǎng)絡(luò) （Explaining Deep Neural Networks）》。

在這篇論文中，她將這些“黑匣子”一個(gè)個(gè)打開(kāi)，對(duì)神經(jīng)網(wǎng)絡(luò)原理進(jìn)行了詳細(xì)的解釋。

為什么要打開(kāi)神經(jīng)網(wǎng)絡(luò)“黑匣子”？

事實(shí)上，神經(jīng)網(wǎng)絡(luò)之所以起作用，最直觀的原因就是，它由大量非線性函數(shù)組成。

這些非線性函數(shù)，使得網(wǎng)絡(luò)可以學(xué)習(xí)原始數(shù)據(jù)中各種抽象級(jí)特征。

然而，也正是因?yàn)樯窠?jīng)網(wǎng)絡(luò)中的這些非線性函數(shù)，使得人類往往難以理解，它們是如何起作用的。

這就導(dǎo)致神經(jīng)網(wǎng)絡(luò)在疾病預(yù)測(cè)、信用額度、刑法等方向上“不太受歡迎”。

醫(yī)生和法律相關(guān)的研究者往往更樂(lè)意采用可解釋模型，例如線性回歸、決策樹(shù)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)在疾病預(yù)測(cè)中的確出過(guò)問(wèn)題：

人們利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)肺炎患者的病情發(fā)展，其中一項(xiàng)患者特征為是否有哮喘病史。

神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后預(yù)測(cè)，有哮喘病史的患者死于肺炎的可能性較低。

但其實(shí)結(jié)果恰好相反，哮喘本身會(huì)給肺炎帶來(lái)雪上加霜的效果。

之所以數(shù)據(jù)表明哮喘患者較少死于肺炎，往往是因?yàn)橄鼙患霸绨l(fā)現(xiàn)，所以患者得肺炎后能被及早治療。

如果這種神經(jīng)網(wǎng)絡(luò)被應(yīng)用于實(shí)踐中，將會(huì)帶來(lái)非常危險(xiǎn)的結(jié)果。

此外，即使是神經(jīng)網(wǎng)絡(luò)，也會(huì)對(duì)男女性別產(chǎn)生刻板印象、產(chǎn)生種族偏見(jiàn)。

[[349474]]

例如，調(diào)查表明，有些語(yǔ)料庫(kù)和模型，在預(yù)測(cè)再犯時(shí)，會(huì)更“偏愛(ài)”男性。

除了錯(cuò)誤的預(yù)測(cè)和種族、性別歧視以外，神經(jīng)網(wǎng)絡(luò)還很脆弱。

無(wú)論是對(duì)圖像進(jìn)行小改動(dòng)欺騙分類算法、還是用語(yǔ)音識(shí)別瞞過(guò)NLP模型，神經(jīng)網(wǎng)絡(luò)被“爆雷”的情況也不少。

為了讓神經(jīng)網(wǎng)絡(luò)應(yīng)用于更多的方向，也為了讓我們更好地學(xué)習(xí)它的原理，作者從兩個(gè)方向?qū)ι窠?jīng)網(wǎng)絡(luò)進(jìn)行了解釋。

2 種方法解釋神經(jīng)網(wǎng)絡(luò)

“事后再解釋”

第一種方法，稱之為基于特征的解釋方法，又叫“事后再解釋”——因?yàn)檫@種方法，是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練好后，才對(duì)其輸入特征進(jìn)行解釋的。

這種方法針對(duì)文本的詞（token）、或是針對(duì)圖像的超像素（super pixels），進(jìn)行“事后”解釋。

目前這種方法應(yīng)用較為普遍，不容易出現(xiàn)解釋偏見(jiàn)，但需要驗(yàn)證解釋方法的真實(shí)性。

這里的根本原理，是研究外部解釋方法給出的解釋、與模型本身生成的自然語(yǔ)言解釋之間，是否存在相關(guān)性，而相關(guān)性具體又是什么。

在論文中，作者引入了一種新的驗(yàn)證方法，來(lái)判斷解釋方法的真實(shí)性。

讓神經(jīng)網(wǎng)絡(luò)自己解釋

那么，如果能讓神經(jīng)網(wǎng)絡(luò)一邊訓(xùn)練、一邊“解釋自己”呢？

這是論文提到的第二種方法，即在模型中植入一個(gè)生成預(yù)測(cè)解釋的模塊，對(duì)預(yù)測(cè)的結(jié)果進(jìn)行解釋。

至于神經(jīng)網(wǎng)絡(luò)對(duì)自己的解釋是否正確，還需要人為進(jìn)行判斷。

在這里面，作者同樣引入了一種判斷方法，對(duì)模型自己生成的解釋進(jìn)行判斷，從而得出神經(jīng)網(wǎng)絡(luò)解釋的結(jié)果。

對(duì)神經(jīng)網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)、具體解釋方法感興趣的小伙伴，可以戳下方論文地址查看~