神經(jīng)網(wǎng)絡被用的越來越多了。

[[357551]]

無論是醫(yī)療診斷還是自動駕駛，在許多關乎人類安全與健康的重要領域，神經(jīng)網(wǎng)絡逐漸開始發(fā)揮作用。

但是這些神經(jīng)網(wǎng)絡，可信嗎？

我們都知道，神經(jīng)網(wǎng)絡善于從大型、復雜的數(shù)據(jù)中識別模式，以幫助人類決策，但是它進行識別的過程卻是一個黑箱。

一些AI研究者就試圖揭開這一秘密，找出神經(jīng)網(wǎng)絡可信度的答案。

在一個麻省理工（MIT）和哈佛大學合作的項目中，亞歷山大·阿米尼（Alexander Amini）和他的同事們就在探索這一問題，他們開發(fā)了一種可以處理數(shù)據(jù)的神經(jīng)網(wǎng)絡，不僅可以輸出預測結果，還可以根據(jù)可用數(shù)據(jù)的質量，給出模型的可信賴水平。

簡單來說，就是讓神經(jīng)網(wǎng)絡自己對自己的結果可信度打個分，顛顛自己“幾斤幾兩”！

打個比方，在自動駕駛中，模型通過對各種傳感器的數(shù)據(jù)進行分析，這就是“交叉路口一切正常”和“可能安全，要以防萬一”的區(qū)別。

目前的神經(jīng)網(wǎng)絡不確定性評估往往成本昂貴，并且要耗費相當長的時間，但是阿米尼提出的“深度證據(jù)回歸”（deep evidential regression），可以加速這一過程，并且得到更可靠的結果。

麻省理工學院計算機科學與人工智能實驗室（CSAIL）DanielaRus教授團隊的博士生Amini說：“我們不僅需要擁有高性能的模型，還需要理解什么時候我們不能信任這些模型。”

“這個想法很重要，適用范圍很廣。它可以用來評估依賴于學習模型的產(chǎn)品。通過對學習模型的不確定性進行估計，我們還可以了解該模型可能帶來的誤差，以及哪些缺失的數(shù)據(jù)可以改進該模型。”Rus說。

阿米尼將在 NeurIPS 會議上展示這項研究，Rus將與他一起赴會。

有效的不確定性

在經(jīng)歷了一段起伏不定的歷史之后，深度學習已經(jīng)在各種任務中展現(xiàn)出了卓越的表現(xiàn)，在某些情況下甚至超過了人類的準確性。

現(xiàn)在，深度學習似乎無處不在。它為搜索引擎結果、社交媒體訂閱和人臉識別提供了技術基礎。“我們已經(jīng)通過深度學習取得了巨大的成功，”阿米尼說。“神經(jīng)網(wǎng)絡在 99% 的時間里都很擅長知道正確的答案。”

但是在生命面前，容不得AI 1%的僥幸。

阿米尼說: “研究人員一直在逃避的一件事，這些模型需要知道并告訴我們它們可能是錯誤的。”

“我們真正關心的是那1%的時候，以及我們?nèi)绾文軌蚩煽慷行У匕l(fā)現(xiàn)這些情況。”

神經(jīng)網(wǎng)絡有的規(guī)模非常大，有的擁有高達數(shù)十億的參數(shù)。因此，僅僅為了得到一個答案，這可能是一個繁重的計算工作，更不用說置信度了。

神經(jīng)網(wǎng)絡中的不確定性分析并不新鮮。但是之前基于貝葉斯深度學習的方法，是多次依賴于運行，或抽樣一個神經(jīng)網(wǎng)絡來理解它的可信度。這個過程需要大量的時間和內(nèi)存，在像智能交通這樣的場景中就不實用了。

研究人員設計了一個只從單個運行的神經(jīng)網(wǎng)絡來估計不確定性的方法。他們設計的網(wǎng)絡具有多個輸出，不僅可以輸出一個預測，而且會產(chǎn)生一個新的概率分布，捕獲支持該預測的可信度。

這些分布稱為證據(jù)分布，直接捕獲模型的可信度。這包括基礎輸入數(shù)據(jù)中存在的任何不確定性，以及對模型的最終決策的影響。這種區(qū)別可以表明是否可以通過調整神經(jīng)網(wǎng)絡本身來減少不確定性，或者輸入的數(shù)據(jù)是否只是噪聲。

檢查可信度

為了測試他們的方法，研究人員決定從一項具有挑戰(zhàn)性的計算機視覺任務開始。

他們訓練自己的神經(jīng)網(wǎng)絡來分析單目彩色圖像，并估計每個像素的深度值（即距離相機鏡頭的距離）。無人車輛可能會使用該計算方法來估計它與行人或其他車輛的距離，這并不是一個簡單的任務。

他們的神經(jīng)網(wǎng)絡性能與先前最先進的模型不相上下，并且它還擁有估計自身不確定性的能力。正如研究人員所預料的那樣，這個神經(jīng)網(wǎng)絡在預測錯了的地方輸出了高度的不確定性。

阿米尼說: “它是根據(jù)網(wǎng)絡產(chǎn)生的誤差進行校準的，我們認為這是衡量可信度預測器質量的最重要的事情之一。”

為了對他們的校準進行壓力測試，研究小組還表明，網(wǎng)絡對“分布不均”的數(shù)據(jù)預測了更高的不確定性——這是訓練期間從未遇到過的全新類型的圖像。在他們對網(wǎng)絡進行了室內(nèi)家庭場景的訓練之后，他們給網(wǎng)絡輸入了一批室外駕駛場景。

該神經(jīng)網(wǎng)絡一直發(fā)出警告，表示它對未曾識別過的戶外場景的反應是不確定的。該測試突出了網(wǎng)絡在用戶不應完全信任其決策時進行報警的能力。

在這種情況下，“如果這是一個醫(yī)療保健應用程序，也許我們不相信模型提供的診斷，而是尋求其他意見。”阿米尼說。

該網(wǎng)絡甚至知道照片何時被篡改，從而有可能防范數(shù)據(jù)操縱攻擊。

在另一個試驗中，研究人員在一批圖像中提高了對抗性的噪音水平，并將這些圖像發(fā)送到網(wǎng)絡中。這種改動是微妙的，幾乎不為人類所察覺，但神經(jīng)網(wǎng)絡發(fā)現(xiàn)了這些圖像，并用高度不確定性標記了輸出結果。這種對偽造數(shù)據(jù)發(fā)出警報的能力可以幫助偵測和阻止敵對性攻擊，這在深度造假時代是一個日益令人擔憂的問題。

“深度證據(jù)回歸”是“一種簡單而優(yōu)雅的方法，它推進了不確定性估計領域，這對于機器人和其他現(xiàn)實世界的控制系統(tǒng)非常重要，”

DeepMind 的人工智能研究員 Raia Hadsell 評論說。“這種方法以一種新穎的方式完成，避免了其它方法的一些混亂方面，例如采樣或集合，這不僅使它優(yōu)雅，而且計算效率更高，是一種成功的組合。”

“深度證據(jù)回歸”可以提高人工智能輔助決策的安全性。阿米尼說: “我們開始看到越來越多的神經(jīng)網(wǎng)絡模型從實驗室慢慢流出，進入現(xiàn)實世界，進入可能危及人類生命的環(huán)境。”

“任何使用這種方法的人，無論是醫(yī)生還是坐在車輛乘客座位上的人，都需要意識到與這一決定相關的任何風險或不確定性。”他設想這個系統(tǒng)不僅可以快速識別不確定性，而且可以用來在危險的情況下做出更加保守的決策，比如一輛無人汽車經(jīng)過一個十字路口的時候。

“任何有部署機器學習的領域最終都需要有可靠的可信度指標。”他說。