MIT的新技術幫助闡釋了在可視化數(shù)據(jù)上訓練的神經(jīng)網(wǎng)絡的內(nèi)部機制。

[[195593]]

神經(jīng)網(wǎng)絡通過分析大型訓練數(shù)據(jù)集學習如何完成計算任務，它對如今表現(xiàn)優(yōu)異的人工智能系統(tǒng)有巨大貢獻，例如語音識別系統(tǒng)、自動翻譯器和自動駕駛汽車。但神經(jīng)網(wǎng)絡是個黑箱，一旦被訓練，即使設計者本人也不了解其運作機制：即它們處理了什么數(shù)據(jù)、如何處理數(shù)據(jù)。

兩年前，來自 MIT CSAIL 實驗室的計算機視覺研究團隊描述了一種窺視神經(jīng)網(wǎng)絡訓練黑箱的方法，從而得以識別視覺場景。該方法提供了一些有趣的洞見，但需要通過亞馬遜的 Mechanical Turk 眾包服務把數(shù)據(jù)發(fā)送給人類審核員審核。

在今年的 CVPR 大會上，CSAIL 研究員對上述系統(tǒng)進行了升級，將會呈現(xiàn)一種完全自動化的版本。之前的論文給出了對一種神經(jīng)網(wǎng)絡（在一種任務上）的分析，新論文將會給出對四種神經(jīng)網(wǎng)絡（超過 20 種任務）的分析，包括識別場景與物體、為灰度圖像上色、解謎等任務。一些新的網(wǎng)絡太大，所以使用舊方法分析網(wǎng)絡成本太高。

研究人員也在網(wǎng)絡上進行了幾組實驗，不僅揭示了多種計算機視覺、計算攝影算法（computational-photography algorithm）的特性，也為人類大腦的組織方式提供了一些證據(jù)。

神經(jīng)網(wǎng)絡之名，來自于對人類神經(jīng)系統(tǒng)的模擬，有大量相當簡單，但密集連接的信息處理節(jié)點。和神經(jīng)元類似，神經(jīng)網(wǎng)絡的節(jié)點從臨近節(jié)點收取信息信號，然后激活釋放自己的信號，或者不反應。和神經(jīng)元一樣，節(jié)點激活反應的優(yōu)勢是能變化。

在兩篇論文中，MIT 研究員修改神經(jīng)網(wǎng)絡，并通過訓練完成計算機視覺任務，以便于揭露每個節(jié)點針對不同輸入圖像的反應機制。然后，他們選擇 10 張最能激發(fā)每個節(jié)點的輸入圖像。

在之前的論文中，研究人員將這些圖像發(fā)送給 Mechanical Turk 雇傭的工作人員，讓他們識別這些圖像的共同之處。而在新的論文中，研究人員使用計算機系統(tǒng)完成這一任務。

MIT 研究生 David Bau 說，「我們編目了 1100 多種視覺概念，比如綠色、土質(zhì)紋理、木材、人臉、自行車輪、雪山等。我們利用他人開發(fā)的多個數(shù)據(jù)集，把它們與標注了密集視覺概念的數(shù)據(jù)集融合，得到了許多、許多的標簽，我們知道哪個像素對應此標簽?！?/p>

該論文的其他作者包括共同***作者 Bolei Zhou、MIT 電子工程與計算機科學系教授 Antonio Torralba、CSAIL ***研究科學家 Aude Oliva、Torralba 的博士學生 Aditya Khosla，他現(xiàn)在是醫(yī)學計算公司 PathAI 的 CTO。

研究人員也知道哪張圖片的哪個像素對應給定網(wǎng)絡節(jié)點的***回應。如今的神經(jīng)網(wǎng)絡是被組織進層內(nèi)的，數(shù)據(jù)饋送給***層，然后經(jīng)過處理傳遞給下一層，以此類推。有了可視化數(shù)據(jù)，輸入圖像打碎為小塊，每一塊饋送給單獨的輸入節(jié)點。

在他們的一個網(wǎng)絡中，來自給層節(jié)點的每個回應，研究人員都能追蹤到引發(fā)模式，從而識別對應的特定圖像像素。因為他們的系統(tǒng)能夠頻繁識別對應確切像素群的標簽，因此能非常詳細的描述節(jié)點行為的特征。

在數(shù)據(jù)集中，研究人員分層組織了這些視覺概念。每個級別都從***層的概念開始，比如顏色、紋理，然后是材料、組成部分、物體、場景。通常來講，神經(jīng)網(wǎng)絡的低層能夠?qū)唵蔚囊曈X特性，比如顏色和紋理，高層能夠激發(fā)對更復雜特性的回應。

但分層也使得研究員能夠量化訓練神經(jīng)網(wǎng)絡完成特定任務時的重點之處。例如，訓練一個神經(jīng)網(wǎng)絡為黑白圖像上色，重點是大量識別紋理的節(jié)點。再比如，訓練一個網(wǎng)絡追蹤視頻畫面中的物體，相比于訓練進行場景識別的網(wǎng)絡，它要更加注重畫面識別的節(jié)點。在這種情況下，很多節(jié)點其實都專注于物體識別。

研究人員的實驗也能闡釋神經(jīng)科學方面的難題。關于在受試人類大腦中植入電極從而控制神經(jīng)失調(diào)的研究表明，大腦中的單個神經(jīng)元激發(fā)回應特定的視覺刺激。這一假設原被稱為祖母神經(jīng)元假設（grandmother-neuron hypothesis），更熟悉的名字是神經(jīng)科學家最近提出的 Jennifer-Aniston 神經(jīng)元假設。他們在發(fā)現(xiàn)多個神經(jīng)病人的神經(jīng)元傾向于只回應特定好萊塢明星的描述后，提出了該假設。

許多神經(jīng)科學家對此解釋有所爭議。他們認為神經(jīng)元集群，而非單個神經(jīng)元，控制著大腦中的感知識別。因此，Jennifer Aniston 神經(jīng)元只是一堆神經(jīng)元一起激發(fā)回應 Jennifer Aniston 的圖像。而且也可能是許多神經(jīng)元集群共同回應該刺激，只不過沒被測試到而已。

因為 MIT 研究員的分析技術是完全自動化的，他們能夠測試在訓練神經(jīng)網(wǎng)絡識別視覺場景的過程中是否發(fā)生了類似的事。除了識別被調(diào)整為特定視覺概念的單個網(wǎng)絡節(jié)點，他們也隨機選擇了結(jié)合節(jié)點。然而，節(jié)點的結(jié)合選擇出的視覺概念要比單個節(jié)點少很多，大約為 80%。

Bau 說，「在我看來，這表明神經(jīng)網(wǎng)絡實際在嘗試近似獲取一個祖母神經(jīng)元。他們并不是想把祖母神經(jīng)元的概念搞的到處都是，而是想把它分配給一個神經(jīng)元。這是一個有趣的暗示，大部分人不相信這個架構(gòu)如此簡單?！?/p>

論文： Network Dissection: Quantifying Interpretability of Deep Visual Representations

論文鏈接：http://netdissect.csail.mit.edu/final-network-dissection.pdf

我們提出了一種名為 Network Dissection 的通用框架，能夠通過評估單個隱藏單元與一系列語義概念間的對應關系，來量化 CNN 隱藏表征的可解釋性。給出一個 CNN 模型，我們提出的該方法利用大量視覺概念的數(shù)據(jù)集來評分每個中間卷積層隱藏單元的語義。這些帶有語義的單元被賦予了大量標簽，從物體、組成部分、場景到紋理、材料和顏色。我們使用已提出的方法測試了這一假設：單元的可闡釋性等同于其隨機線性結(jié)合；接著當被訓練解決不同的監(jiān)督和自監(jiān)督訓練任務時，我們應用我們的方法對比了不同網(wǎng)絡的潛在表征。我們進一步分析了訓練迭代的影響，對比了使用不同初始化進行訓練的網(wǎng)絡，檢查了網(wǎng)絡深度和寬度的影響，并測量了 dropout 和批歸一化在深度視覺表征的可闡釋性上產(chǎn)生的影響。我們證明了已提出的方法可以揭示 CNN 模型和訓練方法（超越了對其判別力的測量）的特性。