深度網(wǎng)絡(luò)對機器學(xué)習(xí)研究和應(yīng)用領(lǐng)域產(chǎn)生了巨大的影響，與此同時卻無法很清晰地解釋深度網(wǎng)絡(luò)的來龍去脈。人們一直致力于更透徹地去理解其中復(fù)雜的過程。由于人類對于世界的認(rèn)知和感受主要來自于視覺，良好的可視化可以有效的幫助人們理解深度網(wǎng)絡(luò)，并進行有效的優(yōu)化和調(diào)節(jié)。本文主要基于ICML可視化的workshop和查到的相關(guān)論文，分享一下提到的一些先進的可視化概念和方法。

內(nèi)容主要參考：http://icmlviz.github.io/

ACTIVIS

Facebook 研發(fā)的交互式深度學(xué)習(xí)可視化系統(tǒng)，可以對生產(chǎn)環(huán)境中的大規(guī)模模型以及器運行的結(jié)果進行生動直觀的呈現(xiàn)。這一系統(tǒng)可以支持四個方面的可視化。

• 模型架構(gòu)及其對應(yīng)的計算圖概覽
• 用于審視激活情況的神經(jīng)元激活矩陣、以及投影到2D的可視化
• 可以對于每一個實例結(jié)果進行可視化分析
• 支持增加不同的實例來對不同的實例、子集、類型的激活模式進行比較，尋找誤分類的原因

Grad-CAM

Grad-CAM是指Gradient-weighted Class Activation Mapping，研究人員提出利用這種梯度權(quán)重激活映射來對卷積神經(jīng)網(wǎng)絡(luò)的分類進行解釋，在輸入的圖片中粗略地顯示出模型預(yù)測出的類別對應(yīng)的重要性區(qū)間。這種方式可以廣泛試用于CNN模型家族的模型預(yù)測可視化過程。

上圖中可以看到對于貓和狗不同的分類，顯示出的置信區(qū)域也各部相同。同時還能顯示視覺問答的過程：

Deep View

研究人員基于Deep View這一可視化工具研究了訓(xùn)練過程中深度網(wǎng)絡(luò)的進化情況。利用判別矩陣和密度矩陣分別評價神經(jīng)元和輸出特征圖在訓(xùn)練中的進化過程，總而建立了十分細(xì)致的視覺分析框架，能夠有效展示模型在訓(xùn)練過程中局部和全局的特征變化。

參考：

http://www3.cs.stonybrook.edu/~mueller/people/http://101.96.8.164/icmlviz.github.io/assets/papers/2.pdf

一個自然語言處理的交互式可視化工具

能可視化NLP系統(tǒng)的輸出，幫助用戶更好的理解對于文本數(shù)據(jù)的處理同時進行一些必要的修正。這樣的反饋過程可以幫助改進模型的精度。 

參考：https://arxiv.org/pdf/1707.01890v2.pdf

LSTMV

遞歸神經(jīng)網(wǎng)絡(luò)特別是長短時記憶網(wǎng)絡(luò)是對于時序信號強有力的工具，可以有效的建立和表征時序輸入的隱含模式。研究人員對于其中隱藏層隨時間的變化十分感興趣，這一工作主要聚焦于對遞歸神經(jīng)網(wǎng)絡(luò)中的隱藏層動力學(xué)可視化。用戶可以利用這一工具針對性的選取輸入范圍并與相同模式的大數(shù)據(jù)集進行比較，同時還可以利用這一工具對獨立的模式進行統(tǒng)計分析。

參考：http://lstm.seas.harvard.edu/

https://vcg.seas.harvard.edu/code-data

Deep Visualization Toolbox

這個工具箱可以對圖像在深度學(xué)習(xí)網(wǎng)絡(luò)中的各層輸出進行直觀的可視化：

參考：http://yosinski.com/deepvis

https://github.com/yosinski/deep-visualization-toolbox

https://deeplearning4j.org/overview

數(shù)據(jù)可視化

參考>>http://colah.github.io