開玩笑地說，現(xiàn)在提交論文的主題是不是應該圍繞把全卷積編碼器解碼器BatchNorm ResNet GAN應用于風格遷移，用 Adam 進行優(yōu)化?

你是否使用過 Google Trends?相當?shù)目幔阍诶锩孑斎腙P鍵詞，看一下谷歌搜索中這一詞條如何隨時間變化的。我想，過去 5 年中 arxiv-sanity 數(shù)據(jù)庫中剛好有 28303 篇機器學習論文，為什么不做一些類似的工作，看一下過去 5 年機器學習研究有何進化?結果相當?shù)挠腥?，所以我把它貼了出來。

arXiv 奇點

首先，讓我們看一下在 arxiv-sanity 類別下(cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML)所遞交論文的總數(shù)。隨時間變化，得出以下結果：

是的，2017 年 3 月，該領域有幾乎 2000 篇論文被提交。這一峰值可能是由于大會截止日期(例如 NIPS/ICML)。注意，這不是關于該領域自身體量的一個直接說明，因為不是每個人都會把論文提交到 arXiv 上，而且研究人員做研究的分類也會隨時間變化。但有一點可以說明，人工智能領域正有大量論文被發(fā)現(xiàn)、瀏覽、閱讀。

把論文的總量做為分母，我們現(xiàn)在看一下有多少比例的論文包含確切的關鍵詞。

深度學習框架

作為熱身，我們先看一下深度學習框架。為了計算這個關鍵詞，我們記錄了在全部文本中的某處提到框架名的論文以及其比例(任何地方，包括 bibiliography 等)。在 2017 年三月份提交的論文中，我們得出了下面的結果：

也就是說，2017 年 3 月提交的論文中 10% 提到了 TensorFlow。當然，不是每篇論文都宣布使用了該框架，如果我們假設那些提到框架的論文都有一定概率使用該框架，那看起來社區(qū)中有 40% 的人在使用 TensorFlow(或者更多，如果你把帶有 TF 后端的 Keras 也算在內(nèi))。下面是更多框架隨時間變化的圖繪：

我們能看到 Theano 已經(jīng)出現(xiàn)很長時間了，但其增長趨于停滯。Caffe 在 2014 年有急劇的增長，但在過去幾個月被 TensorFlow 超越。Torch(以及最近的 PyTorch)也在攀爬階段，緩慢卻穩(wěn)定。接下來幾個月的發(fā)展值得注意，我個人的猜測是 Caffe/Theano 將繼續(xù)緩慢的衰退，TensorFlow 也會因為 PyTorch 出現(xiàn)，增長速度變的更慢。

ConvNet 模型

接下來看一下常見的 ConvNet 模型。下圖中，我們能清楚的看到 ResNet 的漲幅，直到三月份所有論文的 9% 提到了它。

還有，在 InceptionNet 之前誰在討論「inception」?對此也很好奇。

優(yōu)化算法

在優(yōu)化算法方面，看起來 Adam 正在流行，所有論文中 23% 提到了 Adam。實際使用的比例難以估計，但可能要比 23% 高，因為一些論文沒有公布用到的優(yōu)化算法，而且一批論文可能沒優(yōu)化任何神經(jīng)網(wǎng)絡。然后它可能還低了 5%，也就是 Adam「隱藏」在背后，可能與作者的名字沖突，因為 Adam 優(yōu)化算法到了 2014 年 12 月才發(fā)布。

研究人員

我們對深度學習中一些重要人物出現(xiàn)的比例也很好奇，所以進行了繪圖。這有點類似于引用量，但它要比論文非零即一的統(tǒng)計更為穩(wěn)健，而且對所有的論文進行了標準化。

可以注意的：所有提交的論文中 35% 提到了「bengio」，但研究人員中有兩個 Bengio：Samy 和 Yoshua，在此圖中是合并統(tǒng)計的。特別提到的一點，在所有新論文中有超過 30% 提到了 Geoff Hinton，看起來非常的多。

熱詞或非關鍵詞

最后，除了手動查閱的關鍵詞類別，讓我們看一下一些熱詞或不熱的關鍵詞。

頂級熱詞

有很多方式可對此進行定義，但該實驗中我觀察了所有論文中的單字母組合或雙子母詞組，并記錄了相比于去年最大使用量的比例。超越此標準的論文就是一年前還是有潛力的，但在今年就有相當高關聯(lián)頻率的論文。列表如下：

例如，ResNet 的比例是 8.17。因為一年前它在所有提交論文中出現(xiàn)的比率是 1.044%(2016 年 3 月)，但今年 3 月它出現(xiàn)的比例是 8.53，所以 8.53 除以 1.044 約等于 8.17。所以得出的結果是，過去一年所有的核心創(chuàng)新領域是 1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm，在研究中多使用下這些模型。在研究興趣方面，我們看到 1) 風格遷移，2) 深度強化學習，3) 神經(jīng)機器翻譯，以及 4) 圖像生成。在架構上，熱于使用 1) 全卷機網(wǎng)絡 (FCN)，2) LSTMs/GRUs，3) Siamese 網(wǎng)絡，以及 4) 編碼器-解碼器網(wǎng)絡。

頂級但不熱

相反的一面呢?過去一年有哪些詞有較少的提交，但歷史上有更高的比例?下面列出了一些：

我不太確定「fractal」指代什么，但更普遍的可能是貝葉斯非參數(shù)在被攻擊。

結論

現(xiàn)在提交論文的主題應該圍繞把全卷積編碼器解碼器 BatchNorm ResNet GAN(Fully Convolutional Encoder Decoder BatchNorm ResNet GAN)應用于風格遷移，用 Adam 進行優(yōu)化。聽起來也不那么不靠譜。