[[429122]]

最近GitHub上一個(gè)項(xiàng)目ICLR2022-OpenReviewData爬取了ICLR 2022的所有投稿論文。

總共有3407篇，通過(guò)分析發(fā)現(xiàn)熱度前50的投稿關(guān)鍵詞中，強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)排在前三位，并且強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)的投稿數(shù)量要遠(yuǎn)超其他研究領(lǐng)域，例如對(duì)比學(xué)習(xí)、遷移學(xué)習(xí)的投稿數(shù)量不足強(qiáng)化學(xué)習(xí)的四分之一。

通過(guò)詞云可視化后這種趨勢(shì)也一目了然。

通過(guò)對(duì)標(biāo)題關(guān)鍵詞的單詞進(jìn)行分析后，可以看到論文使用的詞的差距沒(méi)有短語(yǔ)那么大，研究人員更喜歡最喜歡用表示(representation)這個(gè)詞，畢竟會(huì)議的名字都是International Conference on Learning Representations (ICLR)。

作者在倉(cāng)庫(kù)中放出了爬取論文列表的代碼，不過(guò)應(yīng)該只能在Windows平臺(tái)下運(yùn)行。

首先需要下載一個(gè)msedgedriver.exe 的程序，方便模仿瀏覽器的行為進(jìn)行數(shù)據(jù)爬取。除了Microsoft Edge外，也可以使用Chromium的driver。

爬取數(shù)據(jù)大約耗時(shí)30分鐘，當(dāng)然如果不想運(yùn)行，作者也提供了爬取后的數(shù)據(jù)。

這個(gè)倉(cāng)庫(kù)受到ICLR2021-OpenReviewData數(shù)據(jù)分析的啟發(fā)，通過(guò)數(shù)據(jù)對(duì)比可以發(fā)現(xiàn)，ICLR 2021的前兩名依然是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，只不過(guò)位置發(fā)生了變換，三四名也是圖神經(jīng)網(wǎng)絡(luò)和表示學(xué)習(xí)，位次也發(fā)生了轉(zhuǎn)換。在ICLR 2021 中比較火熱的元學(xué)習(xí)（meta learning），過(guò)了一年后熱度也有了明顯的下降。

在ICLR 2021 的所有論文中，平均分為5.367，大部分論文都集中在5-6分，3.8分以下和7分以上都是一件不容易的事。

作者還研究了一下文章的評(píng)分和關(guān)鍵詞之間的關(guān)系，可以發(fā)現(xiàn)reviewer的平均評(píng)分和關(guān)鍵字的頻率之間有很大的關(guān)系，要最大限度地提高獲得更高評(píng)分的機(jī)會(huì)，可以使用諸如深度生成模型（deep generative models）或標(biāo)準(zhǔn)化流（normalizing flows）之類(lèi)的關(guān)鍵字。

絕大多數(shù)計(jì)算機(jī)科學(xué)會(huì)議都使用匿名同行評(píng)審，OpenReview 提供一個(gè)平臺(tái)旨在促進(jìn)同行評(píng)審過(guò)程的開(kāi)放性。論文（元）評(píng)論、反駁和最終決定都將向公眾公布。

當(dāng)然OpenReview這種方式也會(huì)促使各位作者更加慎重地投稿自己的論文，防止被公開(kāi)處刑。

除了上述的簡(jiǎn)單分析外，OpenReview 也可以作為更大規(guī)模的語(yǔ)料提供給研究者進(jìn)行研究，研究人員從OpenReview平臺(tái)收集了5527份意見(jiàn)書(shū)和16853份評(píng)論，除此之外還從Google Scholar和arXiv.org的非同行評(píng)審版本收集這些提交的引文數(shù)據(jù)。

https://arxiv.org/abs/2103.05885

ICLR 自2013年開(kāi)始一直使用OpenReview 平臺(tái)進(jìn)行雙盲評(píng)審，每篇論文分配評(píng)審后，通常由三名評(píng)審員獨(dú)立評(píng)估一篇論文。在rebuttal之后，評(píng)論者可以訪(fǎng)問(wèn)作者的回復(fù)和其他同行的意見(jiàn)，并相應(yīng)地修改他們的評(píng)論。

然后，項(xiàng)目主席為每篇論文撰寫(xiě)元評(píng)論，根據(jù)三篇匿名評(píng)論做出最終的接受/拒絕決定。每次正式評(píng)審主要包括評(píng)審分?jǐn)?shù)（1到10之間的整數(shù)）、評(píng)審員信心水平（1到5之間的整數(shù)）和詳細(xì)評(píng)審意見(jiàn)。官方評(píng)論和元評(píng)論都在OpenReview平臺(tái)上向公眾開(kāi)放，也可以在OpenReview上發(fā)布他們的評(píng)論。

論文中爬取了2017年以來(lái)的審查數(shù)據(jù)，因?yàn)?017年之前提交的資料太少。雖然利用了雙盲審查過(guò)程，但在論文的最終決定之后，還將公布被拒絕掉的作者的身份。

由于提交量的大幅增加，ICLR 2020雇傭了更多的評(píng)審志愿者。有人抱怨評(píng)審人員的質(zhì)量嚴(yán)重下降（47%的評(píng)審沒(méi)有在相關(guān)領(lǐng)域發(fā)表文章）。在其他人工智能會(huì)議上，如NIPS、CVPR和AAAI中也觀(guān)察到類(lèi)似的情況。許多作者抱怨他們的意見(jiàn)沒(méi)有得到很好的評(píng)價(jià)，因?yàn)橹付ǖ姆菍?zhuān)家評(píng)審員缺乏足夠的技術(shù)背景，無(wú)法理解他們的主要貢獻(xiàn)。

但這些非專(zhuān)家對(duì)審查進(jìn)程有何影響卻沒(méi)有一個(gè)定量的分析。

對(duì)于2017-2019年ICLR，審核人給出1到10之間的審核分?jǐn)?shù)（整數(shù)），并要求選擇1到5之間的置信水平（整數(shù)）。對(duì)于ICLR 2020，評(píng)審員在{1,3,6,8}中給出評(píng)級(jí)分?jǐn)?shù)，并應(yīng)選擇介于1和4之間的經(jīng)驗(yàn)評(píng)估分?jǐn)?shù)（類(lèi)似于置信度分?jǐn)?shù)）。對(duì)于2018-2020年，置信度為1和2的重新評(píng)估分?jǐn)?shù)可能高于置信度為4和5的審查分?jǐn)?shù)。

2017年ICLR的趨勢(shì)不清楚，因?yàn)樗臉颖咎?，不具有統(tǒng)計(jì)意義。2017-2019年，最低置信水平審查的平均審查分?jǐn)?shù)為5.675，而最高置信水平審查的平均審查分?jǐn)?shù)為4.954。2020年，最低和最高置信水平審查的數(shù)字分別為4.726和3.678。

研究結(jié)果表明，低置信度的評(píng)審員（如1級(jí)和2級(jí)）傾向于更寬容，因?yàn)樗麄兛赡軐?duì)自己的決定沒(méi)有信心，而高自信的評(píng)審員（如4級(jí)和5級(jí)）傾向于更強(qiáng)硬和嚴(yán)格，因?yàn)樗麄兛赡軐?duì)確定的弱點(diǎn)有信心。

下圖中每一點(diǎn)都表示一組具有特定置信水平的評(píng)審，點(diǎn)的大小表示該組中評(píng)論的相對(duì)數(shù)量，兩點(diǎn)之間的距離表示兩組之間的評(píng)審分?jǐn)?shù)差異。

根據(jù)每個(gè)評(píng)論的情緒分析結(jié)果和評(píng)論得分的相關(guān)性分析中，研究人員將具有相同方面情感組合的評(píng)論分組，并計(jì)算每組的平均評(píng)論分?jǐn)?shù)，并且不考慮接受少于3次審查的群體，因?yàn)樗麄兊臉颖咎?，不具有統(tǒng)計(jì)顯著性。

將結(jié)果可視化后可以看到，從宏觀(guān)角度來(lái)看，較高的審查分?jǐn)?shù)通常會(huì)帶來(lái)更積極的方面，這也是意料之中的。還觀(guān)察到，大多數(shù)評(píng)分高于6分的評(píng)論在新穎性、動(dòng)機(jī)和表現(xiàn)方面沒(méi)有負(fù)面評(píng)論，但在相關(guān)工作和實(shí)驗(yàn)中可能存在一些缺陷。對(duì)論文總體持肯定態(tài)度的審稿人可能會(huì)對(duì)相關(guān)工作和實(shí)驗(yàn)提出改進(jìn)建議，使論文更加完善。演講質(zhì)量和實(shí)驗(yàn)似乎比其他方面更經(jīng)常被提及，并且對(duì)表達(dá)的積極情緒分布更加均勻。這意味著陳述在決策中不起重要作用。

同樣有趣的是，沒(méi)有一項(xiàng)審查的所有方面都是積極的或消極的。一篇論文不太可能在所有方面都完美無(wú)缺或毫無(wú)價(jià)值。審稿人也可能對(duì)論文更嚴(yán)格，對(duì)差的論文更寬容。

通過(guò)深入了解這些數(shù)據(jù)，可以得到一些有趣的發(fā)現(xiàn)，這些發(fā)現(xiàn)有助于理解公眾參與的雙盲同行評(píng)審過(guò)程的有效性，可能還有助于撰寫(xiě)論文、審查論文以及決定是否接受論文。

人工智能會(huì)議是一個(gè)接收范圍廣泛的學(xué)科領(lǐng)域。作者經(jīng)常被要求選擇與他們提交的內(nèi)容最相關(guān)的領(lǐng)域。區(qū)域主席可以為某個(gè)研究領(lǐng)域的提交做出決策。不同地區(qū)可能會(huì)收到不同數(shù)量的提交，也可能有不同的接受率。項(xiàng)目主席有時(shí)會(huì)在會(huì)議的開(kāi)幕式上宣布每個(gè)區(qū)域的提交數(shù)量和接受率，這可能以某種方式表明每個(gè)區(qū)域的受歡迎程度。

但是，按地區(qū)進(jìn)行的分類(lèi)比較粗糙，需要提供更具體信息的更細(xì)粒度的分類(lèi)。由于OpenReview提供了更詳細(xì)的提交信息，可以利用每個(gè)提交的標(biāo)題、摘要和關(guān)鍵字來(lái)提供更細(xì)粒度的聚類(lèi)結(jié)果，并收集每個(gè)提交集群的接受率統(tǒng)計(jì)數(shù)據(jù)。

從接收主題上可以觀(guān)察到大體上是一個(gè)深度學(xué)習(xí)研究的總體結(jié)構(gòu)及研究主題內(nèi)部之間的相關(guān)性。例如，左側(cè)部分的提交內(nèi)容屬于強(qiáng)化學(xué)習(xí)領(lǐng)域。

另一個(gè)獨(dú)立的研究領(lǐng)域是圖形神經(jīng)網(wǎng)絡(luò)（GNNs），作為一個(gè)很有前途的領(lǐng)域，它在短短2-3年內(nèi)變得非常熱門(mén)，它通過(guò)關(guān)注圖形結(jié)構(gòu)將自己與其他領(lǐng)域區(qū)分開(kāi)來(lái)。對(duì)抗式機(jī)器學(xué)習(xí)（Adversarial Machine Learning）也是一個(gè)新的獨(dú)立研究領(lǐng)域。

下一個(gè)獨(dú)立主題是對(duì)抗生成網(wǎng)絡(luò)（GANs）。但GANs并不是完全獨(dú)立的，可以發(fā)現(xiàn)許多關(guān)于NLP和CV的提交文件也與GANs混合在一起。還觀(guān)察到遷移學(xué)習(xí)與GANs非常接近，因?yàn)橐恍┭芯恳呀?jīng)將遷移學(xué)習(xí)應(yīng)用于GANs。右部分中的大多數(shù)提交內(nèi)容都與應(yīng)用程序相關(guān)（例如，視覺(jué)、音頻、NLP、生物學(xué)、化學(xué)和機(jī)器人學(xué)），它們與DNN優(yōu)化技術(shù)混合在一起，因?yàn)樵谔囟ǖ膽?yīng)用領(lǐng)域提出了許多優(yōu)化來(lái)改進(jìn)DNN。

強(qiáng)化學(xué)習(xí)、GNNs、GANs、NLP和計(jì)算機(jī)視覺(jué)吸引了超過(guò)50%的提交，這些都是當(dāng)今深度學(xué)習(xí)研究的熱門(mén)話(huà)題。

不同課題之間的接受率也存在顯著差異，黑匣子對(duì)抗性攻擊（Black-Box Adversarial Attacks）提交的集群接受率最高（53.33%），屬于對(duì)抗性機(jī)器學(xué)習(xí)領(lǐng)域。提交的few-shot learning主題的接受率最低（10.53%），屬于強(qiáng)化學(xué)習(xí)領(lǐng)域。圖神經(jīng)網(wǎng)絡(luò)接受率為26.67%，BERT接受率為27.27%，GANs 接受率為20.18%，強(qiáng)化學(xué)習(xí)接受率為31.58%。