ICML 2022審稿結(jié)果遭「圍攻」,Yann LeCun:我投了三篇,被拒了三篇
剛剛,圖靈獎(jiǎng)得主Yann LeCun在推特發(fā)布了一條動(dòng)態(tài):「投了3篇,拒了3篇……如果從推文統(tǒng)計(jì)的話,ICML今年應(yīng)該拒絕了每一篇論文。」
是的,ICML 2022的審稿結(jié)果,已經(jīng)在這幾天通過郵件發(fā)送給各位作者。
這屆ICML共收到5630篇提交,其中1117篇被接收為短論文,118篇被接收為長論文,接收率為21.9%,與上一年的接收率(21.5%)基本持平。根據(jù)以往的經(jīng)驗(yàn),很多論文被接收的作者會(huì)在社交媒體平臺(tái)公開介紹自己的研究。但在今年,被拒稿作者的發(fā)言似乎比往年更多,也更「激烈」:「自豪地宣布……我在今年ICML的接收率為NaN(Not a Number)?!?img src="https://s5.51cto.com/oss/202205/16/050006b19e5dcbaf0a5332422b00c524e4a6a8.gif" data-type="inline" style="visibility: visible; width: 1px; height: 1px;">
「所有的ICML投稿都被拒了!」
「從我的信息流推送里,只看到了ICML的拒稿,沒看到接收?!?/p>
「祝大家ICML拒稿日快樂……」看完各種吐槽,有人心中產(chǎn)生了一些疑問:到底有論文被ICML 2022接收嗎?
ICML 2022的新審稿機(jī)制
這些年,各大著名人工智能會(huì)議提交的論文數(shù)量出現(xiàn)了大幅度增長。鑒于這種大型會(huì)議的規(guī)模和緊迫的時(shí)間安排,ICML程序委員會(huì)也做出了相對(duì)調(diào)整:引入兩階段評(píng)審?(two-phase reviewing)。這一機(jī)制將評(píng)審過程分為兩個(gè)階段,初衷是更好地分配審稿人資源并提供高質(zhì)量的 review。大致而言,對(duì)于一篇投稿,最初只分配兩個(gè) review,而不是分配三個(gè) review。如果這兩個(gè) review 一致認(rèn)為一篇論文應(yīng)該被拒稿,那么它就不會(huì)得到進(jìn)一步的 review。審稿的第二階段是為剩下的論文分配兩個(gè)額外的 review。也就是說,這次ICML的審稿意見不再具體包含分?jǐn)?shù),但第一階段審稿結(jié)束后,會(huì)有一個(gè)最終結(jié)論決定這篇投稿還能否進(jìn)入第二階段評(píng)審。
在投稿人收到的郵件里,ICML組委會(huì)這樣說道:
審稿過程包括兩個(gè)階段,我們努力實(shí)現(xiàn)盡可能公平和徹底的決策過程。這些決定由高級(jí)元審稿人和程序主席在審稿人討論中審議,并在多個(gè)層面進(jìn)行各種檢查。在困難的情況下,也征求了更多的評(píng)價(jià)。
但這種審稿制度并沒有得到太多投稿人的認(rèn)可,因?yàn)榇蠹沂盏搅烁鞣N「神奇」的審稿意見:「寫的很好,也容易理解。理論分析扎實(shí)、合理,給出了一個(gè)有趣而清晰的方法……這篇論文解決了一個(gè)有趣的問題……但有些不足以被接收?!?/p>
「雖然我的一些論文被接收了,但我最喜歡的那篇投稿被拒了。為什么作者要為低水平審稿付出代價(jià)?太荒謬了……」
「不會(huì)再向ICML投稿了」
對(duì)于這次的ICML審稿結(jié)果,UC伯克利教授馬毅也連續(xù)發(fā)布了幾條動(dòng)態(tài)吐槽:
ICML的元審稿是很隨意的!在rebuttal中,我們完全按照審稿人的要求做了,但AC拒稿了而且表示『不確定這個(gè)在短時(shí)間內(nèi)進(jìn)行的新實(shí)驗(yàn)是否準(zhǔn)確地完成了』。如果根本不信任rebuttal,那為什么要有這個(gè)環(huán)節(jié)呢?
「沒有審稿人的分?jǐn)?shù),ICML 的審稿過程就變成了 AC 操縱的黑箱。至少深度網(wǎng)絡(luò)是具有可量化輸出的黑箱。ICML 審查過程已成為一個(gè)沒有可量化輸出的黑箱。我不會(huì)容忍這樣的程序?!?/p>
「鑒于我去年在 ICML 的經(jīng)歷——那篇被四位審稿人一致接收但最終被 AC 拒絕且沒有任何具體證據(jù)的論文,再加上今年的經(jīng)歷,我想我以后不會(huì)再向 ICML 提交任何論文了?!?/p>
馬毅教授提到的「去年經(jīng)歷」也曾引發(fā)熱議:論文《ReduNet:A White-box Deep Network from the Principle of Maxinizing Rate Reduction》得到了ICML2021四位審稿人的一致接收,但是AC認(rèn)為「這篇論文尚不能解釋目前深度神經(jīng)網(wǎng)絡(luò)的所有tricks」,因此決定拒稿。后來,這篇文章被JMLR接收。
當(dāng)時(shí),馬毅教授也向ICML組委會(huì)建議將論文評(píng)審轉(zhuǎn)移到openreview,這也是很多研究者的心聲:
有研究者表示,相比之下,自己更喜歡「透明且負(fù)責(zé)」的ICLR會(huì)議:
? ?