ICLR 2025審稿正式開啟了，預(yù)計(jì)截止到11月3日。

而且，每位審稿人最多被分配到3篇論文，就是為了讓大家深思熟慮去撰寫高質(zhì)量反饋。

圖片

與2024年一樣，今年論文提交數(shù)量再創(chuàng)新高！

ICLR 2025共有11000多篇論文提交，同比增長61%。ICLR 2024同比增長47%。

圖片

如此多的論文，究竟該怎么審？如何獲得建設(shè)性、高質(zhì)量同行評審？

而且，論文提交數(shù)增加，對評審員需求也會(huì)增加，往往導(dǎo)致評審質(zhì)量不一致問題。

對此，ICLR官方竟引入了「評審反饋智能體」（review feedback agent），讓AI去識別審查中的問題，并向?qū)徃迦朔答伕倪M(jìn)。

更有意思的是，很少發(fā)聲的Bengio轉(zhuǎn)發(fā)了ICLR 2025官博，繼續(xù)征集不同于學(xué)術(shù)論文的投稿形式——博客文章。

而且，截止日期就到11月16日。

圖片

ICLR頂會(huì)每年舉辦一次，2025年將是第13屆年會(huì)，于4月24日-28日將在新加坡舉辦。

圖片

今年頂會(huì)，著實(shí)有些不同。

官方讓AI來參與審稿了

鑒于投稿數(shù)那么多，ICLR 2025也是想要借AI洪荒之力解難了。

圖片

不過，不是讓AI完全審稿。

目的是為了，讓AI幫助審稿人的評審結(jié)果，更具建設(shè)性、可操作性。

為此，ICLR使用了多個(gè)大模型設(shè)計(jì)出反饋系統(tǒng)，就是為了將化覺降到最低，提高反饋質(zhì)量。而且，該系統(tǒng)已經(jīng)在ICLR 2024評審意見上，進(jìn)行了測試。

「評審反饋智能體」將就審稿中可能存在的三類問題，提供建議。

圖片

ICLR 2025官方組委會(huì)通過匯編公眾評論，并評估了以往ICLR審稿確定了這三類問題：

- 鼓勵(lì)審稿人改寫含糊的評論，讓其對作者更具可操作性；

- 突出文章中可能已經(jīng)回答了審稿人一些問題的部分；

- 在評審中，發(fā)現(xiàn)并處理不專業(yè)、不恰當(dāng)?shù)难哉摗?/span>

圖片

如下，是由AI為以上三種類別標(biāo)記的評論的示例，并給出一個(gè)示例反饋。

首先，第一種提升準(zhǔn)確性。

以往幾屆，不論是哪個(gè)頂會(huì)，都會(huì)被作者們吐槽的一個(gè)問題是——審稿人太糊弄了。

一句話——這篇論文還應(yīng)提供更多實(shí)驗(yàn)數(shù)據(jù)，直接給了低分。

而這次，審稿人這種模棱兩可的評論，就要被AI「打回去」了。

AI會(huì)給審稿人提供一種建議：

如果能提出您認(rèn)為必須包括的具體基線，將會(huì)很有幫助。您是否認(rèn)為目前的比較缺少某些方法？能否詳細(xì)說明原因？

圖片

其次，內(nèi)容明確。

當(dāng)審稿人評論稱，「在圖4中，Transformer的效率實(shí)驗(yàn)沒有結(jié)果，這是一個(gè)關(guān)鍵的限制因素」。

而論文中，可能包含了這個(gè)結(jié)果，只是審稿人沒有注意到。

AI這時(shí)便會(huì)明確告訴他，圖5回答了這個(gè)問題。

圖片

最后，針對不恰當(dāng)評論。

比如，審稿人會(huì)說，「作者完全不知自己想要做什么」。

AI會(huì)建議道，「我們感謝您的評論，但懇請您將評論重點(diǎn)放在論文的具體內(nèi)容和方法上，而不是對作者發(fā)表個(gè)人意見」。

AI不會(huì)取代審稿人

官方表示了，智能體系統(tǒng)不會(huì)取代任何人類審稿人，而且也不會(huì)撰寫審稿評論，或直接對評論自動(dòng)編輯。

相反，它將作為一個(gè)助手，提供可選的反饋。審稿人可以選擇接納，或者忽略。

與以往的ICLR頂會(huì)一樣，每一份提交的論文皆由人類審稿人獨(dú)立進(jìn)行反饋，最終的「接收」決定，將由ACS、SAS和審稿人做出。

而且，AI將為隨機(jī)選擇的一部分初始評審提供反饋，以便進(jìn)行比較并評估其影響。

圖片

在評審意見對作者公開之前，審稿人將有機(jī)會(huì)更新他們的評審（如果愿意的話）。

AI一般在提交評審后的幾小時(shí)內(nèi)，向?qū)徃迦颂峁┙ㄗh。對后續(xù)的審稿人回應(yīng)將不再提供反饋，審稿人與反饋系統(tǒng)之間也不會(huì)有進(jìn)一步的互動(dòng)。

此外，反饋只對評審員和ICLR項(xiàng)目主席可見；不會(huì)與其他評審員、作者或區(qū)域主席（AC）分享，也不會(huì)影響錄用決定。

審稿人太多了

據(jù)官方統(tǒng)計(jì)，今年有15249位審稿人，824位AC，以及71位高級AC。

圖片

由于邀請了太多的審稿人，導(dǎo)致許多人盡管收到了電子郵件通知，卻沒有收到任何評審的論文。

圖片

還有人指出，自己看到審稿人的自定義最大論文數(shù)（custom-max-papers）設(shè)置為0，本應(yīng)無法分配到論文，但他們卻被分配了一篇論文。這是怎么回事？

圖片

目前，這些問題還待ICLR去解決。

博客文章，也能提交

延續(xù)之前的傳統(tǒng)，今年ICLR頂會(huì)繼續(xù)批準(zhǔn)提交博客類型的文章。

提交的文章，需要符合以下要點(diǎn)：

- 回顧過去的工作并總結(jié)結(jié)果，提出新的直覺，或指出一些不足之處

- 對現(xiàn)有的機(jī)器學(xué)習(xí)概念或技術(shù)提出新穎的觀點(diǎn)或解釋

- 從新的角度討論機(jī)器學(xué)習(xí)中的重要問題，如可復(fù)現(xiàn)性

- 分析機(jī)器學(xué)習(xí)和人工智能最新進(jìn)展的社會(huì)影響

- 你嘗試過但未成功的有趣研究想法

圖片

去年被接收的博客文章，感興趣的童鞋可作參考。

圖片

參考資料：

https://x.com/Yoshua_Bengio/status/1846197032966385867

https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/