近年來(lái)，人工智能領(lǐng)域?qū)τ诖笮陀?jì)算機(jī)會(huì)議審稿機(jī)制的詬病與日俱增，這一切背后的矛盾源于論文作者、會(huì)議主辦方和審稿人三方并不一致的利益：

• 論文作者希望他們的論文被會(huì)議接收；
• 會(huì)議主辦方希望接收更多的優(yōu)質(zhì)論文以提高會(huì)議的聲譽(yù)（會(huì)議質(zhì)量）；
• 審稿人則希望避免過(guò)多的審稿工作量（審稿壓力）。

因此，如何在論文數(shù)量大幅增加的大環(huán)境下權(quán)衡會(huì)議質(zhì)量和審稿壓力是達(dá)到三方利益均衡的核心問(wèn)題。去年，來(lái)自人工智能領(lǐng)域的學(xué)者針對(duì)如何改進(jìn)會(huì)議審稿和決策機(jī)制這一問(wèn)題提出了眾多看法和建議，這些想法被匯總為一篇 23 頁(yè)的谷歌文檔。其中一條想法十分有趣并得到了多人認(rèn)同：

文檔鏈接：https://docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

這一想法源于這樣一個(gè)反直覺(jué)的現(xiàn)象， 本文稱之為重投悖論（resubmission paradox）：

每年有大量論文會(huì)被拒收（人工智能頂會(huì)例如 NeurIPS 接收率常年低于 30%），其中大部分論文會(huì)在僅有微調(diào)甚至完全沒(méi)有改動(dòng)的情況下參與重投，最終總會(huì)被同一會(huì)議或同級(jí)別的會(huì)議接收。既然大部分論文終究會(huì)被接收，那為什么不降低論文的接收門檻使得更多論文在經(jīng)過(guò)更少次數(shù)的重投后就可以被接收？這樣就可以避免同一篇論文被審稿人反復(fù)閱讀進(jìn)而降低審稿壓力。

盡管這一想法看上去十分合理，本文作者提出用博弈論模型描述作者和會(huì)議之間的互動(dòng)，并對(duì)這一想法給出了否定的回答，研究論文已被 Economics and Computation (2022) 接收。在這一模型下，本文了討論不同的審稿和決策機(jī)制在權(quán)衡會(huì)議質(zhì)量和審稿壓力中的表現(xiàn)，比如以下問(wèn)題：

• 如何確定最優(yōu)的接收門檻？
• 是否應(yīng)該增加一篇論文的審稿人數(shù)量？
• 提高審稿質(zhì)量有什么好處？
• 是否應(yīng)該作者同時(shí)提供論文的以往審稿意見(jiàn)？
• ……

論文鏈接：https://arxiv.org/pdf/2303.09020v1.pdf

1. 模型概述

本文將作者向?qū)W術(shù)會(huì)議提交論文并審稿的過(guò)程建模為重復(fù)博弈，具體流程如下：

首先，每個(gè)作者有一篇論文準(zhǔn)備提交。在每一輪投稿中，作者進(jìn)行二選一決策：將論文提交到頂會(huì)還是 sure bet（比如聲望較低的二類會(huì)議）。提交到頂會(huì)和 sure bet 的結(jié)果取決于審稿機(jī)制和論文質(zhì)量：

• 頂會(huì)有一定概率接收論文，一旦接收，作者會(huì)獲得較大的收益；
• sure bet 保證論文一定接收，但帶來(lái)的收益較小。

其中，頂會(huì)的決策完全取決于審稿人的評(píng)審意見(jiàn)， 比如設(shè)置一個(gè)接收閾值，當(dāng)且僅當(dāng)平均審稿分?jǐn)?shù)高于閾值時(shí)接收該論文，而作者的收益隨著重投次數(shù)指數(shù)折減。

頂會(huì)承諾一個(gè)審稿 / 決策機(jī)制，作者針對(duì)該機(jī)制做出最佳策略；而頂會(huì)則需要在考慮作者最佳回應(yīng)策略的前提下，設(shè)計(jì)出能權(quán)衡會(huì)議質(zhì)量和審稿壓力的最優(yōu)機(jī)制。

2. 主要結(jié)論

利用上述建模方法，本文得出一些重要結(jié)論，包括：

1）作者的最優(yōu)策略?

在一個(gè)簡(jiǎn)化的模型中（更復(fù)雜的模型詳見(jiàn)原文），本文做出如下假設(shè)：作者知道其論文的真實(shí)質(zhì)量，會(huì)議的決策是無(wú)記憶的（每輪審稿的決策僅取決于該輪審稿人的意見(jiàn)），并且作者有無(wú)窮次重投機(jī)會(huì)。在這種情況下，作者存在一個(gè)閾值最優(yōu)策略：

• 如果論文質(zhì)量高于閾值，作者將選擇投稿頂會(huì)，并且無(wú)論經(jīng)歷多少次拒稿，作者都會(huì)選擇重投，直到中稿；
• 如果論文質(zhì)量低于閾值，作者將立即選擇 sure bet。

通常情況下作者的提交閾值 Θ 低于會(huì)議的接收閾值 τ，如下圖所示。

以上結(jié)論可以用來(lái)解釋重投悖論：為什么接收更多論文不能從本質(zhì)上降低審稿壓力？這是因?yàn)榻档蜁?huì)議的接收閾值 τ 會(huì)同時(shí)降低作者的提交閾值 Θ，進(jìn)而吸引更多低質(zhì)量論文的提交。如下圖所示，如果接收閾值降低，一部分從前選擇投稿二類會(huì)議的論文（紫色區(qū)域）如今選擇投稿頂會(huì)。

2）會(huì)議質(zhì)量和審稿壓力?

頂會(huì)的審稿 / 決策機(jī)制需要權(quán)衡會(huì)議質(zhì)量和審稿壓力，二者不可兼得。

• 會(huì)議質(zhì)量 = 所有被接收論文的質(zhì)量之和
• 審稿壓力 = 一篇論文從投稿到最終被接收被審稿次數(shù)的期望值

改變接收閾值會(huì)同時(shí)改變會(huì)議質(zhì)量和審稿壓力（如下圖）。

圖為會(huì)議質(zhì)量（縱坐標(biāo)）和審稿壓力（橫坐標(biāo)）關(guān)于接收閾值的變化曲線，σ 為審稿人噪音的標(biāo)準(zhǔn)差。

以下三種情況可以得到會(huì)議質(zhì)量和審稿壓力之間更優(yōu)的權(quán)衡（達(dá)到相同的會(huì)議質(zhì)量只需更小的審稿壓力）：

• 更好的審稿質(zhì)量 ——— 審稿人噪音更低；
• 更低的頂會(huì)聲譽(yù) ——— 相比 sure bet，頂會(huì)帶來(lái)的收益更低；
• 更短見(jiàn)的作者 ——— 作者收益在多輪重投下有更大的折減。

3. 結(jié)語(yǔ)

本文旨在呼吁學(xué)術(shù)會(huì)議改進(jìn)審稿和決策機(jī)制時(shí)應(yīng)考慮不同機(jī)制對(duì)論文作者帶來(lái)的激勵(lì)，更多有趣的結(jié)論詳見(jiàn)論文原文，比如論文接收率主要受什么因素影響？作者在不能準(zhǔn)確知道自己論文質(zhì)量的情況下的最優(yōu)策略是什么？要求作者提供論文的以往審稿意見(jiàn)對(duì)會(huì)議有什么樣的影響？

當(dāng)然，本文的理論模型在不同層面上存在很多局限性：比如本文沒(méi)有考慮審稿壓力對(duì)審稿質(zhì)量的負(fù)反饋效應(yīng)，以及會(huì)議質(zhì)量對(duì)作者收益的正反饋效應(yīng)，并且認(rèn)為論文質(zhì)量不會(huì)在拒稿過(guò)程中得到提高等等。對(duì)于會(huì)議同行評(píng)審系統(tǒng)的討論和改進(jìn)不會(huì)止步于此，從博弈的角度理解會(huì)議審稿機(jī)制尤為重要，歡迎感興趣的讀者查看論文原文或致信文章作者，以討論更多研究細(xì)節(jié)。