終于,NLP頂會(huì)ACL投稿不用匿名了
對(duì)于自然語(yǔ)言處理領(lǐng)域的研究人員,最近有一條好消息。
近日,計(jì)算語(yǔ)言學(xué)協(xié)會(huì)年會(huì)(ACL)正式宣布,該系列會(huì)議論文投稿已取消匿名期,同時(shí)允許作者在投稿期間宣傳自身工作。新規(guī)定直接適用于下一個(gè)審稿周期。
今年的 ACL 是第 62 屆,將于 2024 年 8 月 11 日至 16 日在泰國(guó)曼谷舉行。自 2022 年起,ACL 啟用了滾動(dòng)審稿機(jī)制(ACL Rolling Review,ARR),每月設(shè) deadline。需要注意的是,在上一個(gè)截止日期之前提交給評(píng)審流程的論文仍受舊匿名政策的約束。
大會(huì)聲明鏈接:https://www.aclweb.org/portal/
據(jù)了解,ACL 會(huì)方是在最新一期工作組報(bào)告的建議下實(shí)行了新規(guī)的,新的政策也會(huì)對(duì)獎(jiǎng)項(xiàng)產(chǎn)生影響。這一調(diào)整立即獲得了研究社區(qū)的歡迎:
在報(bào)告《Report of the ACL Committee on the Anonymity Policy》中,工作組指出自 2017 年起 ACL 實(shí)行的雙盲評(píng)審規(guī)則成功地減少了匿名審稿期間可作為預(yù)印本的論文數(shù)量。ACL 2023 上有預(yù)印本的提交比例為 13.8%,而 ICML 和 ICLR(均對(duì)預(yù)印本沒有任何限制)等機(jī)器學(xué)習(xí)會(huì)議的相應(yīng)比例通常在 30% 以上。
雖然匿名在 arXiv 上提交預(yù)印版并不會(huì)破壞雙盲評(píng)審,但根據(jù) ACL 2023 審稿過程中收集的信息,91% 的投稿保持完全匿名,即審稿人無(wú)法猜測(cè)作者身份,可猜測(cè)作者身份的投稿(有預(yù)印本)比例為 4% 左右,相當(dāng)于所有帶預(yù)印本提交的論文的 30% 左右。
工作組認(rèn)為,原有雙盲評(píng)審政策顯然已經(jīng)產(chǎn)生了一些負(fù)面影響。作者可能會(huì)急于在匿名截止日期之前發(fā)布預(yù)印本,這會(huì)破壞預(yù)印本的質(zhì)量。此外,由于作者必須等到論文接收后才能更新預(yù)印本,因此他們無(wú)法在匿名期間糾正錯(cuò)誤或添加新結(jié)果,包括改變工作結(jié)論的結(jié)果。
禁止作者更正公共記錄與科學(xué)研究的價(jià)值觀格格不入。另一方面,選擇不提交 arXiv 預(yù)印版的作者可能需要等待很長(zhǎng)時(shí)間才能發(fā)表論文。在某些情況下,這會(huì)導(dǎo)致他們的工作被在此期間發(fā)表或預(yù)印的其他論文(通常是非 ACL 論文)搶先。
由于 AI 領(lǐng)域,特別是 NLP 領(lǐng)域研究節(jié)奏的加快,維持當(dāng)前評(píng)審方式正在變得越來(lái)越困難。許多 ACL 作者指出,相對(duì)于許多不認(rèn)同 ACL 方式的機(jī)器學(xué)習(xí)會(huì)議(如 ICML、ICLR、NeurIPS 和 AAAI),以及相對(duì)于自行發(fā)表的有影響力的行業(yè)實(shí)驗(yàn)室,當(dāng)前的雙盲評(píng)審使他們經(jīng)常處于不利地位。這使得 NLP 社區(qū)變得支離破碎,ACL 會(huì)議面臨著失去優(yōu)秀作者、審稿人以及聲譽(yù)下降的巨大風(fēng)險(xiǎn)。
新的政策旨在促進(jìn)科學(xué)交流,作者仍然被鼓勵(lì)在論文接收之前不要過度宣傳工作(因?yàn)檫@可能會(huì)導(dǎo)致審稿人偏見而影響論文評(píng)分)。此外,不提交預(yù)印版或在社交媒體上提前宣傳也可以提升論文獲獎(jiǎng)的機(jī)會(huì)。
此前,CVPR 的「社交媒體禁令」也出現(xiàn)了松動(dòng)的跡象。
2023 年 11 月 25 日,作為 CVPR 2024 Publicity Co-chair 的 Kosta Derpanis 教授曾在個(gè)人推特上透露,CVPR 2024 關(guān)于投稿社交媒體宣傳的立場(chǎng)有一些變化。
根據(jù) CVPR 2023 會(huì)議的投票結(jié)果,只要不提及 CVPR,作者可以在社交媒體上談?wù)撍麄円烟峤唤o CVPR 的研究成果。因此,無(wú)論你是否向 CVPR 投稿,都可以在社交網(wǎng)絡(luò)上談?wù)撗芯?。你可以宣傳自己發(fā)布的 arXiv 論文、在線進(jìn)行演示等。但是,作者不得談?wù)撗芯磕壳罢?CVPR 審稿階段。這既適用于社交媒體發(fā)布,也適用于與媒體的公開討論。
鑒于 CVPR 2024 官方推特賬號(hào)隨后轉(zhuǎn)發(fā)了這條動(dòng)態(tài),新規(guī)則變動(dòng)的可信度大大提升。
CVPR 的社交媒體禁令起始于 2021 年。禁令頒布的背景,是馬普智能系統(tǒng)研究所所長(zhǎng) Michael Black 提出的一項(xiàng)動(dòng)議:審稿期間禁止在社交媒體上宣傳論文,在 arXiv 上自動(dòng)發(fā)布的預(yù)印本論文除外。
當(dāng)時(shí),這一動(dòng)議引發(fā)了眾多研究者的不滿。圖靈獎(jiǎng)獲得者 Yann LeCun 也公開表示:「這種行為會(huì)限制科學(xué)信息的交流,損害技術(shù)進(jìn)步且違反道德規(guī)范。簡(jiǎn)而言之就是瘋了?!?/span>
不過這項(xiàng)動(dòng)議最終還是高票通過。大會(huì)官方宣布,面向所有 CVPR 2022 的投稿作者,從 2021 年 10 月 19 日到 2022 年 3 月 2 日為社交媒體靜默期。在此期間,任何由作者主動(dòng)發(fā)起的對(duì)論文的社交媒體宣傳都被視為違反政策。
值得注意的是,將論文放在 arXiv 上供專家進(jìn)行早期分析,與在社交媒體上向廣大受眾進(jìn)行宣傳有本質(zhì)不同,投 CVPR 的論文放在 arXiv 上還是被允許的。原因是 arXiv 論文并不是「已發(fā)表」,而應(yīng)該被理解為「預(yù)發(fā)表」的狀態(tài)。
這項(xiàng)操作的目的是解決同行評(píng)審中的偏見問題,但打擊社區(qū)內(nèi)交流會(huì)帶來(lái)很多消極后果,而且同行評(píng)審中的偏見問題未必能真正改善。
或許是引發(fā)了太多反對(duì)的聲音,如今機(jī)器學(xué)習(xí)領(lǐng)域,對(duì)于禁止社交媒體宣傳的規(guī)定已有所緩和。