嚴(yán)禁AI評審!CVPR 2025重申大模型審稿0容忍,一首拒稿小詩爆笑全場
CVPR的投稿量每年都在刷新紀(jì)錄,總以為今年是巔峰,但明年只會更多。
CVPR 2024收到11532次提交,增幅達(dá)到了26%;今年的投稿增速雖然有所放緩,達(dá)到13%,但也超過了13000次提交。
投稿量過大,最直接導(dǎo)致的一個(gè)問題就是「高質(zhì)量審稿人不足」,很多人為了簡化審稿流程,可能會選擇用大模型進(jìn)行審稿。
比如CVPR 2024大約有9000名審稿人,但投稿作者的數(shù)量卻超過了30000,為了平衡投稿與審稿,這屆CVPR提出了七條審稿新規(guī),來限制不負(fù)責(zé)任的審稿結(jié)果。
目前,CVPR 2025的審稿即將開啟,今天也是區(qū)域主席提交推薦審稿人的最后期限,與此同時(shí),官方推特再次發(fā)文強(qiáng)調(diào)了,絕對禁止使用大模型在「任何流程」中參與審稿!
搞笑的,CVPR直接附上了用LLM作了一篇拒稿的小詩的離譜案例。(手動(dòng)狗頭)
不過話雖如此,但網(wǎng)友在評論區(qū)中表示,雖然想法是好的,但并沒有任何具體、可靠的方式來貫徹執(zhí)行;即使審稿人用了大模型,也沒辦法證明這件事。
CVPR 2025審稿新規(guī)七板斧
為了應(yīng)對投稿量的上漲,以及審稿質(zhì)量的下降,CVPR 2025對會議規(guī)定做了七條修正,算是解決「大模型審稿」等問題的一個(gè)可行方案:
1、除非作者在CVPR 2025中擔(dān)任其他職務(wù),否則所有作者都都有義務(wù)擔(dān)任審稿人,負(fù)責(zé)的審稿數(shù)量將根據(jù)作者資歷水平?jīng)Q定。
2、如果審稿人被區(qū)域主席標(biāo)記為「高度不負(fù)責(zé)任」,那其提交的論文也可能會被直接拒絕,要根據(jù)具體情況而定。
3、每位作者最多提交25篇論文,其中25篇的限制來源于CVPR 2024中單個(gè)投稿人最多的中稿數(shù)量。不過網(wǎng)友普遍表示,25篇還是太多了。
4、在任何階段,都不允許使用大模型撰寫審稿意見。
5、在最終論文決策公布后,審稿人的姓名在OpenReview上也會對其他審稿人可見。
6、每位投稿人都需要填寫完整的OpenReview個(gè)人資料,以便更好地進(jìn)行分配審稿人和利益沖突檢測,否則論文也會被直接拒絕。
7、CVPR 2025的審稿數(shù)據(jù)會共享給其他會議,對不負(fù)責(zé)的審稿人可以起到長久的限制作用。
其中第二條最具威懾性,不負(fù)責(zé)任的審稿意見包括,只有一兩句內(nèi)容、使用大模型生成、與被審論文不相關(guān),或者是遺漏了重要內(nèi)容。
對于大模型,CVPR特意在審稿指南中列出要求:不能要求大模型撰寫審稿內(nèi)容,只能根據(jù)自己對論文的判斷;不能向大模型共享論文或評審中的實(shí)質(zhì)性內(nèi)容,比如用大模型來翻譯評審意見;可以使用大模型進(jìn)行背景調(diào)研或語法檢查,以確保審稿意見清晰。
不過具體執(zhí)行時(shí),這七條新規(guī)能否起到作用,還要等CVPR 2025論文錄用結(jié)果發(fā)布后,再看各家網(wǎng)友對審稿結(jié)果的反應(yīng)如何。
大模型審稿,堵不如疏
早在2023年1月,ICML就發(fā)布了關(guān)于禁止使用大模型來撰寫論文的規(guī)定。
嚴(yán)禁任何形式的抄襲,以及審稿人、領(lǐng)域主席(AC)和高級領(lǐng)域主席(SAC)對特權(quán)信息的不道德使用,例如共享此信息,或?qū)⑵溆糜谠u審過程以外的任何其他目的。
禁止包含從大模型(LLM)(如ChatGPT)生成的文本的論文,除非這些生成的文本作為論文實(shí)驗(yàn)分析的一部分呈現(xiàn)。
所有可疑的不道德行為都將由道德委員會進(jìn)行調(diào)查,被發(fā)現(xiàn)違反規(guī)則的個(gè)人可能會面臨制裁。
當(dāng)時(shí)網(wǎng)友的普遍反應(yīng)都是不理解,認(rèn)為使用大模型進(jìn)行潤色是很正常的,MIT教授Erik Brynjolfsson甚至評價(jià)為「一場必?cái)〉恼獭?;LeCun當(dāng)時(shí)還玩了一個(gè)文字游戲,「中小型模型」可以用嗎?
如今看來,ICML確實(shí)敗了,CVPR 2025新規(guī)中,允許使用大模型潤色,但仍然不允許編寫實(shí)質(zhì)性審稿內(nèi)容。
凡是合乎理性的東西都是現(xiàn)實(shí)的,凡是現(xiàn)實(shí)的東西都是合乎理性的。
既然用大模型審稿有他存在的現(xiàn)實(shí)意義,那么也一定有其合理性,科研大勢就是使用大模型參與到審稿、論文編寫過程中,已經(jīng)有大量的相關(guān)研究來利用大模型輔助人類審稿,還提出相關(guān)評估基準(zhǔn)等。
論文地址:https://arxiv.org/abs/2310.01783
比如斯坦福學(xué)者發(fā)現(xiàn),GPT-4對于Nature、ICLR的論文給出的審稿意見,和人類審稿人已然有超過50%的相似性,未來讓大模型輔助論文評審,也并不是完全不靠譜。
再換個(gè)思路,難道人類審稿就一定靠譜了嗎?
既然無法一禁了之,更好的方法或許是引導(dǎo)審稿人合理利用大模型,比如官方提供大模型接口界面,標(biāo)注出論文中的關(guān)鍵點(diǎn),方便審稿人快速、直觀地理解論文內(nèi)容;有了更方便的工具之后,尋求外部大模型工具進(jìn)行優(yōu)化的動(dòng)力就會小很多。
另一方面,科研人員也可以對所有大模型參與審稿的過程進(jìn)行標(biāo)準(zhǔn)化,評估不同模型在審稿過程中的可靠性。
靠強(qiáng)硬規(guī)定來禁止大模型并不具備可操作性,只能起到威懾作用,即便引入所謂的「大模型數(shù)字簽名」,甚至是用分類模型來判斷審稿意見是否由AI生成,只要提交者自己重新編輯一下審稿意見,是否使用大模型也就無從判斷了。
關(guān)于大模型審稿,你怎么看?或者說,你希望自己的論文被大模型評審嗎?