美國(guó)教授揭發(fā)AI頂會(huì)作弊:作者串通審稿人,垃圾論文也能過審
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
美國(guó)知名AI學(xué)術(shù)大牛,在ACM官網(wǎng)刊文,直指AI學(xué)術(shù)界最尖銳的問題:
論文盲審,存在嚴(yán)重作弊行為。
措辭之嚴(yán)厲,揭露之詳細(xì),學(xué)術(shù)圈罕見。
而讓這位AI大牛無法再繼續(xù)保持沉默的,正是震蕩發(fā)酵至今的佛羅里達(dá)大學(xué)中國(guó)博士生被逼學(xué)術(shù)作假后自殺事件。
AI大牛為何忍無可忍?
首先來認(rèn)識(shí)一下這位學(xué)術(shù)大牛。
關(guān)注AI學(xué)術(shù)會(huì)議的一定不陌生,Michael L. Littman,2013年AAAI聯(lián)合項(xiàng)目主席,布朗大學(xué)計(jì)算機(jī)科學(xué)系教授。
研究領(lǐng)域涵蓋機(jī)器學(xué)習(xí)、博弈論、計(jì)算機(jī)網(wǎng)絡(luò)、馬爾可夫決策過程等,在強(qiáng)化學(xué)習(xí)方面有很高的建樹。
2018 年,Littman因其為人工智能的順序決策算法的設(shè)計(jì)和分析做出的貢獻(xiàn),被選為ACM Fellow。
這位在AI圈有很大影響力的人物,在最新發(fā)表于Communications of ACM官方雜志上的文章中,揭露了AI學(xué)術(shù)界嚴(yán)重的審稿作弊行為。
Littman解釋道,他寫這篇文章的直接動(dòng)機(jī),是一直在關(guān)注的2019年佛羅里達(dá)大學(xué)中國(guó)籍博士被逼自殺一事。

事情緣由,是一篇名為《3D-based video recognition acceleration by leveraging temporal locality》的ISCA論文。
在讀的中國(guó)博士生是一作,他在自己的遺書和與他人的通信記錄中,指控他的華人導(dǎo)師逼迫他學(xué)術(shù)造假。
之后導(dǎo)師通過私人關(guān)系使論文過審,還威脅這位同學(xué)不準(zhǔn)撤稿,否則“弄死他”。
最后,這位同學(xué)選擇在博士即將畢業(yè)之際結(jié)束自己的生命。
量子位之前詳細(xì)報(bào)道過此事。今年2月,ACM官方也出了調(diào)查處理結(jié)果,嚴(yán)厲處罰了涉事人員。
Littman教授沒有在文章中指名道姓,但在結(jié)尾的Note中附上了這個(gè)轟動(dòng)中美學(xué)術(shù)界事件的鏈接和當(dāng)事人的博客。
Littman認(rèn)為,“評(píng)審作弊”問題日益嚴(yán)重,危害到計(jì)算機(jī)科學(xué)的成果產(chǎn)出和傳播。而他希望通過曝光類似行為的幕后操作,來呼吁社會(huì)對(duì)學(xué)術(shù)界“不法團(tuán)伙”施壓。
同時(shí)也希望能幫助“解救”被迫裹挾進(jìn)集體學(xué)術(shù)造假的研究生們。
Littman教授對(duì)自殺的中國(guó)博士生表達(dá)的惋惜與悲痛,他說“他寧可選擇自殺,也不愿意參與內(nèi)外勾結(jié)的學(xué)術(shù)不端”。
顯然,Littman教授是對(duì)這顆“毒瘤”如何出現(xiàn),怎么運(yùn)作有了比較直觀的調(diào)查了解。
“同行評(píng)審”,怎么作弊?
垃圾論文為什么能通過同行評(píng)審?
Littman以自己參加和組織學(xué)術(shù)會(huì)議的經(jīng)驗(yàn)總結(jié)出了論文同行評(píng)審的一般流程。
同行評(píng)審過程是由一個(gè)程序委員會(huì)進(jìn)行的,該委員會(huì)由一到兩名程序主席、幾百名項(xiàng)目主席和大約5000名評(píng)審員組成。
審稿人被要求事先聲明利益沖突,委員會(huì)因此不會(huì)被指派他們?nèi)忛喛赡苡绊懝缘恼撐摹?/p>
而作者在提交論文時(shí),要隱去他們的名字以便盲審。
有資格的審稿人根據(jù)論文標(biāo)題/摘要對(duì)提交的特定論文進(jìn)行 “競(jìng)標(biāo)”。
最后由項(xiàng)目主席分配論文。
接下來,就是評(píng)審員閱讀論文并提交評(píng)審意見。交流意見后,給出接受或拒絕的建議。
區(qū)域主席和項(xiàng)目主席則利用這些建議來制定會(huì)議具體議程方案。
正常情況下,錄取率很低(15%-25%)。而在絕大多數(shù)頂級(jí)會(huì)議一年一次。所以論文被拒(尤其是對(duì)研究生來說)會(huì)對(duì)未來的工作前景產(chǎn)生很大影響。
所以,一些人就動(dòng)起了歪心思,想方設(shè)法提高通過率。
作弊者的“朋友圈”怎么拉?
Littman提到了一個(gè)特殊的案例,由ACM的一名項(xiàng)目主席發(fā)現(xiàn)線索,并花了大量時(shí)間調(diào)查分析,但依然沒有指名道姓。
一般來說,都是一個(gè)團(tuán)隊(duì)事先串通好,對(duì)論文數(shù)據(jù)結(jié)論等等進(jìn)行偽造,然后向會(huì)議提交論文。
接著,由有“能力”的作者去拉攏認(rèn)識(shí)的評(píng)審員,透露論文標(biāo)題、作者信息。
涉事的評(píng)審員當(dāng)然不會(huì)報(bào)告利益相關(guān),而“競(jìng)標(biāo)”審閱目標(biāo)論文,有時(shí)甚至?xí)嘧?cè)好幾個(gè)賬號(hào),增加中標(biāo)的幾率。
評(píng)審員會(huì)給這些論文寫出非常積極的評(píng)價(jià),甚至可能通過私下渠道游說項(xiàng)目主席,將他一塊拉下水。
此外,如果這位“有能力的論文作者”意外發(fā)現(xiàn)其他評(píng)審的名字,有可能會(huì)給他們發(fā)郵件,連威脅帶引誘,能拉一個(gè)是一個(gè)。
評(píng)審員在給垃圾論文“放水”時(shí),在討論中會(huì)暫時(shí)改掉會(huì)議管理系統(tǒng)中的名字,以“保護(hù)”自己的名聲和羽毛。
鑒于許多會(huì)議有接收論文數(shù)量的限制,這種內(nèi)幕操作得手,就意味著有一篇本來很有價(jià)值的論文被拒絕。
會(huì)議的質(zhì)量不可避免受到影響。
今后怎么辦?
現(xiàn)在還不知道。
2019年的悲劇發(fā)生后,經(jīng)過20個(gè)月的調(diào)查,今年2月,ACM給出了史上最嚴(yán)厲的處罰:
15年內(nèi),禁止涉事情節(jié)最嚴(yán)重人員在ACM相關(guān)期刊發(fā)表一切學(xué)術(shù)成果。
不得擔(dān)任何評(píng)審、編輯或項(xiàng)目委員會(huì)的職務(wù)。
而被自殺博士生指控的導(dǎo)師,和佛羅里達(dá)大學(xué),卻沒有聲明。
前段時(shí)間,網(wǎng)絡(luò)上流出一封辭職信,表明涉事導(dǎo)師已經(jīng)從佛羅里達(dá)大學(xué)辭職,但真實(shí)性無法考證。
但目前也僅止步于此。
AI頂會(huì)的評(píng)審機(jī)制上如何改善,防范調(diào)查手段如何設(shè)置,包括ACM、IEEE在內(nèi)的機(jī)構(gòu),仍然沒有明確的制度或相關(guān)議程公布。
Littman教授在文章中說,希望通過自己的發(fā)聲,呼吁社會(huì)對(duì)學(xué)術(shù)界的不法行為施壓,也是眼下一種“沒有辦法的辦法”吧。
但ACM官方刊登此文,似乎也表明意識(shí)到了問題嚴(yán)重性,而目前學(xué)術(shù)界能做的,只有靜觀其變了。