ICML征稿禁止使用大型語言模型,LeCun轉(zhuǎn)發(fā):中小型模型可以用嗎?
昨天,國際機器學(xué)習(xí)會議(ICML)發(fā)布了2023論文征稿公告。
論文提交日期為1月9日至1月26日。
然而,本次會議中關(guān)于「道德準(zhǔn)則」的要求卻引來了眾多不滿。
LLM不可控,還是ban掉吧
根據(jù)大會的政策,所有作者和程序委員會成員,包括審稿人,應(yīng)遵循標(biāo)準(zhǔn)的道德準(zhǔn)則。
嚴(yán)禁任何形式的抄襲,以及審稿人、領(lǐng)域主席(AC)和高級領(lǐng)域主席(SAC)對特權(quán)信息的不道德使用,例如共享此信息,或?qū)⑵溆糜谠u審過程以外的任何其他目的。
禁止包含從大規(guī)模語言模型(LLM)(如ChatGPT)生成的文本的論文,除非這些生成的文本作為論文實驗分析的一部分呈現(xiàn)。
所有可疑的不道德行為都將由道德委員會進(jìn)行調(diào)查,被發(fā)現(xiàn)違反規(guī)則的個人可能會面臨制裁。今年,我們將收集被發(fā)現(xiàn)違反這些標(biāo)準(zhǔn)的個人姓名;如果代表會議、期刊或其他組織的個人出于決策目的要求提供此列表,我們可能會向他們提供此信息。?
其中,「禁止使用大型語言模型寫論文」一條要求被網(wǎng)友熱議。
此消息已發(fā)布,網(wǎng)友紛紛在ICML推特下評論:「為啥不能用大型語言模型?」
AI論文不能用AI,合理嗎
Yann LeCun轉(zhuǎn)發(fā)并評價:「大型語言模型不能用,意思是中型和小型語言模型還可以用。」
他解釋說:「因為拼寫檢查應(yīng)用和文本預(yù)測也是語言模型?!?/span>
最后,LeCun陰陽道:「明年的ICML道德準(zhǔn)則應(yīng)該變成:研究人員必須徒手完成各種計算,不能借助計算機;各類圖形必須用筆和紙手繪;從今天起,ICML的官方語言變?yōu)槿鸬湔Z(瑞典:?)?!?/span>
最后,還不忘轉(zhuǎn)發(fā)一部電影《瘋了》,總結(jié)自己對ICML政策的評價。
在LeCun的帖子下,網(wǎng)友們各顯神通,紛紛整活。
一位網(wǎng)友給ICML提供了新的思路:「另一種表述此策略的方式是‘提交中的所有文本都應(yīng)由參數(shù)小于100B或超過1萬億的神經(jīng)網(wǎng)絡(luò)生成’?!?/span>
還有人假裝是ICML的評審,給ChatGPT打廣告:「作為ICML和其他會議的評審 ,我很欣賞作者們使用ChatGP等工具潤色文章。這會讓他們的論文更加清晰易讀。(該帖已經(jīng)過ChatGPT的修改)」
對于該規(guī)則,MIT教授Erik Brynjolfsson簡單概括:「這是場必敗之仗?!?/span>
除了整活玩梗,也有人認(rèn)真表達(dá)了自己對ICML規(guī)定的想法。
AAAI前主席Thomas Dietterich說:「這個規(guī)定很怪,對于一個人工智能會議來說更是如此。我們應(yīng)該歡迎所有為科學(xué)技術(shù)做出貢獻(xiàn)的文章,不論作者是否接受了AI的輔助?!?/span>
也有人給ICML改進(jìn)建議:
使用大型語言模型來進(jìn)行審校對于改善拼寫和語法很有裨益。Grammarly,Notion,Google Docs甚至Word都會用到大型語言模型。
看起來,解決方法是解釋清楚使用大型語言模型的原因和用途,而非一味禁止。
原來不止我用Grammarly檢查拼寫和語法(doge)。
當(dāng)然,也有網(wǎng)友對此表示了理解,認(rèn)為此舉是為了保護(hù)評審的權(quán)威。
網(wǎng)友Anurag Ghosh評論道:「我認(rèn)為ICML的要求是為了防止那些看似正確的論文發(fā)表。例如機器學(xué)習(xí)領(lǐng)域發(fā)表的5篇編造/AI生成的論文。這會暴露同行評審的缺陷。」
也有人認(rèn)為,「大型語言模型只是工具,如果它們就可以生成質(zhì)量更高的論文,那又如何?這些研究的主要貢獻(xiàn)不來自于大型語言模型,而來自那些研究人員。難道我們要禁止研究人員接受任何形式的幫助,比如谷歌搜索,或是不能和沒有利害關(guān)系的人談?wù)摯耸聠???/span>
由于最近幾年大語言模型的熱度始終不減,這次ICML提出的禁令引發(fā)的學(xué)者和網(wǎng)友熱烈討論,想必還會持續(xù)一段時間。
不過目前看下來,有一個問題似乎還沒人討論,如何判斷一篇文章的片段是不是大語言模型生成的?如何驗證,靠查重嗎?畢竟真要是機器模型生成的文章,誰也不會特意標(biāo)注一個「本文是大語言模型自動生成的」,對吧?
更何況,研究論文這種邏輯清晰、結(jié)構(gòu)明確、語言風(fēng)格高度模式化的文章,簡直就是大語言模型發(fā)揮的最佳場所,即使是生成的原文略顯生硬,但如果是當(dāng)個輔助工具來用,怕是很難辨別,也就難有明確的標(biāo)準(zhǔn)來實施這個禁令。
這樣看來,這次ICML的審稿人肩上的擔(dān)子,怕是又要重了不少了。