有在離譜。

高分論文因為沒有引用先前的研究而被ICLR拒稿了？！

圖片

于是作者提起上訴，審稿主席們推翻之前的決定，最終論文被接收并選為Spotlight。

本以為這場鬧劇就這么結(jié)束了。

沒想到，誒，還牽出更離譜的事兒。

該論文的作者舉報，所謂「先前的研究」本身有實驗結(jié)果矛盾，甚至還涉嫌抄襲他們的成果，拿他們的論文當(dāng)大模型語料用Claude生成論文等不當(dāng)行為。但卻被COLM 2024接收。

圖片

基于以上原因，他們拒絕引用該論文。

其實啊，這事兒他們之前爭論過，如今又被熱心網(wǎng)友扒了出來，雙方作者又透露了更多細(xì)節(jié)。

來來來，速來吃個瓜。

因為沒有引用研究而被拒稿

首先來看看這篇ICLR 2025 Spotlight論文說了啥。

圖片

他們確定了在Scaling Law范式中強(qiáng)模型崩潰現(xiàn)象的存在，即由于訓(xùn)練語料庫中的合成數(shù)據(jù)而導(dǎo)致的嚴(yán)重性能下降，并且研究了模型大小的影響。

即便只有1%的合成數(shù)據(jù)，也會導(dǎo)致模型崩潰，換句話就是，訓(xùn)練集越來越大，也不能提高性能。

由于這篇論文「質(zhì)量上乘，文筆流暢，并具有實用價值，以及理論結(jié)果的合理性」，審稿組一致給出積極的評價。

圖片

圖片

然而就在討論期間，有人發(fā)布了條公開評論，他們故意沒有引用一篇與他們這個成果密切相關(guān)的文章：

Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data

該論文最初發(fā)表于2024年10月的COLM 2024。

圖片

評論的這個人Rylan Schaeffer正好是這個篇論文的共同一作。

圖片

圖片

在這篇長文中，他主要強(qiáng)調(diào)了三點(diǎn)：

1、與他們及先前的研究結(jié)論完全矛盾，此前他們表明，即使真實數(shù)據(jù)的比例消失，模型崩潰也可以被避免。

2、里面的實驗設(shè)置和結(jié)果引用的是他們的論文，但都沒有引用。

3、作者是故意沒有引用的。

而按照ICLR的要求，根據(jù)既定的良好科學(xué)行為規(guī)范，應(yīng)引用并適當(dāng)討論密切相關(guān)的先前研究（發(fā)表于2024年7月1日之前）。

但要是不知道相關(guān)成果的話可以另說，但關(guān)鍵是作者知道這一研究，但是故意不引用。

對此，作者進(jìn)行了一一回應(yīng)。當(dāng)中表示，他們中間有過交流，但是對方的技術(shù)貢獻(xiàn)比較薄弱，結(jié)論還存在誤導(dǎo)/不準(zhǔn)確。

還有個關(guān)鍵點(diǎn)是，這篇 COLM 2024 論文發(fā)表于去年10月，而 ICLR 審稿要求相關(guān)論文要是在 2024 年 7 月 1 日之后其實可以無需引用。

圖片

圖片

對于這種「不當(dāng)行為」，評審AC就覺得，任何作者都不應(yīng)拒絕引用在同行評審會議上發(fā)表的密切相關(guān)的先前研究，即使他們可能不同意先前研究的論點(diǎn)、質(zhì)量或方法論。而且，還應(yīng)該就先前研究進(jìn)行批評。

基于這樣的邏輯，AC建議拒稿。

圖片

不過在專家組討論之后，還是一致投票決定作者無需引用該 COLM 論文。

由于被拒的主要原因是缺少引用，且該論文在其他方面獲得了積極評價，因此該論文被接受。

并且被選為Spotlight。

圖片

模型崩潰到底誰成果？

本來這是去年的瓜，這周末突然被一熱心網(wǎng)友翻了出來。

圖片

然后又炸出ICLR的原作者，拋出了更多細(xì)節(jié)：我們拒絕引用該論文，因為該論文作者存在嚴(yán)重的不當(dāng)行為。

比如抄襲他們之前的工作，并且將他們的論文塞進(jìn)大模型，讓AI生成另一篇論文，違反IRB等。

因為在公開論壇OpenReview上講不太合適，但他們上訴時已經(jīng)提供了詳細(xì)的證據(jù)。

并且，這也不是第一次說明他們的不當(dāng)行為了。

早在去年7月，他們就有過一次爭論。

圖片

起因是合成數(shù)據(jù)導(dǎo)致模型崩潰這一發(fā)現(xiàn)登上了Nature，結(jié)果引發(fā)了不小的熱議。

被指抄襲的那個人Rylan Schaeffer就說了一嘴，你們要是想了解模型崩潰，可以看看我們COLM 2024的論文。

圖片

然后這個高分論文的紐約大學(xué)教授Julia Kempe就站出來說明了他們的各種行為。

包括不限于，他們給「我們」看到的初始版本，沒有對一些此前關(guān)鍵研究進(jìn)行充分討論。

圖片

他們的結(jié)論存在誤導(dǎo)，其理論基于「我們」工作的一個微不足道的推論。

符號公式啥的也十分相似。。。

圖片

甚至于說，「我們」的實驗還被喂給大模型投喂以生成他們的論文。

圖片

而他們只是提前預(yù)料到了「我們」后續(xù)的論文。該論文表明，人類反饋可以挽救模型崩塌的問題。

圖片

而在Rylan Schaeffer這邊，他們的核心觀點(diǎn)在于，他們抱怨的不是「沒有被引用」這件事情，而是說選擇性地省略了之前的研究，從而制造了一種誤導(dǎo)性的說法，即任何數(shù)量的合成數(shù)據(jù)都可能有害。

圖片

并且在今年3月，他還為此發(fā)表了篇立場文章：模型崩潰并不意味著你的想法。

圖片

谷歌的科學(xué)家也表達(dá)了類似的想法：

如果論文的結(jié)論涉及合成數(shù)據(jù)的問題，也許首先要看他們是如何生成這些數(shù)據(jù)的。

而“強(qiáng)模型崩潰”的作者就把相當(dāng)于將之前合成再合成的數(shù)據(jù)集拿過來再訓(xùn)練出一個模型，并添加了十幾頁的數(shù)學(xué)來證明其背后的理論依據(jù)。

圖片

至于孰對孰錯，還是再讓子彈飛一會兒。

對于這件事兒，你怎么看呢？

參考鏈接：[1]https://openreview.net/forum?id=et5l9qPUhm

[2]https://x.com/RylanSchaeffer/status/1816535790534701304

[3]https://x.com/suchenzang/status/1910783588943176128

[4]https://arxiv.org/abs/2503.03150

[5]https://arxiv.org/pdf/2410.04840 

[6]https://arxiv.org/abs/2404.01413