隨著 AI 領(lǐng)域的快速發(fā)展，大模型逐漸成為研究的核心，為了更好地探索這一領(lǐng)域，2023 年，一批知名的青年學(xué)者組織了一個名為 COLM（Conference on Language Modeling）的新會議。

該會議的組織者們都是 NLP 頭部科學(xué)家，在語言建模方面有著相當(dāng)?shù)某晒Ｋ麄兤渲屑扔衼碜詷I(yè)界的研究人員，也有來自學(xué)術(shù)界的研究人員。

在今年的組織者中，有我們熟悉的陳丹琦、Angela Fan 等華人學(xué)者。

COLM 是一個專注于語言建模研究的學(xué)術(shù)場所，旨在創(chuàng)建一個具有不同科學(xué)專業(yè)知識的研究人員社區(qū)，專注于理解、改進(jìn)和評論語言模型技術(shù)的發(fā)展。這不僅是學(xué)術(shù)界的一次創(chuàng)新嘗試，也是搭起了語言模型交流互鑒的新橋梁，進(jìn)一步促進(jìn)其探索和合作。

接收論文鏈接：https://colmweb.org/AcceptedPapers.html

剛剛，大會公布了 2024 年杰出論文獎，共有 4 篇論文獲獎。

值得一提的是，號稱撼動 Transformer 統(tǒng)治地位的 Mamba 也在獲獎?wù)撐闹小?/span>

此前，Mamba 這項研究慘遭 ICLR 拒稿，引來學(xué)術(shù)界軒然大波。

不過，之后 Mamba 原班人馬發(fā)布的 Mamba-2 順利拿下了 ICML 2024。如今 Mamba 又獲得了 COLM 杰出論文獎，很多網(wǎng)友都送來祝賀。

Mamba 作者之一、卡內(nèi)基梅隆大學(xué)機(jī)器學(xué)習(xí)系助理教授 Albert Gu 用一張表情很好的表達(dá)了自己的感受，看來「COLM 是真香」。

杰出論文獎

論文 1：Dated Data: Tracing Knowledge Cutoffs in Large Language Models

• 機(jī)構(gòu)：霍普金斯大學(xué)
• 作者：Jeffrey Cheng、Marc Marone、Orion Weller、Dawn Lawrie等
• 論文地址：https://openreview.net/pdf?id=wS7PxDjy6m

大型語言模型 (LLM) 通常有「知識截止日期」，即收集訓(xùn)練數(shù)據(jù)的時間。該信息對于需要 LLM 提供最新信息的應(yīng)用場景至關(guān)重要。

然而，訓(xùn)練數(shù)據(jù)中所有子資源是否共享相同的「知識截止日期」？模型響應(yīng)展示出的知識是否與數(shù)據(jù)截止值一致？

該論文定義了「有效截止」的概念，它與 LLM 報告的「知識截止日期」不同，并且訓(xùn)練數(shù)據(jù)子資源之間也有所不同。該研究提出了一種簡單的方法，通過跨版本的數(shù)據(jù)探測來估計 LLM 在資源級別的有效截止點。至關(guān)重要的是，該方法不需要訪問模型的預(yù)訓(xùn)練數(shù)據(jù)。

通過分析，該研究發(fā)現(xiàn)有效的截止值通常與報告的截止值有很大不同。為了了解這一觀察結(jié)果的根本原因，該研究對開放的預(yù)訓(xùn)練數(shù)據(jù)集進(jìn)行了大規(guī)模分析。

分析揭示了造成這些不一致的兩個主要原因：

• 由于新 dump 中存在大量舊數(shù)據(jù)，導(dǎo)致 CommonCrawl 數(shù)據(jù)出現(xiàn)時間錯位； 
• LLM 重復(fù)數(shù)據(jù)刪除方案的復(fù)雜性涉及語義重復(fù)和詞匯近似重復(fù)。

論文 2：Mamba: Linear-Time Sequence Modeling with Selective State Spaces

• 機(jī)構(gòu)：卡內(nèi)基梅隆大學(xué)、普林斯頓大學(xué)
• 作者：Albert Gu、Tri Dao
• 論文地址：https://arxiv.org/pdf/2312.00752

自 2017 年被提出以來，Transformer 已經(jīng)成為 AI 大模型的主流架構(gòu)，但隨著模型規(guī)模擴(kuò)大和處理序列變長，其計算效率問題凸顯，特別是在長上下文中，計算量將呈平方級增長。

為解決這一問題，研究者們圍繞注意力開發(fā)了多種變體，如線性注意力、門控卷積、循環(huán)模型、SSMs 等，但它們在語言等模態(tài)上的表現(xiàn)并不理想，無法進(jìn)行基于內(nèi)容的推理。

基于此，論文作者進(jìn)行了幾項改進(jìn)。首先，讓 SSM 參數(shù)成為輸入的函數(shù)，解決了離散模態(tài)的弱點，使模型能根據(jù)當(dāng)前 token 有選擇地傳播或遺忘信息。

這種改動導(dǎo)致卷積效率降低，對模型的計算帶來了挑戰(zhàn)。論文作者設(shè)計了一種硬件感知算法，將先前的 SSM 架構(gòu)設(shè)計與 Transformer 的 MLP 塊合并為一個塊，簡化了深度序列模型架構(gòu)，形成了一種包含選擇性狀態(tài)空間的簡單、同質(zhì)的架構(gòu)設(shè)計（Mamba）。

Mamba 可以隨上下文長度的增加實現(xiàn)線性擴(kuò)展，其性能在實際數(shù)據(jù)中可提高到百萬 token 長度序列，并實現(xiàn) 5 倍的推理吞吐量提升。

作為通用序列模型的骨干，Mamba 在語言、音頻和基因組學(xué)等多種模態(tài)中都達(dá)到了 SOTA 性能。在語言建模方面，無論是預(yù)訓(xùn)練還是下游評估，他們的 Mamba-3B 模型都優(yōu)于同等規(guī)模的 Transformer 模型，并能與兩倍于其規(guī)模的 Transformer 模型相媲美。

更多詳情，可以參考機(jī)器之心之前的報道：五倍吞吐量，性能全面包圍 Transformer：新架構(gòu) Mamba 引爆 AI 圈。

論文 3：AI-generated text boundary detection with RoFT

• 機(jī)構(gòu)：俄羅斯 AI 基金會與算法實驗室、英國倫敦瑪麗女王大學(xué)、日本 Noeon 研究所、斯科爾科沃科學(xué)技術(shù)學(xué)院等
• 作者：Laida Kushnareva, Tatiana Gaintseva, Dmitry Abulkhanov等
• 論文地址：https://arxiv.org/pdf/2311.08349

隨著大語言模型的發(fā)展，我們越來越頻繁地遇到這樣的情況：一篇文章起初可能出自人類之手，但隨后可能被 AI 接手加以潤色。如何從這種文本中檢測出人類寫作與機(jī)器生成的界限？這是一個具有挑戰(zhàn)性的問題，但還尚未得到太多關(guān)注。

論文作者試圖填補(bǔ)這一空白。他們對最先進(jìn)的檢測方法進(jìn)行了測試。具體而言，他們采用「真假文本」測試集，測試了在極限情況下，這些方法的表現(xiàn)。「真假文本」測試集包含各種語言模型生成的多個主題的短文本。

他們發(fā)現(xiàn)，基于困惑度的邊界檢測方法，在處理特定領(lǐng)域的數(shù)據(jù)時，比對 RoBERTa 模型進(jìn)行監(jiān)督式的方法更加魯棒。他們還發(fā)現(xiàn)了一些特定的文本特征。這些特征可能會干擾邊界檢測算法的判斷，導(dǎo)致算法在處理跨領(lǐng)域的文本時，其性能會下降。

論文 4：Auxiliary task demands mask the capabilities of smaller language models

• 機(jī)構(gòu)：哈佛大學(xué)、斯坦福大學(xué)
• 作者：Jennifer Hu、Michael Frank
• 論文地址：https://openreview.net/forum?id=U5BUzSn4tD#discussion

發(fā)展心理學(xué)家一直在爭論語言理解或心理理論等認(rèn)知能力何時出現(xiàn)。這些爭論通常取決于「任務(wù)要求」的概念 —— 與執(zhí)行特定評估相關(guān)的挑戰(zhàn)。在衡量語言模型 (LM) 的能力時，任務(wù)的性能是模型基礎(chǔ)知識的函數(shù)，再加上模型在給定可用資源的情況下解釋和執(zhí)行任務(wù)的能力。

該研究表明，對于類比推理、反思推理、單詞預(yù)測和語法判斷，任務(wù)要求較高的評估方法比要求減少的評估方法產(chǎn)生的性能更低。對于參數(shù)較少和訓(xùn)練數(shù)據(jù)較少的模型，這種「需求差距」最為明顯。實驗結(jié)果表明，LM 的性能不應(yīng)被解釋為智能（或缺乏智能）的直接表現(xiàn)，而應(yīng)被解釋為通過研究人員設(shè)計選擇的視角所看到的能力反映。