2023 年，Transformer 在 AI 大模型領(lǐng)域的統(tǒng)治地位被撼動(dòng)了。發(fā)起挑戰(zhàn)的新架構(gòu)名叫「Mamba」，它是一種選擇性狀態(tài)空間模型（ selective state space model），在語(yǔ)言建模方面可以媲美甚至擊敗 Transformer。而且，它可以隨上下文長(zhǎng)度的增加實(shí)現(xiàn)線性擴(kuò)展，其性能在實(shí)際數(shù)據(jù)中可提高到百萬(wàn) token 長(zhǎng)度序列，并實(shí)現(xiàn) 5 倍的推理吞吐量提升。

在發(fā)布之后的一個(gè)多月里，Mamba 逐漸展現(xiàn)出自己的影響力，衍生出了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte 等多項(xiàng)工作，在克服 Transformer 短板方面表現(xiàn)出了越來(lái)越大的潛力。

但這樣一顆冉冉升起的「新星」，卻在 2024 年的 ICLR 會(huì)議中遭遇了滑鐵盧。最新的公開(kāi)結(jié)果顯示，Mamba 的論文至今還沒(méi)有被大會(huì)接收，我們只能在 Decision Pending（待定）一欄看到它的身影（可能是延遲決定，也可能是被拒）。

總體來(lái)看，給 Mamba 打分的總共有四位審稿人，他們分別給出了 8/8/6/3 的打分。有人表示，如果拿到這樣的分?jǐn)?shù)還被拒，那確實(shí)是一件很奇怪的事情。

要弄清其中的緣由，我們還得看一下打出低分的審稿人是怎么說(shuō)的。

論文審稿頁(yè)面：https://openreview.net/forum?id=AL1fq05o7H

為什么「not good enough」？

在評(píng)審反饋中，給出「3: reject, not good enough」打分的審稿人解釋了自己對(duì)于 Mamba 的幾點(diǎn)意見(jiàn)：

對(duì)模型設(shè)計(jì)的想法：

• Mamba 的動(dòng)機(jī)是解決遞歸模型的缺點(diǎn)，同時(shí)提高基于注意力模型的效率。有很多研究都是沿著這個(gè)方向進(jìn)行的：S4-diagonal [1]、SGConv [2]、MEGA [3]、SPADE [4]，以及許多高效的 Transformer 模型（如 [5]）。所有這些模型都達(dá)到了接近線性的復(fù)雜度，作者需要在模型性能和效率方面將 Mamba 與這些作品進(jìn)行比較。關(guān)于模型性能，一些簡(jiǎn)單的實(shí)驗(yàn)（如 Wikitext-103 的語(yǔ)言建模）就足夠了。
• 許多基于注意力的 Transformer 模型顯示出長(zhǎng)度泛化能力，即模型可以在較短的序列長(zhǎng)度上進(jìn)行訓(xùn)練，并在較長(zhǎng)的序列長(zhǎng)度上進(jìn)行測(cè)試。這方面的例子包括相對(duì)位置編碼（T5）和 Alibi [6]。由于 SSM 一般都是連續(xù)的，那么 Mamba 是否具有這種長(zhǎng)度泛化能力呢？

對(duì)實(shí)驗(yàn)的想法：

• 作者需要與更強(qiáng)的基線進(jìn)行比較。作者表示 H3 被用作模型架構(gòu)的動(dòng)機(jī)，然而他們并沒(méi)有在實(shí)驗(yàn)中與 H3 進(jìn)行比較。根據(jù) [7] 中的表 4，在 Pile 數(shù)據(jù)集上，H3 的 ppl 分別為 8.8（1.25 M）、7.1（3.55 M）和 6.0（1.3B），大大優(yōu)于 Mamba。作者需要展示與 H3 的比較。
• 對(duì)于預(yù)訓(xùn)練模型，作者只展示了零樣本推理的結(jié)果。這種設(shè)置相當(dāng)有限，結(jié)果不能很好地支持 Mamba 的有效性。我建議作者進(jìn)行更多的長(zhǎng)序列實(shí)驗(yàn)，比如文檔摘要，輸入序列自然會(huì)很長(zhǎng)（例如，arXiv 數(shù)據(jù)集的平均序列長(zhǎng)度大于 8k）。
• 作者聲稱其主要貢獻(xiàn)之一是長(zhǎng)序列建模。作者應(yīng)該在 LRA（Long Range Arena）上與更多基線進(jìn)行比較，這基本上是長(zhǎng)序列理解的標(biāo)準(zhǔn)基準(zhǔn)。
• 缺少內(nèi)存基準(zhǔn)。盡管第 4.5 節(jié)的標(biāo)題是「速度和內(nèi)存基準(zhǔn)」，但只介紹了速度比較。此外，作者應(yīng)提供圖 8 左側(cè)更詳細(xì)的設(shè)置，如模型層、模型大小、卷積細(xì)節(jié)等。作者能否提供一些直觀信息，說(shuō)明為什么當(dāng)序列長(zhǎng)度非常大時(shí)，F(xiàn)lashAttention 的速度最慢（圖 8 左）？

此外，另一位審稿人也指出 Mamba 存在的不足：該模型在訓(xùn)練過(guò)程中仍然像 Transformers 一樣具有二次內(nèi)存需求。

作者：已修改，求審閱

匯總所有審稿人的意見(jiàn)之后，作者團(tuán)隊(duì)也對(duì)論文內(nèi)容進(jìn)行了修改和完善，補(bǔ)充了新的實(shí)驗(yàn)結(jié)果和分析：

• 增加了 H3 模型的評(píng)估結(jié)果

作者下載了大小為 125M-2.7B 參數(shù)的預(yù)訓(xùn)練 H3 模型，并進(jìn)行了一系列評(píng)估。Mamba 在所有語(yǔ)言評(píng)估中都明顯更勝一籌，值得注意的是，這些 H3 模型是使用二次注意力的混合模型，而作者僅使用線性時(shí)間 Mamba 層的純模型在各項(xiàng)指標(biāo)上都明顯更優(yōu)。

與預(yù)訓(xùn)練 H3 模型的評(píng)估對(duì)比如下：

• 將完全訓(xùn)練過(guò)的模型擴(kuò)展到更大的模型規(guī)模

如下圖所示，與根據(jù)相同 token 數(shù)（300B）訓(xùn)練的 3B 開(kāi)源模型相比，Mamba 在每個(gè)評(píng)估結(jié)果上都更勝一籌。它甚至可以與 7B 規(guī)模的模型相媲美：當(dāng)將 Mamba（2.8B）與 OPT、Pythia 和 RWKV（7B）進(jìn)行比較時(shí)，Mamba 在每個(gè)基準(zhǔn)上都獲得了最佳平均分和最佳 / 次佳得分。

• 展示了超出訓(xùn)練長(zhǎng)度的長(zhǎng)度外推結(jié)果

作者附上了一張?jiān)u估預(yù)訓(xùn)練 3B 參數(shù)語(yǔ)言模型長(zhǎng)度外推的附圖：

圖中繪出了每個(gè)位置的平均損失（對(duì)數(shù)可讀性）。第一個(gè) token 的困惑度很高，因?yàn)樗鼪](méi)有上下文，而 Mamba 和基線 Transformer（Pythia）的困惑度在訓(xùn)練上下文長(zhǎng)度（2048）之前都有所提高。有趣的是，Mamba 的可解性在超過(guò)其訓(xùn)練上下文后有了顯著提高，最高可達(dá) 3000 左右的長(zhǎng)度。

作者強(qiáng)調(diào)，長(zhǎng)度外推并不是本文模型的直接動(dòng)機(jī)，而是將其視為額外功能：

1. 這里的基線模型（Pythia）在訓(xùn)練時(shí)并沒(méi)有考慮長(zhǎng)度外推法，或許還有其他 Transformer 變體更具通用性（例如 T5 或 Alibi 相對(duì)位置編碼）。
2. 沒(méi)有發(fā)現(xiàn)任何使用相對(duì)位置編碼在 Pile 上訓(xùn)練的開(kāi)源 3B 模型，因此無(wú)法進(jìn)行這種比較。
3. Mamba 和 Pythia 一樣，在訓(xùn)練時(shí)沒(méi)有考慮長(zhǎng)度外推法，因此不具有可比性。正如 Transformer 有很多技術(shù)（如不同的位置嵌入）來(lái)提高它們?cè)陂L(zhǎng)度概括等軸上的能力一樣，在未來(lái)的工作中，為類(lèi)似的能力推導(dǎo)出 SSM 特有的技術(shù)可能會(huì)很有趣。

• 補(bǔ)充了 WikiText-103 的新結(jié)果

作者分析了多篇論文的結(jié)果，表明 Mamba 在 WikiText-103 上的表現(xiàn)明顯優(yōu)于其他 20 多個(gè)最新的次二次序列模型。

盡管如此，兩個(gè)月過(guò)去了，這篇論文還處于「Decision Pending」流程中，沒(méi)有得到「接收」或者「拒絕」的明確結(jié)果。

被頂會(huì)拒絕的那些論文

在各大 AI 頂會(huì)中，「投稿數(shù)量爆炸」都是一個(gè)令人頭疼的問(wèn)題，所以精力有限的審稿人難免有看走眼的時(shí)候。這就導(dǎo)致歷史上出現(xiàn)了很多著名論文被頂會(huì)拒絕的情況，包括 YOLO、transformer XL、Dropout、支持向量機(jī)（SVM）、知識(shí)蒸餾、SIFT，還有 Google 搜索引擎的網(wǎng)頁(yè)排名算法 PageRank（參見(jiàn)：《大名鼎鼎的 YOLO、PageRank 影響力爆棚的研究，曾被 CS 頂會(huì)拒稿》）。

甚至，身為深度學(xué)習(xí)三巨頭之一的 Yann LeCun 也是經(jīng)常被拒的論文大戶。剛剛，他發(fā)推文說(shuō)，自己被引 1887 次的論文「Deep Convolutional Networks on Graph-Structured Data」也被頂會(huì)拒絕了。

在 ICML 2022 期間，他甚至「投了三篇，被拒三篇」。

所以，論文被某個(gè)頂會(huì)拒絕并不代表沒(méi)有價(jià)值。在上述被拒的論文中，很多論文選擇了轉(zhuǎn)投其他會(huì)議，并最終被接收。因此，網(wǎng)友建議 Mamba 轉(zhuǎn)投陳丹琦等青年學(xué)者組建的 COLM。COLM 是一個(gè)專(zhuān)注于語(yǔ)言建模研究的學(xué)術(shù)場(chǎng)所，專(zhuān)注于理解、改進(jìn)和評(píng)論語(yǔ)言模型技術(shù)的發(fā)展，或許對(duì)于 Mamba 這類(lèi)論文來(lái)說(shuō)是更好的選擇。

不過(guò)，無(wú)論 Mamba 最終能否被 ICLR 接收，它都已經(jīng)成為一份頗具影響力的工作，也讓社區(qū)看到了沖破 Transformer 桎梏的希望，為超越傳統(tǒng) Transformer 模型的探索注入了新的活力。