研究背景與創(chuàng)新點(diǎn)

深度學(xué)習(xí)模型，尤其是大型語言模型（LLMs）在推理任務(wù)上的表現(xiàn)令人矚目。傳統(tǒng)觀點(diǎn)認(rèn)為，模型參數(shù)量是決定推理能力的主要因素。然而，Google Research團(tuán)隊的這項研究《推理潛在思維：循環(huán)變換器的力量》提出了一個更為大膽的觀點(diǎn)：許多推理問題主要需要的是足夠的深度，而非海量參數(shù)。該研究探索了循環(huán)變換器（Looped Transformers）在推理任務(wù)中的應(yīng)用潛力，并揭示了模型架構(gòu)與推理能力之間的深層聯(lián)系。

本文的核心創(chuàng)新點(diǎn)在于提出并驗(yàn)證了循環(huán)模型在推理任務(wù)上的優(yōu)勢。研究表明，一個k層變換器循環(huán)L次（表示為(k?L)）的性能可以接近甚至超過具有相同計算量但參數(shù)量大L倍的非循環(huán)kL層模型，同時顯著優(yōu)于參數(shù)量相同的k層非循環(huán)模型。這一發(fā)現(xiàn)不僅適用于合成推理問題，還擴(kuò)展到了實(shí)際語言建模場景，揭示了模型架構(gòu)設(shè)計中的重要權(quán)衡。

研究方法與實(shí)驗(yàn)設(shè)計

研究團(tuán)隊采用了多種方法驗(yàn)證其假設(shè)，包括：

1. 合成推理任務(wù)實(shí)驗(yàn)：研究者設(shè)計了三類合成推理任務(wù)來測試循環(huán)模型的能力：

• n元加法：測試模型對多個三位數(shù)進(jìn)行加法的能力
• p-hop歸納：測試模型在序列中進(jìn)行多步回溯檢索的能力
• i-GSM（合成小學(xué)數(shù)學(xué)問題）：模擬小學(xué)數(shù)學(xué)應(yīng)用題的計算圖問題

2. 語言建模實(shí)驗(yàn)：在Pile數(shù)據(jù)集上預(yù)訓(xùn)練1B參數(shù)規(guī)模的模型，比較不同架構(gòu)在下游任務(wù)上的表現(xiàn)：

• 閉卷問答（測試記憶能力）
• 開卷問答（測試閱讀理解能力）
• 數(shù)學(xué)應(yīng)用題（測試數(shù)學(xué)推理能力）
• 推理原語（測試基礎(chǔ)推理能力）

3. 理論分析：證明循環(huán)模型在特定推理任務(wù)上的表達(dá)能力，包括：

• 群組合問題的最優(yōu)深度解
• 循環(huán)模型模擬非循環(huán)模型的能力
• 循環(huán)模型與思維鏈（Chain-of-Thought）推理的關(guān)系

實(shí)驗(yàn)設(shè)計精巧，通過比較(k?L)循環(huán)模型與兩個基線：參數(shù)量相同的(k?1)模型和計算量相同的(kL?1)模型，全面評估了循環(huán)架構(gòu)的優(yōu)勢與局限。

主要研究發(fā)現(xiàn)

1. 循環(huán)模型在合成推理任務(wù)上的表現(xiàn)

在合成推理任務(wù)上，循環(huán)模型展現(xiàn)出顯著優(yōu)勢。以n元加法為例，即使是循環(huán)12次的1層網(wǎng)絡(luò)，其表現(xiàn)也接近使用12倍參數(shù)量的12層基線模型。類似地，在p-hop問題和i-GSM任務(wù)上，循環(huán)模型也能以少得多的參數(shù)達(dá)到與非循環(huán)模型相當(dāng)?shù)男阅?。這表明這些推理任務(wù)主要需要的是足夠的深度，而非大量參數(shù)。

研究者還通過理論分析證明，對于群組合問題，一個1層變換器循環(huán)log?(n)次就能有效解決，這與非循環(huán)模型的最佳已知深度上界相匹配。

2. 循環(huán)模型在語言建模中的歸納偏置

在語言建模實(shí)驗(yàn)中，研究者發(fā)現(xiàn)了一個有趣的現(xiàn)象：雖然循環(huán)模型的困惑度（perplexity）不如參數(shù)量更大的非循環(huán)模型，但在需要推理的下游任務(wù)上表現(xiàn)出色。具體而言：

• 在記憶型任務(wù)（如閉卷問答）上，循環(huán)模型的優(yōu)勢有限
• 在推理型任務(wù)（如開卷問答、數(shù)學(xué)應(yīng)用題）上，循環(huán)模型能彌補(bǔ)大部分與參數(shù)量更大模型的差距
• 在純推理原語任務(wù)上，循環(huán)模型甚至超過了參數(shù)量更大的基線模型

這表明循環(huán)架構(gòu)具有促進(jìn)推理能力的歸納偏置，即使以犧牲一些記憶能力為代價。研究者通過"等困惑度"下游性能比較（isoplots）進(jìn)一步驗(yàn)證了這一發(fā)現(xiàn)。

3. 循環(huán)深度的縮放行為

研究發(fā)現(xiàn)，隨著循環(huán)次數(shù)增加，模型在各類任務(wù)上的表現(xiàn)呈現(xiàn)對數(shù)縮放規(guī)律：

準(zhǔn)確率 = α·log(D) + β

其中D為有效深度，α衡量深度對下游性能的影響。不同任務(wù)類型的α值不同，推理任務(wù)的α值相對更高，表明推理任務(wù)從深度增加中獲益更多。這種縮放行為類似于思維鏈（CoT）推理的推理時間縮放。

4. 循環(huán)模型與思維鏈推理的聯(lián)系

研究者提出了循環(huán)模型與思維鏈推理之間的理論聯(lián)系。思維鏈推理可以視為一種特殊的循環(huán)模型，每次迭代產(chǎn)生一個思維token。而循環(huán)模型則更為強(qiáng)大，能在每次迭代中生成多個"潛在思維"。研究者證明了循環(huán)變換器能夠模擬思維鏈推理，這解釋了為何循環(huán)模型在推理任務(wù)上表現(xiàn)出色。

5. 基于循環(huán)的正則化方法

基于循環(huán)模型對推理的歸納偏置，研究者設(shè)計了一種新的正則化方法，通過鼓勵模型層之間的相似性來獲得循環(huán)模型的優(yōu)勢，同時保持非循環(huán)模型的靈活性。實(shí)驗(yàn)表明，這種正則化方法能在不影響困惑度的情況下提升模型的推理能力。

技術(shù)細(xì)節(jié)分析

循環(huán)變換器的數(shù)學(xué)表示

循環(huán)變換器可以形式化表示為重復(fù)應(yīng)用相同的變換器塊。給定L層變換器塊TB，循環(huán)T次的模型可表示為：

p_{θ,T} = OUTPUT ° (TB)^T ° EMBED

其中OUTPUT是輸出層，EMBED是嵌入層，(TB)^T表示變換器塊循環(huán)應(yīng)用T次。

理論結(jié)果

研究提供了幾個重要的理論結(jié)果：

1. 群組合定理：對于任何有限群G和n個元素，存在一個1層變換器循環(huán)?log?n?次就能計算這n個元素的組合，且深度最優(yōu)。
2. 循環(huán)模型模擬定理：具有R個不同層的L層非循環(huán)變換器可以被一個循環(huán)L次的1層變換器模擬，后者的嵌入維度增加R+2，MLP隱藏維度增加O(L)。
3. CoT模擬定理：任何L層非循環(huán)變換器進(jìn)行m步CoT推理，都可以被一個具有L+O(1)層、循環(huán)m次的變換器模擬。

這些理論結(jié)果為實(shí)驗(yàn)觀察提供了堅實(shí)的數(shù)學(xué)基礎(chǔ)，證明了循環(huán)架構(gòu)在推理任務(wù)上的優(yōu)勢并非偶然。

實(shí)現(xiàn)細(xì)節(jié)

研究中使用的循環(huán)變換器實(shí)現(xiàn)相對簡單，主要是在前向傳播中重復(fù)應(yīng)用相同的變換器塊。對于(k?L)模型，即k層變換器循環(huán)L次，總共有k×L層計算，但只有k層的參數(shù)。

研究還探索了"中間循環(huán)"（Middle Looping）變體，即保留網(wǎng)絡(luò)開始和結(jié)束的獨(dú)立層，只在中間部分應(yīng)用循環(huán)。這種方法在某些任務(wù)上表現(xiàn)更好，表明網(wǎng)絡(luò)的不同部分可能需要不同程度的參數(shù)共享。

研究意義與局限性

研究意義

1. 參數(shù)效率提升：研究表明，通過循環(huán)架構(gòu)可以顯著減少模型參數(shù)量，同時保持甚至提升推理能力，這對于資源受限場景具有重要價值。
2. 推理與記憶的二分法：研究揭示了模型能力中推理與記憶的權(quán)衡，為理解大型語言模型的能力提供了新視角。
3. 與思維鏈的聯(lián)系：建立了循環(huán)架構(gòu)與思維鏈推理之間的理論聯(lián)系，為理解和改進(jìn)推理機(jī)制提供了新思路。
4. 正則化方法：提出的基于循環(huán)的正則化方法為提升模型推理能力提供了實(shí)用工具。

局限性

1. 推理定義的模糊性：研究中"推理"的定義相對寬泛，不同類型的推理可能需要不同的模型架構(gòu)。
2. 任務(wù)覆蓋有限：實(shí)驗(yàn)主要集中在特定類型的推理任務(wù)，可能不能完全代表所有推理場景。
3. 規(guī)模限制：實(shí)驗(yàn)主要在1B參數(shù)規(guī)模進(jìn)行，更大規(guī)模模型的行為可能有所不同。
4. 計算效率權(quán)衡：雖然參數(shù)量減少，但循環(huán)架構(gòu)在推理時的計算量與非循環(huán)模型相同，沒有提高推理速度。

未來研究方向

1. 多模態(tài)推理：探索循環(huán)架構(gòu)在視覺-語言等多模態(tài)推理任務(wù)中的應(yīng)用。
2. 推理形式化：更精確地形式化不同類型的推理問題，理解它們對模型架構(gòu)的不同需求。
3. 推理時間縮放：進(jìn)一步探索利用循環(huán)模型進(jìn)行更高效的推理時間縮放，輔助更深層次的推理。
4. 混合架構(gòu)：結(jié)合循環(huán)和非循環(huán)層的混合架構(gòu)，平衡推理能力和記憶能力。
5. 更優(yōu)循環(huán)策略：研究不同的循環(huán)策略（如選擇性循環(huán)、動態(tài)循環(huán)等）對性能的影響。

結(jié)論

本研究對循環(huán)變換器在推理任務(wù)中的應(yīng)用進(jìn)行了深入探索，揭示了一個重要發(fā)現(xiàn)：許多推理問題主要需要的是計算深度而非大量參數(shù)。循環(huán)架構(gòu)通過參數(shù)共享實(shí)現(xiàn)了深度增加而不增加參數(shù)量，在各種推理任務(wù)上展現(xiàn)出顯著優(yōu)勢。研究還建立了循環(huán)模型與思維鏈推理之間的理論聯(lián)系，為理解大型語言模型的推理機(jī)制提供了新視角。

這些發(fā)現(xiàn)不僅有理論意義，還提供了實(shí)用價值：通過循環(huán)架構(gòu)或基于循環(huán)的正則化，可以構(gòu)建更參數(shù)高效的推理模型。未來研究可進(jìn)一步探索循環(huán)架構(gòu)在更廣泛推理任務(wù)中的應(yīng)用，以及與其他推理增強(qiáng)技術(shù)的結(jié)合。

總的來說，這項研究為大型語言模型的架構(gòu)設(shè)計提供了新的思路，強(qiáng)調(diào)了在追求更強(qiáng)推理能力時，深度與參數(shù)量之間的權(quán)衡，以及循環(huán)架構(gòu)作為一種有效折中方案的潛力。

論文：https://arxiv.org/abs/2502.17416

本文轉(zhuǎn)載自??頓數(shù)AI??，作者： 蔥蔥 ????