剛剛由清華大學(xué)本科生伍垟圳為一作的論文《推理Scaling Laws：面向語言模型問題求解的計算最優(yōu)推理實證分析》在頂級AI學(xué)術(shù)會議NeurIPS 2024 Math-AI上榮獲杰出論文獎（Outstanding Paper Award）。這項研究不僅刷新了人們對推理階段計算優(yōu)化的理解，還為如何在有限計算資源下實現(xiàn)更高效的大語言模型（LLM）推理提供了全新的思路

論文亮點：推理階段的計算優(yōu)化新突破

1. 小模型也能打敗大模型：重新定義推理階段的效率

論文系統(tǒng)性地研究了不同模型大小和推理策略在固定計算預(yù)算下的表現(xiàn)，發(fā)現(xiàn)小模型（如Llemma-7B）在結(jié)合高級推理算法后，能夠?qū)崿F(xiàn)比大模型（如Llemma-34B）更優(yōu)的成本性能平衡。例如，在數(shù)學(xué)推理任務(wù)中，Llemma-7B通過生成更多候選解并使用優(yōu)化的投票策略，可以在計算量減半的情況下達到甚至超越Llemma-34B的準(zhǔn)確率。這一發(fā)現(xiàn)顛覆了“大模型總是更好”的傳統(tǒng)認知，為實際應(yīng)用中的資源受限場景提供了新思路

2. REBASE算法：推理策略的革新

推理階段的一個關(guān)鍵問題是如何在有限計算預(yù)算下高效搜索高質(zhì)量解答。論文提出了一種名為REBASE（獎勵平衡搜索，REward BAlanced SEarch） 的新型樹搜索算法

• 與傳統(tǒng)算法的對比：傳統(tǒng)的蒙特卡洛樹搜索（MCTS）雖然能提升推理性能，但計算開銷巨大，常常需要生成大量冗余解。而REBASE通過獎勵機制智能控制搜索節(jié)點的擴展，避免了不必要的計算浪費
• 性能表現(xiàn)：在所有測試的計算預(yù)算范圍內(nèi)，REBASE都實現(xiàn)了帕累托最優(yōu)的成本性能平衡。例如，在MATH數(shù)據(jù)集上，REBASE使用7B模型的表現(xiàn)優(yōu)于34B模型搭配傳統(tǒng)推理策略。這表明通過設(shè)計更高效的推理算法，可以顯著提升推理性能而無需依賴更大的模型

3. 推理性能的理論與實踐結(jié)合

論文不僅通過實驗驗證了推理階段的規(guī)模律，還在理論層面對采樣與投票策略的表現(xiàn)進行了深入分析：

• 采樣策略的極限：論文證明了，傳統(tǒng)的采樣方法（如加權(quán)多數(shù)投票）在采樣次數(shù)無限增加時，其性能會逐漸飽和，達到由模型生成概率分布決定的上限
• 新策略的優(yōu)勢：相比于單純增加采樣次數(shù)，設(shè)計能夠智能選擇高質(zhì)量解的推理算法（如REBASE）能突破這一瓶頸，延遲性能飽和點并提高最終準(zhǔn)確率

4. 實驗覆蓋廣泛，結(jié)果具有普適性

論文的實驗覆蓋了多種數(shù)據(jù)集（如MATH和GSM8K）以及多種模型架構(gòu)（如Pythia、Mistral、Llemma），驗證了結(jié)論的廣泛適用性：

• 數(shù)據(jù)集層面：在簡單的數(shù)學(xué)推理任務(wù)（GSM8K）和復(fù)雜的數(shù)學(xué)競賽問題（MATH）上，REBASE都表現(xiàn)出顯著優(yōu)勢
• 模型層面：無論是7B的小模型還是34B的大模型，REBASE均能提升推理效率，其中性能較弱的小模型獲益更大

5. 實用性強：為工業(yè)應(yīng)用提供指導(dǎo)

論文的研究對實際應(yīng)用場景具有重要意義?，F(xiàn)代AI應(yīng)用中，推理階段的計算成本往往是模型部署的瓶頸。研究表明，通過選擇合適的模型大小并搭配高級推理策略，可以在有限資源下實現(xiàn)更優(yōu)性能。這一發(fā)現(xiàn)為低成本部署高性能模型提供了新的思路，尤其適用于資源受限的設(shè)備（如手機端、邊緣設(shè)備）和云計算場景

為什么這項研究重要？

隨著大語言模型的規(guī)模不斷擴大，其推理階段的計算成本也隨之飆升。如何在有限計算資源下實現(xiàn)最優(yōu)性能，成為實際應(yīng)用中亟待解決的問題

具體而言，這項研究對未來的AI模型部署和優(yōu)化有以下幾點啟示：

1. 成本優(yōu)化：在計算資源有限的場景（如手機端或嵌入式設(shè)備）中，小模型搭配高級推理策略可能比大模型更具實際價值

2. 算法創(chuàng)新：REBASE的成功表明，推理階段的算法設(shè)計仍有巨大潛力。這為開發(fā)更高效的推理算法開辟了新方向

3. 學(xué)術(shù)突破：論文首次系統(tǒng)性地研究了推理階段的規(guī)模律，為后續(xù)研究奠定了理論基礎(chǔ)

清華本科生的國際舞臺崛起

論文一作伍垟圳是清華大學(xué)交叉信息研究院的一名本科生。值得一提的是，這項研究是在其訪問卡內(nèi)基梅隆大學(xué)期間完成的，充分體現(xiàn)了清華學(xué)子的國際學(xué)術(shù)競爭力

在這項研究中，伍垟圳與來自卡內(nèi)基梅隆大學(xué)的研究者共同合作，將理論分析與實驗驗證相結(jié)合，揭示了小模型在推理階段的巨大潛力

伍垟圳個人簡介

伍垟圳（Yangzhen Wu），清華大學(xué)交叉信息研究院（IIIS）計算機科學(xué)專業(yè)三年級本科生，隸屬于由圖靈獎得主姚期智教授指導(dǎo)的“姚班”。

目前，在卡內(nèi)基梅隆大學(xué)（CMU）進行實習(xí)訪問，導(dǎo)師為Yiming Yang教授和Sean Welleck教授

研究興趣主要集中在以下領(lǐng)域：

? 面向代碼和數(shù)學(xué)的機器學(xué)習(xí)；

? 大語言模型的推理能力；

? 推理算法及其可擴展性。

獲獎經(jīng)歷

? AI數(shù)學(xué)奧林匹克 - 進步獎1（第二名，獎金$65536）Kaggle，2023年6月（共1161名參賽者，第2名）

? 第35屆中國數(shù)學(xué)奧林匹克金牌。中國數(shù)學(xué)會，2019年11月