強化學習先驅(qū)、加拿大阿爾伯塔大學CS系教授Rich Sutton曾在2019年寫下一篇名為《The Bitter Lesson》的博文，成為AI領(lǐng)域的經(jīng)典論述之一。

甚至，Rich Sutton在字里行間體現(xiàn)出的直覺已經(jīng)頗有Scaling Law的意味。

原文地址：https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

文章簡要回顧了AI在象棋、圍棋、語音識別和視覺等領(lǐng)域的發(fā)展道路，并提出了這樣的觀點：

我們應該吸取的慘痛教訓之一，就是要意識到通用方法的力量。隨著可用算力猛增帶來計算量的增加，這種方法可以持續(xù)擴展。似乎能以這種方式進行任意擴展的兩種方法正是搜索（search）和學習（learning）。

然而，這個觀點和Scaling Law并不完全一樣，我們也不能以此為據(jù)，認為小型模型注定無關(guān)緊要。

正如Sutton所描述的，擴展這條路上我們有兩板斧：學習和搜索。

OpenAI提出的Scaling Law更強調(diào)前者。在其他條件不變時，較大的模型表現(xiàn)更好，因為可以從訓練集中學習到更多知識和模式。

但我們往往忽略的是后者。搜索方法也可以在推理階段隨算力增長進行平滑的擴展，以生成更多或者更高質(zhì)量的候選答案。

斯坦福、牛津、DeepMind等機構(gòu)的學者最近發(fā)表的一篇文章就關(guān)注到了這一點。

論文地址：https://arxiv.org/abs/2407.21787

隨著推理階段重復采樣數(shù)量的提升，模型在GSM8K、MATH、MiniF2F-Math、SWE-bench Lite等數(shù)學、推理、代碼領(lǐng)域的性能（即問題覆蓋率）都有顯著提升。

甚至，二者之間似乎存在指數(shù)線性關(guān)系，并可以用指數(shù)冪律建模，似乎能說明推理階段縮放定律的存在。

受到這篇論文的啟發(fā)，兩位工程師開始嘗試復現(xiàn)——結(jié)果是，用100個小Llama模型進行搜索，即可在Python編程任務中追趕甚至打敗GPT-4o。

兩位作者用了一個形象的比喻：以前，需要一匹馬大小的鴨子才能獲得邊界能力；但現(xiàn)在，我們可以選擇用100只鴨子大小的馬（或者更確切地說，是羊駝Llama）。

實驗所用的源代碼已上傳至GitHub，而且復現(xiàn)成本相當?shù)汀?/span>

https://gist.github.com/charlesfrye/27f25188dbbcfdf20a83c0230020fe05

為了嘗試較高性能，作者使用了vLLM庫實現(xiàn)批量推理，并將硬件條件擴展到10個A100-40GB GPU，輸出速度達到40k token/s。

評估指標和結(jié)果

作者選擇了上述的Large Language Monkeys論文中未涵蓋的基準測試——HumanEval。

這個數(shù)據(jù)集的好處在于，使用運行測試對生成的代碼進行評估，而不需要LLM-as-Judge或人類評估的參與，能更加客觀地衡量其正確性。

模型的性能通過pass@k和fail@k兩個指標衡量。根據(jù)PapersWithCode的報告結(jié)果，在零樣本推理時，GPT-4o的pass@1成績?yōu)?0.2%。

https://paperswithcode.com/sota/code-generation-on-humaneval

使用上述論文提出的方法，加上最少量的prompt微調(diào)（未調(diào)整其他超參數(shù)），Llama 3.1 8B的pass@k分數(shù)就有顯著提升。

重復采樣數(shù)k為100時，性能與GPT-4o相當（90.5% vs. 90.2%）；k達到1000時，分數(shù)為95.1%，明顯優(yōu)于GPT-4o。

如果使用fail@k指標（相當于1-pass@k），再將上圖中的兩個坐標軸進行對數(shù)變換，就可以看到下圖所示的曲線，似乎完美符合「縮放定律」。

值得注意的是，這個小實驗并不是對論文的嚴格復現(xiàn)，僅是提取了其中的核心方法。

然而，這些結(jié)果更加強調(diào)了，使用搜索方法進行推理階段增強時，較小的模型能以可預測的方式勝過GPT-4o這樣的「巨無霸」模型。

「搜索」的未來

搜索方法之所以強大，正是因為它能隨著計算量的增加進行「透明」的擴展，還可以將資源消耗從內(nèi)存轉(zhuǎn)移至計算，實現(xiàn)進一步的資源平衡。

最近AI在數(shù)學方面的重大成果，比如DeepMind的AlphaProof和AlphaGeometry取得了IMO銀牌的水平，以及得到驗證的「忙碌海貍」問題，都離不開其中使用的搜索。

然而，搜索的實現(xiàn)首先需要對結(jié)果進行高質(zhì)量的評估。DeepMind的模型將自然語言表述的數(shù)學問題翻譯為形式化表述，從而得到Lean這種編譯器/驗證器的詳細監(jiān)督。

陶哲軒也曾在采訪中不斷強調(diào)，「形式化」對AI在數(shù)學領(lǐng)域的應用十分重要，可以使并行程度和自動化程度大大提高。

根據(jù)Curry-Howard-Lambek對應關(guān)系，對數(shù)學證明和代碼生成結(jié)果而言，使用計算機程序進行自動化識別和評估會相對容易。

但類似的方法可能會在數(shù)學和編程以外的領(lǐng)域失效。比如，對于「總結(jié)電子郵件」這類開放式的NLP任務，就很難進行有效的搜索。

從這個角度來看，搜索是評估的下游。我們可以粗略地預期，生成模型在特定領(lǐng)域中的性能提升，將和評估、搜索能力成正比。

為達到這個目的，可重復數(shù)字環(huán)境中的agent似乎是一個有前景的方向。