OpenAI 接連發(fā)布 o1 和 o3 模型，大模型的高階推理能力正在迎來爆發(fā)式增強。在預訓練 Scaling law “撞墻” 的背景下，探尋新的 Scaling law 成為業(yè)界關注的熱點。高階推理能力有望開啟新的 Scaling law，為大模型的發(fā)展注入新的活力。

近日，華為諾亞方舟實驗室的研究人員提出了一個名為思維森林 “Forest-of-Thought”（FoT）的全新大模型高階推理框架，它通過在推理時擴展計算規(guī)模，顯著提升了 LLM 的高階推理能力。

• 論文鏈接：https://arxiv.org/abs/2412.09078
• 項目鏈接：https://github.com/iamhankai/Forest-of-Thought

LLM 的推理困境

盡管 LLM 在多種語言任務上表現(xiàn)出色，但在解決復雜推理問題時，它們常常陷入困境。以數(shù)學問題為例，LLM 可能會在分解問題的過程中忽略關鍵細節(jié)或在中間步驟中出錯，導致最終答案錯誤；通常完成一條推理路徑后，大模型通常不會重新審視其他可能的方法，這種缺乏重新評估的能力使得解決方案無法全面應對復雜的問題。相比之下，人類在處理復雜問題時，會從不同角度反復思考和驗證，以確保答案的準確性。

思維森林 FoT 方法介紹

圖 1 中的 FoT 框架通過整合多個推理樹，利用集體決策的優(yōu)勢來解決復雜的邏輯推理任務。它采用稀疏激活策略，選擇最相關的推理路徑，從而提高模型的效率和準確性。此外，F(xiàn)oT 還引入了動態(tài)自校正策略，使模型能夠在推理過程中實時識別和糾正錯誤，并從過去的錯誤中學習。共識引導決策策略也被納入其中，以優(yōu)化正確性和計算資源的使用。

圖 1 思維森林 FoT

稀疏激活策略

在 FoT 的推理過程中，并不是所有的推理樹或樹中的每個節(jié)點都會被計算，而是只選擇最相關的推理樹或節(jié)點進行計算。這種方法不僅提高了效率，還通過選擇最相關的推理路徑來提高模型的準確性。通過稀疏激活，F(xiàn)oT 能夠過濾掉每個推理樹的激活，確保只有某些推理樹的路徑被 “激活” 用于推理。

動態(tài)自校正策略

為了提高每個推理樹給出正確答案的概率，F(xiàn)oT 引入了動態(tài)自校正策略。對于推理樹的初始結(jié)果，自校正策略會評估其正確性和有效性，并在每個推理步驟完成后分配相應的分數(shù)。一旦某個步驟的分數(shù)低于預設閾值，策略會自動觸發(fā)校正機制。該機制首先回顧和分析過去的失敗案例，識別低分和常見錯誤模式的原因，然后嘗試糾正錯誤并優(yōu)化推理方向。通過這種從歷史中學習和實時校正的機制，模型不僅避免了在相同問題上重復犯錯，還能更迅速、更準確地找到解決新問題的有效方法。

圖 2 動態(tài)自校正策略

共識引導決策策略

為了解決復雜的數(shù)學問題，F(xiàn)oT 設計了共識引導專家決策（CGED）策略，以確保最終答案的高準確性和可靠性。CGED 方法結(jié)合了集體智慧和專家判斷，引導推理過程從基于共識的決策轉(zhuǎn)向?qū)＜以u估。在 FoT 方法中，每個獨立樹通過其獨特的推理路徑生成一個或多個可能的答案。子樹會對候選答案進行投票，選出獲得最多支持的答案。如果無法達成共識，數(shù)學專家將評估推理過程并選擇最終答案，以確保其準確性和有效性。

實驗結(jié)果

研究人員在多個 LLM 推理基準測試中評估了 FoT 方法，包括 24 點游戲、GSM8K 和 MATH 數(shù)據(jù)集，使用了多個開源 LLM 模型，包括 Llama3-8B，Mistral-7B 和 GLM-4-9B。

24 點游戲

24 點游戲的目標是使用給定的四個數(shù)字各一次，通過加、減、乘、除和括號構造一個算術表達式，使其結(jié)果為 24。表 1 中的實驗結(jié)果表明，當推理樹的數(shù)量從 2 增加到 4 時，F(xiàn)oT 的準確率提高了 14%，顯示出顯著的推理性能提升。相比之下，僅增加單個樹的葉子節(jié)點數(shù)量的 ToT 方法遇到了性能瓶頸，進一步增加葉子節(jié)點數(shù)量并未帶來顯著的性能提升。這表明 FoT 通過多棵樹提供的推理路徑多樣性比單純增加單個樹的復雜性更有效，凸顯了 FoT 框架在實現(xiàn)可擴展和高效推理改進方面的優(yōu)勢。

表 1  24 點游戲，Llama3-8B 基模型，b 是葉子節(jié)點數(shù)量，n 是樹數(shù)量

GSM8K 基準測試

研究人員在 GSM8K 數(shù)據(jù)集上評估了 FoT 在不同基模型上的性能。圖 3 中的實驗結(jié)果表明，基于不同的大語言模型 Llama3-8B，Mistral-7B 和 GLM-4-9B，都存在類似的 scaling law：FoT 中的樹數(shù)量越多，帶來的準確率提升越顯著。

圖 3 FoT 在不同基模型的性能

MATH 基準測試

在 MATH 數(shù)據(jù)集上，F(xiàn)oT 算法在不同復雜度級別的問題上均展現(xiàn)出一致的性能提升。如表 2 所示，從最簡單的 level1 到最具挑戰(zhàn)性的 level5，F(xiàn)oT（n=4）的準確率比 MCTSr 提高了約 10%。這種一致的提升凸顯了 FoT 方法在處理從簡單到復雜問題的有效性。

表 2 FoT 在 MATH 數(shù)據(jù)集上的性能

FoT 的廣泛應用前景

FoT 框架不僅在理論上具有創(chuàng)新性，而且在實際應用中也具有廣泛的前景。它可以幫助 LLM 在數(shù)學、邏輯、金融、醫(yī)療和法律等需要復雜推理的領域中更好地發(fā)揮作用。例如，在金融領域，F(xiàn)oT 可以用于風險評估和投資決策分析；在醫(yī)療領域，它可以輔助醫(yī)生進行疾病診斷和治療方案制定；在法律領域，F(xiàn)oT 可以用于案例分析和法律推理。此外，F(xiàn)oT 還可以與現(xiàn)有的 LLM 相結(jié)合，提升其在法律、教育、科研等領域的應用效果，為用戶提供更加智能、準確的服務。

結(jié)語

思維森林 Forest-of-Thought 框架的提出，為 LLM 的推理能力提升提供了一條新的路徑。它通過多路徑探索和動態(tài)激活推理路徑的結(jié)構化框架，有效解決了現(xiàn)有 LLM 推理范式中的關鍵局限。FoT 不僅提高了模型在復雜任務中的問題解決能力，還生成了多樣化的推理結(jié)果，無需依賴反向傳播或微調(diào)。隨著大模型在日常工作和生活的不斷滲透，F(xiàn)oT 有望在更多的應用場景中發(fā)揮重要作用，推動大模型向更智能、更高效的方向發(fā)展。