在提升大型語言模型（LLM）在數(shù)學(xué)推理方面的能力時，一個常用的方法是訓(xùn)練一個獎勵模型（reward model）或驗證器（verifier），也可以利用強化學(xué)習在測試階段（test-time）對所有解決方案進行重排序。

通常情況下，驗證器的預(yù)測是整個推理過程的結(jié)果，即結(jié)果獎勵模型（ORM，outcome reward models），但這種獎勵信號過于稀疏，模型難以從中學(xué)習，并且搜索過程的效率也不高；理論上，通過細粒度的監(jiān)督數(shù)據(jù)可以緩解這一問題。

在推理方面，先前有研究已經(jīng)訓(xùn)練了過程獎勵模型（PRMs，process reward models），在搜索的每一步或在強化學(xué)習期間分配中間獎勵，不過PRM數(shù)據(jù)都來源于人工標注，不具備可擴展性。

雖然也有研究者訓(xùn)練PRMs來預(yù)測自動生成的標注，類似于強化學(xué)習中的價值函數(shù)，但到目前為止，自動化的PRMs與ORMs相比，性能僅僅提高了1-2%，引發(fā)了業(yè)界對該技術(shù)的質(zhì)疑。

PRM可以用來執(zhí)行搜索，或者作為密集獎勵（dense rewards）來提升基礎(chǔ)策略，所以問題的核心變成了：到底該「如何設(shè)計流程獎勵」？

最近，Google Research、Google DeepMind和卡內(nèi)基梅隆大學(xué)的研究人員聯(lián)合發(fā)布了一篇論文，主要思路是，每一步的過程獎勵都應(yīng)該對整個過程進行度量：在采取該步驟「之前」和「之后」，模型在生成正確回復(fù)概率（likelihood）的變化程度，對應(yīng)于強化學(xué)習中步驟級別優(yōu)勢（step-level advantages）的概念；最重要的是，該過程應(yīng)該根據(jù)與基本策略（basic policy）不同的證明政策（prover policy）來度量。

論文鏈接：https://arxiv.org/pdf/2410.08146

研究人員從理論上描述了一組好的證明器，并用實驗證明了，優(yōu)化來自證明器的過程獎勵可以改善測試時搜索和在線強化學(xué)習期間的探索，并且可以通過經(jīng)驗觀察到，弱證明器策略可以顯著改善更強的基礎(chǔ)策略。

通過訓(xùn)練過程優(yōu)勢驗證器 (PAV，process advantage verifiers) 來預(yù)測證明器的過程，結(jié)果表明，與 ORM 相比，針對 PAV 的測試時搜索準確率提升了8%，計算效率提升了1.5到5倍；使用PAV的密集獎勵進行在線RL，實現(xiàn)了在樣本效率上5-6倍的提升，比ORM的準確率提升了6%

定義過程獎勵

為了解決前面提到的獎勵不確定性，研究人員訓(xùn)練了帶有自動標注的過程獎勵模型（PRMs），以便在測試時搜索和在線強化學(xué)習（RL）期間，通過優(yōu)化訓(xùn)練后的PRMs提供的密集獎勵來提高基礎(chǔ)策略的計算和樣本效率。

為此，文中主要解決了兩個問題：

1. 每一步的過程獎勵應(yīng)該度量（measure）什么？

2. 應(yīng)該使用什么樣的自動數(shù)據(jù)收集策略來訓(xùn)練預(yù)測PRMs？

傳統(tǒng)的方法主要通過度量數(shù)學(xué)正確性或步驟的相關(guān)性來實現(xiàn)的，但這種監(jiān)督信號是否能夠最大程度地改進基礎(chǔ)策略尚不清楚，例如策略可能需要生成重復(fù)的，在測試時搜索和RL期間不正確的步驟來探索和發(fā)現(xiàn)最終答案。

研究人員的關(guān)鍵想法是，衡量逐步驟過程獎勵（在采取步驟之前和之后到達正確最終答案的可能性的變化），對于測試時的beam search和在線強化學(xué)習都是有效的。

強化那些不管是在正確或錯誤軌跡中出現(xiàn)都取得進展的步驟，可以在最初步驟中多樣化可能答案的探索（exploration），在解決問題方法不明確時可以起到很重要的作用。

從形式上來講，這種獎勵對應(yīng)于強化學(xué)習中的逐步驟優(yōu)勢（ per-step advantages），經(jīng)驗表明，使用優(yōu)勢以及ORM獎勵比常見的使用未來成功概率（future probabilities of success）或??值來搜索和強化學(xué)習都表現(xiàn)得更好，主要是因為，在有限的計算和采樣約束下，??值主要「利用」（exploit）狀態(tài)，而優(yōu)勢也「探索」（explore）對最終答案最有貢獻的步驟。

在回答第二個問題時，研究人員首先注意到，在大多數(shù)步驟中，基礎(chǔ)策略下的優(yōu)勢接近于0，因此對搜索或RL沒有信息量。

此外，無論基礎(chǔ)策略的強度如何，使用其自身的逐步驟優(yōu)勢作為RL中的過程獎勵，會導(dǎo)致與僅使用結(jié)果獎勵進行RL相同的基礎(chǔ)策略更新（因為標準策略梯度算法已經(jīng)計算了優(yōu)勢）。

因此，研究人員提出使用在不同的證明策略下通過滾動估計的優(yōu)勢作為過程獎勵。

然后應(yīng)該如何選擇證明策略？

一個很自然的想法/猜測是使用一個非常強大的證明策略，但研究人員發(fā)現(xiàn)，在過于強大的證明策略下，模型可以從任意步驟中走向成功，無法區(qū)分出好和壞的步驟；而對于非常弱的證明策略來說，也有類似的結(jié)果。

在理論上，研究人員在文中將上述直覺給形式化為，與基礎(chǔ)策略互補的策略即為好的證明器，能夠充分對比基礎(chǔ)策略生成的步驟優(yōu)勢，同時仍然生成與基礎(chǔ)策略優(yōu)勢相關(guān)的步驟級優(yōu)勢的策略。

例如，對于對應(yīng)于基礎(chǔ)策略的Best-of-??策略，經(jīng)驗發(fā)現(xiàn)，對應(yīng)于??>1的證明策略更能夠改進基礎(chǔ)策略；與直覺相反，互補證明策略的集合也包含了比基礎(chǔ)策略更差的策略。

為了預(yù)測這些證明策略的優(yōu)勢，研究人員訓(xùn)練了密集的驗證器，即過程優(yōu)勢驗證器（PAV，process advantage verifiers），加速了RL和搜索的樣本和計算效率；文中為訓(xùn)練PAV規(guī)定了實際的工作流程，并在一系列2B、9B和27B Gemma2模型上展示了有效性。

通過從證明策略中采樣「種子」解決方案軌跡，以估計種子軌跡的每個前綴的??值，并從同一策略中進行部分滾動（partial rollouts）來收集PAV訓(xùn)練數(shù)據(jù)，工作流程規(guī)定了種子和部分滾動的有利比例。

實證結(jié)果顯示，對于相同的測試時計算預(yù)算，針對訓(xùn)練有素的PAV的beam search在準確性上比針對ORM重新排序完整軌跡高出>8%，計算效率提高了1.5-5倍。

PAV的密集獎勵通過積極修剪解決方案的組合空間，并專注于多樣化的可能序列集，提高了搜索期間步驟級探索的效率。

此外，文中首次展示了使用PAV作為強化學(xué)習中的密集獎勵，與僅使用結(jié)果獎勵相比，數(shù)據(jù)效率提高了6倍；使用PAV訓(xùn)練的基礎(chǔ)策略也實現(xiàn)了8倍更好的Pass @??性能（在??次嘗試中采樣正確解決方案的概率），從而為任何測試時重新排序器的性能提供了更高的上限。

最后，使用PAV進行強化學(xué)習，可以發(fā)現(xiàn)SFT策略在非常大的預(yù)算下也無法應(yīng)對的難題解決方案。