隨著大語?模型（LLMs）在各類任務(wù)中展現(xiàn)出令人矚目的能力，如何確保它們?成的回復(fù)既符合預(yù)期又安全，始終是?項關(guān)鍵挑戰(zhàn)。

傳統(tǒng)的偏好對??法，如基于?類反饋的強(qiáng)化學(xué)習(xí)（RLHF）和直接偏好優(yōu)化（DPO），依賴于訓(xùn)練過程中的模型參數(shù)更新，但在?對不斷變化的數(shù)據(jù)和需求時，缺乏?夠的靈活性來適應(yīng)這些變化。

為了突破這?瓶頸，上海人工智能實驗室、香港中文大學(xué)等聯(lián)合提出了推理時偏好優(yōu)化（TPO）方法，通過在推理階段與獎勵模型交互，借助可解釋的文本反饋，迭代優(yōu)化模型輸出，實現(xiàn)了即時的模型對?，??需重新訓(xùn)練。

實驗結(jié)果表明，TPO能夠有效提升未對?模型的表現(xiàn)，甚?超越經(jīng)過訓(xùn)練的對?模型，為模型偏好對?提供了?種全新的思路。

△訓(xùn)練時偏好優(yōu)化VS推理時偏好優(yōu)化

TPO特點

（1）推理時對?、?需訓(xùn)練：TPO通過與獎勵模型的推理階段交互，實現(xiàn)即時對?偏好，無需更新模型參數(shù)。

（2）基于?本反饋：TPO使?可解釋的文本反饋（而非純數(shù)值梯度）來指導(dǎo)優(yōu)化，讓模型“理解?并“執(zhí)行”文本評價。

（3）優(yōu)于傳統(tǒng)?法：在推理階段，未對?的模型（例如Llama-3.1-70B-SFT）經(jīng)過數(shù)次TPO迭代，能夠持續(xù)逼近獎勵模型的偏好。在多個基準(zhǔn)測試中，其表現(xiàn)甚至超越了已在訓(xùn)練時對?的版本（例如Llama-3.1-70B-Instruct）。

（4）靈活適應(yīng)性：TPO能夠靈活應(yīng)對不斷變化的數(shù)據(jù)和需求，具有較強(qiáng)的適應(yīng)性，并且能夠在資源有限的環(huán)境下?效運(yùn)?。

研究方法

為實現(xiàn)這??標(biāo)，已有多種方法用來實現(xiàn)評分函數(shù)，如RLHF和DPO通過訓(xùn)練時偏好優(yōu)化來對??類偏好。這些?法通過基于梯度的?法（如隨機(jī)梯度下降，SGD）優(yōu)化模型參數(shù)（如神經(jīng)?絡(luò)中的權(quán)重θ），使得?成符合?類偏好的輸出概率更?。每次更新的步驟如下：

TPO通過解釋和執(zhí)行文本損失和文本梯度，為模型生成的回復(fù)提供可解釋的優(yōu)化信號。

如圖所示，TPO包含四個關(guān)鍵組件，類似于標(biāo)準(zhǔn)的梯度優(yōu)化?法：變量定義、損失計算、梯度計算和變量優(yōu)化。

研究人員使用獎勵模型R作為人類偏好的代理，提供生成回復(fù)質(zhì)量的反饋。在推理時對?過程中，系統(tǒng)通過迭代調(diào)整輸出，使其逐步更符合獎勵模型的偏好。

△測試時間偏好優(yōu)化(TPO)框架(AlpacaEval2的真實示例)

該過程最多進(jìn)行D次迭代，類似于訓(xùn)練過程，稱為推理時訓(xùn)練（test-time training）。最終，選擇緩存中評分最高的回復(fù)作為最終輸出。

實驗與結(jié)果

策略模型

• 未對齊模型：Llama-3.1-70B-SFT
• 已對齊模型：
  -Llama-3.1-70B-Instruct
  -Llama-3.1-70B-DPO（UltraFeedback訓(xùn)練得來）

獎勵模型

• FsfairX-LLaMA3-RM-v0.1
• Llama-3.1-Tulu-3-8B-RM

benchmark與評價指標(biāo)

• 指令跟隨：Alpaca Eval 2（原始勝率WR和長度控制勝率LC）和ArenaHard（勝率WR）
• 偏好對齊：HH-RLHF（采樣500條，F(xiàn)sfairX-LLaMA3-RM-v0.1的平均獎勵分?jǐn)?shù)）
• 安全：BeaverTails-Evaluation（FsfairX-LLaMA3-RM-v0.1的平均獎勵分?jǐn)?shù)）XSTest（WildGuard的準(zhǔn)確率）
• 數(shù)學(xué)能力：MATH-500（使用0-shot配置和CoT提示，pass@1準(zhǔn)確率）

推理時訓(xùn)練效果

TPO在推理時對模型進(jìn)行優(yōu)化，通過少量的迭代步數(shù)逐漸擬合獎勵模型偏好，顯著提升未對齊模型的性能，使其達(dá)到與對齊模型相當(dāng)?shù)乃剑辉谝褜R模型上，TPO進(jìn)一步增強(qiáng)了對齊效果，而Revision版本（迭代優(yōu)化選定回復(fù)而不參考被拒絕回復(fù)）的提升有限。

benchmark性能

TPO能夠顯著提升模型性能指標(biāo)，未對齊模型通過TPO超越了訓(xùn)練時對齊的模型，而對齊模型在經(jīng)過TPO迭代后也獲得了進(jìn)一步的優(yōu)化。D和N分別表示最大迭代次數(shù)和樣本數(shù)量。

* 表示使用獎勵模型FsfairX-LLaMA3-RM-v0.1優(yōu)化的模型，而?表示Llama-3.1-Tulu-3-8B-RM。

推理穩(wěn)定性

TPO能夠有效地根據(jù)獎勵模型的反饋調(diào)整模型輸出，顯著改善推理穩(wěn)定性，表現(xiàn)為采樣樣本的獎勵分?jǐn)?shù)標(biāo)準(zhǔn)差的降低。

TPO的特性分析

TPO的寬度：增加TPO的搜索寬度（即每次TPO迭代中采樣的回復(fù)數(shù)量）能夠顯著提升性能，直到達(dá)到飽和。

TPO的深度：增加TPO的搜索深度比單純增加樣本數(shù)量更有效地發(fā)現(xiàn)更高質(zhì)量的回復(fù)。

TPO的計算成本：TPO無需更改模型參數(shù)，與訓(xùn)練時偏好優(yōu)化相比，在計算成本上具有顯著優(yōu)勢。TPO的計算成本（FLOPs）僅為一輪DPO訓(xùn)練（64,000條數(shù)據(jù)）所需開銷的0.01%。而Instruct模型通常在百萬級語料上多輪迭代，訓(xùn)練成本遠(yuǎn)高于DPO，進(jìn)一步凸顯了TPO在相對計算成本方面的優(yōu)勢。

TPO的指令跟隨前提：TPO的成功依賴于策略模型具備基礎(chǔ)的指令跟隨能力，因為模型必須準(zhǔn)確解釋和響應(yīng)數(shù)值形式的獎勵模型偏好。

總結(jié)

提出推理時偏好優(yōu)化（TPO）方法，通過在推理過程中與獎勵模型交互，將獎勵模型信號轉(zhuǎn)化為”文本損失”和”文本梯度”，以此迭代優(yōu)化模型輸出。

無需重新訓(xùn)練，即可讓大語言模型與人類偏好對齊。TPO為訓(xùn)練時偏好優(yōu)化提供了輕量、高效且可解釋的替代方案，充分利用了大語言模型在推理時的固有能力。

推理時優(yōu)化的靈活性：TPO通過即時文本反饋實現(xiàn)推理時對?，增強(qiáng)了模型在多樣化場景中的適應(yīng)能力，能快速響應(yīng)變化的需求和任務(wù)的變化。此外，TPO充分利用大語言模型在推理、指令跟隨等方面的內(nèi)在優(yōu)勢，從?實現(xiàn)了更靈活的偏好對?。

未來研究?向：未來的研究可聚焦于優(yōu)化文本交互?法，使其能夠適應(yīng)更多專門任務(wù)，探索更魯棒的獎勵模型以提升偏好捕捉能?，并研究如何提升較弱模型在TPO中的表現(xiàn)，從而進(jìn)一步拓展其應(yīng)用場景和優(yōu)化效果。

論?鏈接：https://arxiv.org/abs/2501.12895
Github鏈接：https://github.com/yafuly/TPO
Huggingface鏈接：https://huggingface.co/papers/2501.12895