大模型在處理更復(fù)雜的問(wèn)題時(shí)，仍然容易在推理過(guò)程中出現(xiàn)錯(cuò)誤，導(dǎo)致推理路徑偏離，最終影響模型的整體性能?，F(xiàn)有的大語(yǔ)言模型在多步推理任務(wù)中，通常會(huì)由于推理路徑中某一步驟的錯(cuò)誤而影響整個(gè)推理過(guò)程。這些錯(cuò)誤不僅降低了模型的準(zhǔn)確性，還增加了計(jì)算成本和執(zhí)行延遲。傳統(tǒng)的方法如強(qiáng)化學(xué)習(xí)需要復(fù)雜的獎(jiǎng)勵(lì)模型，而其他偏好優(yōu)化方法往往忽視了多步推理任務(wù)中錯(cuò)誤發(fā)生的具體步驟及其后續(xù)分支。

為了解決這些問(wèn)題，阿里巴巴達(dá)摩院、新加坡科技設(shè)計(jì)大學(xué)和南洋理工大學(xué)聯(lián)合團(tuán)隊(duì)提出了一種新的訓(xùn)練框架——Reasoning Paths Optimization（RPO）。該框架通過(guò)探索和學(xué)習(xí)多樣化的推理路徑，優(yōu)化大語(yǔ)言模型的推理能力。具體而言，RPO在每個(gè)推理步驟中鼓勵(lì)有利分支，懲罰不利分支，從而提高模型的整體問(wèn)題解決能力。與需要大規(guī)模人工注釋的傳統(tǒng)方法不同，RPO利用模型自身生成的推理路徑，使其具備可擴(kuò)展性和數(shù)據(jù)高效性。10 月 16 日，他們的技術(shù)論文《Reasoning Paths Optimization:Learning to Reason and Explore From Diverse Paths》發(fā)表于arXiv，引起廣泛關(guān)注。

研究團(tuán)隊(duì)結(jié)合了來(lái)自學(xué)術(shù)界和工業(yè)界的資源與智慧，成員包括新加坡科技設(shè)計(jì)大學(xué)、阿里巴巴達(dá)摩院和南洋理工大學(xué)的專家。他們的跨機(jī)構(gòu)合作為研究提供了強(qiáng)大的技術(shù)支持和創(chuàng)新能力，展示了推理路徑優(yōu)化在前沿科技研究中的巨大潛力。主要成員包括新加坡科技設(shè)計(jì)大學(xué)與阿里巴巴達(dá)摩院聯(lián)合博士項(xiàng)目的Yew Ken Chia 和 Guizhen Chen；阿里巴巴達(dá)摩院的研究員Weiwen Xu；南洋理工大學(xué)的研究人員Luu Anh Tuan 和 Soujanya Poria；阿里巴巴達(dá)摩院和新加坡科技設(shè)計(jì)大學(xué)的Lidong Bing。通過(guò)此次合作，該團(tuán)隊(duì)展示了Reasoning Paths Optimization框架的潛力，不僅在理論上提供了新的方法，也在實(shí)際應(yīng)用中展現(xiàn)了良好的效果。

研究方法

大語(yǔ)言模型在解決復(fù)雜問(wèn)題時(shí)，經(jīng)常需要進(jìn)行多步推理。為了提高模型的推理能力，研究團(tuán)隊(duì)提出了一種新的框架，即Reasoning Paths Optimization（RPO）。該框架旨在生成并優(yōu)化推理路徑，確保模型能在復(fù)雜問(wèn)題中更準(zhǔn)確地找到正確答案。推理路徑生成的核心在于鏈?zhǔn)剿季S提示。

鏈?zhǔn)剿季S提示是一種通過(guò)展示多個(gè)逐步推理示例，來(lái)引導(dǎo)模型逐步推理的方法。具體來(lái)說(shuō)，鏈?zhǔn)剿季S提示通過(guò)給出問(wèn)題及其對(duì)應(yīng)的推理步驟，幫助模型學(xué)習(xí)如何進(jìn)行多步推理。為了生成參考推理路徑，首先，他們需要準(zhǔn)備一系列示例，每個(gè)示例包含一個(gè)問(wèn)題及其對(duì)應(yīng)的推理路徑。接著，利用這些示例通過(guò)溫度采樣技術(shù)從基礎(chǔ)模型中生成推理路徑。

圖1：模型的推理路徑如何很容易地分叉到無(wú)法達(dá)到正確解的不利分支的示例。雖然我們?cè)谶@里展示了一個(gè)簡(jiǎn)化的例子，但對(duì)于需要更長(zhǎng)推理路徑的更復(fù)雜的問(wèn)題，挑戰(zhàn)被放大了。

在生成參考推理路徑的過(guò)程中，模型會(huì)生成多個(gè)可能的推理路徑，并最終選擇其中能夠達(dá)到正確答案的路徑作為參考路徑。如果生成的路徑在最后一步包含正確答案，他們將其視為正確路徑。如果未能生成正確路徑，則繼續(xù)采樣和驗(yàn)證，最多嘗試十次。通過(guò)這種方式，他們可以確保生成的推理路徑盡可能準(zhǔn)確，避免錯(cuò)誤累積導(dǎo)致推理失敗。

為了進(jìn)一步提高模型的推理能力，他們需要考慮每個(gè)推理步驟中可能出現(xiàn)的錯(cuò)誤。因此，在推理探索階段，他們通過(guò)多分支探索方法來(lái)生成多個(gè)可能的解決分支，從而找出有利與不利分支對(duì)。

具體來(lái)說(shuō)，在生成參考路徑后，他們從每一步開始，生成多個(gè)可能的分支，并通過(guò)溫度采樣技術(shù)探索這些分支。在這個(gè)過(guò)程中，他們目標(biāo)是找到一個(gè)有利分支和一個(gè)不利分支，其中有利分支能夠通向正確答案，而不利分支則不能。通過(guò)迭代采樣和驗(yàn)證，每一步都會(huì)形成一個(gè)推理分支對(duì)，這些分支對(duì)將用于后續(xù)的對(duì)比反饋和優(yōu)化過(guò)程。

圖2：我們用于探索和學(xué)習(xí)不同推理路徑的推理路徑優(yōu)化框架概述。

在推理優(yōu)化階段，他們結(jié)合參考路徑和探索得到的分支對(duì)，通過(guò)計(jì)算參考路徑損失和分支對(duì)損失，實(shí)現(xiàn)對(duì)基礎(chǔ)模型的優(yōu)化。首先，參考路徑損失是通過(guò)標(biāo)準(zhǔn)的因果語(yǔ)言模型損失計(jì)算的，目的是提高模型生成參考路徑的概率。具體公式為：

其次，對(duì)于分支對(duì)損失，通過(guò)對(duì)比有利和不利分支，提供對(duì)模型優(yōu)化的指導(dǎo)。分支對(duì)損失的計(jì)算基于對(duì)數(shù)賠率差，具體公式為：

生成分支的賠率通過(guò)以下公式計(jì)算：

通過(guò)聚合每一步的分支對(duì)損失，他們可以得到總體的探索損失：

最終，他們綜合參考路徑損失和探索損失，通過(guò)以下公式實(shí)現(xiàn)總損失函數(shù)的優(yōu)化：

其中，λ是平衡參考路徑優(yōu)化和探索分支優(yōu)化的超參數(shù)。通過(guò)這種方式，RPO框架能夠有效提高模型在復(fù)雜問(wèn)題求解中的推理能力，減少錯(cuò)誤的發(fā)生，提升整體性能。

這部分內(nèi)容詳細(xì)介紹了論文中提出的Reasoning Paths Optimization框架的研究方法，包括推理路徑生成、推理探索和推理優(yōu)化的具體步驟和計(jì)算方法。接下來(lái)，將進(jìn)一步討論實(shí)驗(yàn)結(jié)果和對(duì)比分析，以驗(yàn)證該方法的有效性和優(yōu)勢(shì)。

實(shí)驗(yàn)與結(jié)果

在實(shí)驗(yàn)部分，他們?cè)敿?xì)介紹了使用的數(shù)據(jù)集、實(shí)驗(yàn)方法及其結(jié)果。這些實(shí)驗(yàn)展示了Reasoning Paths Optimization（RPO）框架在提高模型推理能力方面的有效性。通過(guò)對(duì)比不同基線方法和調(diào)整實(shí)驗(yàn)參數(shù)，他們進(jìn)一步驗(yàn)證了該方法的優(yōu)勢(shì)。

數(shù)據(jù)集介紹

為了全面評(píng)估RPO框架的性能，他們選擇了多個(gè)具有代表性的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。這些數(shù)據(jù)集包括GSM8K、MATH和MMLU-STEM。

圖3:GSM8K和math中數(shù)學(xué)推理問(wèn)題以及MMLU-STEM中基于科學(xué)的考試問(wèn)題的不同訓(xùn)練方法的評(píng)估準(zhǔn)確率（%）的主要結(jié)果。我們還指出，與性能最高的基線相比，我們的方法有所改進(jìn)。

GSM8K數(shù)據(jù)集主要用于數(shù)學(xué)文字問(wèn)題的推理評(píng)估，該數(shù)據(jù)集包含了8000多個(gè)經(jīng)過(guò)人工標(biāo)注的數(shù)學(xué)題目，涵蓋了從簡(jiǎn)單到復(fù)雜的各種難度等級(jí)。由于其多樣性和高質(zhì)量標(biāo)注，GSM8K成為了評(píng)估語(yǔ)言模型推理能力的重要基準(zhǔn)。

MATH數(shù)據(jù)集則專注于競(jìng)賽級(jí)數(shù)學(xué)題目，這些題目通常需要復(fù)雜的多步推理才能得出正確答案。MATH數(shù)據(jù)集的引入能夠幫助他們?cè)u(píng)估模型在高難度推理任務(wù)中的表現(xiàn)，檢測(cè)RPO在應(yīng)對(duì)復(fù)雜問(wèn)題時(shí)的有效性。

MMLU-STEM數(shù)據(jù)集是MMLU考試問(wèn)題數(shù)據(jù)集的一個(gè)子集，專注于科學(xué)、技術(shù)、工程和數(shù)學(xué)（STEM）領(lǐng)域的問(wèn)題。該數(shù)據(jù)集包含了多個(gè)需要多步推理才能解決的問(wèn)題，能夠全面評(píng)估RPO在不同領(lǐng)域推理任務(wù)中的適用性和效果。

實(shí)驗(yàn)方法

在實(shí)驗(yàn)過(guò)程中，他們采用了多種基線方法進(jìn)行比較，以驗(yàn)證RPO框架的性能提升。主要的基線方法包括監(jiān)督微調(diào)（SFT）、拒絕采樣微調(diào)（RFT）、直接偏好優(yōu)化（DPO）和賠率比偏好優(yōu)化（ORPO）。

監(jiān)督微調(diào)方法不使用推理路徑，僅訓(xùn)練模型生成最終答案。拒絕采樣微調(diào)方法利用模型自生成的推理路徑進(jìn)行訓(xùn)練，類似于RPO框架的推理生成階段。直接偏好優(yōu)化和賠率比偏好優(yōu)化則提供對(duì)比反饋，幫助模型在有利和不利分支之間進(jìn)行選擇。

在模型訓(xùn)練和評(píng)估過(guò)程中，他們首先通過(guò)鏈?zhǔn)剿季S提示生成參考推理路徑，并結(jié)合多分支探索方法生成多個(gè)可能的分支對(duì)。然后，通過(guò)計(jì)算參考路徑損失和分支對(duì)損失，優(yōu)化模型的推理能力。為了確保結(jié)果的可靠性，他們?cè)谟?xùn)練和評(píng)估過(guò)程中保持一致的實(shí)驗(yàn)設(shè)置，采用固定的采樣溫度和批量大小。

實(shí)驗(yàn)結(jié)果

通過(guò)對(duì)比不同基線方法，他們發(fā)現(xiàn)RPO框架在多個(gè)數(shù)據(jù)集上均表現(xiàn)出了顯著的性能提升。特別是在GSM8K和MMLU-STEM數(shù)據(jù)集上，RPO分別取得了3.1%和4.3%的性能提升。這表明RPO框架能夠有效減少推理過(guò)程中錯(cuò)誤的發(fā)生，提高整體推理能力。

此外，他們還研究了不同權(quán)重λ值對(duì)性能的影響。結(jié)果顯示，λ值過(guò)低會(huì)導(dǎo)致對(duì)推理探索重視不夠，結(jié)果不佳；而過(guò)高則會(huì)影響參考路徑的優(yōu)化效果。因此，在優(yōu)化參考路徑和探索分支之間找到平衡是至關(guān)重要的。

圖4:LLaMA-3-8B的勘探損失權(quán)重對(duì)MATH數(shù)據(jù)集性能的影響。

圖5:LLaMA-3-8B在MATH數(shù)據(jù)集上的推理路徑長(zhǎng)度性能。

推理路徑長(zhǎng)度對(duì)結(jié)果的影響也進(jìn)行了分析。與最高性能基線ORPO相比，RPO在較長(zhǎng)推理路徑上的表現(xiàn)更好，表明該方法能夠有效減少?gòu)?fù)雜問(wèn)題中的錯(cuò)誤發(fā)生。

案例研究

為了進(jìn)一步驗(yàn)證RPO框架的有效性，他們進(jìn)行了案例研究。通過(guò)對(duì)具體問(wèn)題的詳細(xì)分析，他們發(fā)現(xiàn)RPO不僅能夠得出正確答案，還能通過(guò)連貫的推理過(guò)程展示推理步驟。相比之下，其他基線方法在沒(méi)有詳細(xì)解釋的情況下，容易在第一步就出現(xiàn)錯(cuò)誤。

常見錯(cuò)誤及其修正也在案例研究中得到了詳細(xì)討論。通過(guò)逐步驗(yàn)證推理路徑，RPO框架能夠有效減少錯(cuò)誤，提升模型的推理能力和可靠性。

基于代碼的推理

除了自然語(yǔ)言推理，RPO框架還在代碼推理中展現(xiàn)了良好的適用性。他們通過(guò)代碼示例生成Python程序，得到輸出答案。實(shí)驗(yàn)結(jié)果表明，RPO在文本和代碼推理中均表現(xiàn)出相似的優(yōu)勢(shì)。這表明該框架不僅在自然語(yǔ)言處理任務(wù)中有效，還可以推廣到其他領(lǐng)域，如代碼生成和代碼增強(qiáng)推理。

對(duì)比目標(biāo)和參考路徑的影響

在實(shí)驗(yàn)中，他們研究了不同對(duì)比目標(biāo)和參考路徑的影響。結(jié)果顯示，RPO框架在不同對(duì)比目標(biāo)下表現(xiàn)出一致的穩(wěn)健性和性能提升。此外，使用多個(gè)參考路徑能夠進(jìn)一步增強(qiáng)模型的推理能力，證明了RPO在處理復(fù)雜推理任務(wù)時(shí)的有效性。

通過(guò)這些實(shí)驗(yàn)結(jié)果，他們可以得出結(jié)論，Reasoning Paths Optimization框架通過(guò)優(yōu)化推理路徑，有效提高了大語(yǔ)言模型在復(fù)雜問(wèn)題求解中的可靠性和效率。這進(jìn)一步展示了該方法在多步推理任務(wù)中的巨大潛力，并為未來(lái)研究提供了重要的啟示。

相關(guān)工作

一致性和基于偏好的優(yōu)化

在人類反饋強(qiáng)化學(xué)習(xí)（RLHF）領(lǐng)域，很多研究致力于使大語(yǔ)言模型（LLMs）更好地與人類偏好對(duì)齊，并能夠遵循指示。RLHF方法通過(guò)訓(xùn)練一個(gè)單獨(dú)的獎(jiǎng)勵(lì)模型來(lái)提供標(biāo)量反饋，然后使用該反饋對(duì)LLMs進(jìn)行微調(diào)。然而，PPO算法雖然廣泛應(yīng)用，但其復(fù)雜性和不穩(wěn)定性讓訓(xùn)練過(guò)程充滿挑戰(zhàn)。此外，RLHF需要分階段訓(xùn)練獎(jiǎng)勵(lì)模型和策略模型，這進(jìn)一步增加了技術(shù)難度。為了解決這些問(wèn)題，近來(lái)涌現(xiàn)了多種技術(shù)，包括直接偏好優(yōu)化（DPO）、無(wú)偏好優(yōu)化（IPO）、簡(jiǎn)化偏好優(yōu)化（SimPO）和賠率比偏好優(yōu)化（ORPO），這些技術(shù)在一定程度上消除了對(duì)獎(jiǎng)勵(lì)模型的需求，大大穩(wěn)定并簡(jiǎn)化了訓(xùn)練過(guò)程。

這些優(yōu)化方法通過(guò)成對(duì)比較模型生成的兩個(gè)響應(yīng)，推動(dòng)模型為更有利的響應(yīng)分配更高的概率。然而，這些偏好優(yōu)化方法通常在整體上比較兩個(gè)響應(yīng)，忽視了多步推理任務(wù)中特定步驟及其后續(xù)分支中錯(cuò)誤的影響。因此，他們提出了Reasoning Paths Optimization（RPO），該方法關(guān)注每個(gè)中間步驟，提供更精細(xì)的對(duì)比反饋，有效提高模型的推理能力。

大語(yǔ)言模型中的多步推理

大語(yǔ)言模型在多步推理任務(wù)中表現(xiàn)出色，能夠通過(guò)逐步生成推理步驟來(lái)解決復(fù)雜的問(wèn)題。研究表明，通過(guò)引導(dǎo)模型生成推理步驟，可以顯著提升其多步推理能力。例如，鏈?zhǔn)剿季S提示通過(guò)向模型展示逐步推理的示例，幫助其學(xué)習(xí)如何逐步推理。盡管如此，LLMs在推理過(guò)程中仍然容易出現(xiàn)錯(cuò)誤，特別是在面對(duì)復(fù)雜的多步推理任務(wù)時(shí)。為了解決這一問(wèn)題，逐步驗(yàn)證推理路徑成為一種有效的方法，能夠在每個(gè)推理步驟中捕捉并糾正錯(cuò)誤。

此外，最新研究嘗試通過(guò)構(gòu)建逐步標(biāo)簽來(lái)驗(yàn)證中間步驟，從而減少人工注釋的成本。這些方法主要集中在訓(xùn)練驗(yàn)證器（即獎(jiǎng)勵(lì)模型），而他們的RPO框架則通過(guò)流程監(jiān)督將驗(yàn)證方法應(yīng)用于偏好優(yōu)化，無(wú)需單獨(dú)的獎(jiǎng)勵(lì)模型。

人工智能中的路徑探索

在人工智能領(lǐng)域，路徑探索技術(shù)被廣泛應(yīng)用于提高復(fù)雜任務(wù)的性能。比如，AlphaGo使用蒙特卡洛樹搜索（MCTS）來(lái)探索可能的移動(dòng)空間。類似地，樹狀提示（Tree-of-Thought prompting）通過(guò)探索語(yǔ)言模型生成的可能解決方案空間，提高模型的決策能力。其他研究也設(shè)計(jì)了基于樹的解碼策略，以尋找最佳解決方案。在推理任務(wù)中，先前的研究通過(guò)自采樣解決方案進(jìn)行訓(xùn)練，并通過(guò)樹搜索生成路徑，進(jìn)一步優(yōu)化模型性能。

受這些工作的啟發(fā)，研究團(tuán)隊(duì)提出的RPO框架通過(guò)探索多樣化的解決方案空間，并在訓(xùn)練期間利用有利和不利分支的對(duì)比反饋來(lái)優(yōu)化模型。通過(guò)這種方式，他們不僅能夠捕捉到推理過(guò)程中的錯(cuò)誤，還能夠通過(guò)對(duì)比反饋進(jìn)一步提升模型的整體推理能力。

總結(jié)起來(lái)，研究團(tuán)隊(duì)提出的Reasoning Paths Optimization框架在推理路徑生成、推理探索和推理優(yōu)化方面提供了一種全新的方法。通過(guò)對(duì)比現(xiàn)有的偏好優(yōu)化方法和多步推理技術(shù)，RPO框架展示了其在提高大語(yǔ)言模型推理能力方面的潛力和優(yōu)勢(shì)。

結(jié)論與未來(lái)工作

研究團(tuán)隊(duì)提出了一種新穎的訓(xùn)練框架，即推理路徑優(yōu)化（Reasoning Paths Optimization，簡(jiǎn)稱RPO），旨在提升大語(yǔ)言模型在多步推理任務(wù)中的性能。通過(guò)生成、探索和優(yōu)化多樣化的推理路徑，RPO框架展示了其在復(fù)雜問(wèn)題求解中的卓越能力。該方法通過(guò)鏈?zhǔn)剿季S提示生成參考推理路徑，并在推理過(guò)程中探索多個(gè)可能的解決分支，形成有利和不利的推理分支對(duì)。最終，通過(guò)對(duì)比反饋和優(yōu)化，總損失函數(shù)結(jié)合參考路徑損失和探索損失，有效提高了模型的整體推理能力。

實(shí)驗(yàn)結(jié)果表明，RPO在多個(gè)數(shù)據(jù)集上均表現(xiàn)出顯著的性能提升，尤其是在GSM8K和MMLU-STEM數(shù)據(jù)集上，分別提高了3.1%和4.3%。這些結(jié)果證明了RPO框架在減少推理過(guò)程中錯(cuò)誤發(fā)生，提高復(fù)雜問(wèn)題求解中的可靠性和效率方面的優(yōu)勢(shì)。

盡管RPO框架展示了顯著的性能提升，但其方法仍存在一些局限性。首先，RPO依賴于模型在訓(xùn)練階段生成正確推理路徑的能力，如果基礎(chǔ)模型表現(xiàn)不佳，可能難以生成必要的正確路徑，從而限制了方法的有效性。其次，生成和探索多個(gè)推理路徑的過(guò)程相對(duì)計(jì)算密集，盡管這是訓(xùn)練中的一次性成本，但仍需大量計(jì)算資源支持，這在資源受限的環(huán)境中可能會(huì)成為瓶頸。

此外，RPO框架雖然無(wú)需大規(guī)模人工注釋，但在生成初始參考路徑和探索分支時(shí)，仍可能受到模型自身生成質(zhì)量的影響。如果生成的參考路徑不夠準(zhǔn)確，或者探索到的分支存在較多錯(cuò)誤，可能會(huì)影響最終優(yōu)化結(jié)果的質(zhì)量。

未來(lái)的研究可以從以下幾個(gè)方面進(jìn)一步改進(jìn)和擴(kuò)展RPO框架。

增強(qiáng)基礎(chǔ)模型的推理能力：可以考慮結(jié)合更多的訓(xùn)練數(shù)據(jù)和更先進(jìn)的預(yù)訓(xùn)練模型，以提高基礎(chǔ)模型在生成正確推理路徑時(shí)的性能，從而增強(qiáng)RPO的整體效果。

優(yōu)化計(jì)算資源的使用：針對(duì)生成和探索過(guò)程中的計(jì)算密集問(wèn)題，研究可以嘗試引入更加高效的采樣和驗(yàn)證方法，以減少計(jì)算資源的消耗，提升訓(xùn)練效率。

擴(kuò)展應(yīng)用領(lǐng)域：RPO框架在自然語(yǔ)言處理中的推理任務(wù)表現(xiàn)優(yōu)異，未來(lái)可以探索其在其他領(lǐng)域的應(yīng)用，例如代碼生成、科學(xué)計(jì)算和復(fù)雜系統(tǒng)建模等，驗(yàn)證其在更多任務(wù)中的適用性和有效性。

開發(fā)更健壯的驗(yàn)證機(jī)制：引入更加智能和自動(dòng)化的驗(yàn)證機(jī)制，減少對(duì)模型生成質(zhì)量的依賴，確保探索到的推理分支更加準(zhǔn)確和有效。

人機(jī)協(xié)作優(yōu)化：探索人類專家與RPO框架的協(xié)作，通過(guò)專家指導(dǎo)和反饋進(jìn)一步優(yōu)化推理路徑，提升模型的整體推理能力和準(zhǔn)確性。

總之，Reasoning Paths Optimization框架通過(guò)創(chuàng)新的方法和嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)，展示了其在提升大語(yǔ)言模型多步推理能力方面的巨大潛力。盡管存在一些局限性，但隨著技術(shù)的發(fā)展和研究的深入，RPO有望在更多復(fù)雜任務(wù)中發(fā)揮重要作用，推動(dòng)人工智能技術(shù)的持續(xù)進(jìn)步和應(yīng)用。（END）

參考資料：https://arxiv.org/pdf/2410.10858

本文轉(zhuǎn)載自 大噬元獸，作者： FlerkenS