LLM對數(shù)據(jù)的大量消耗，不僅體現(xiàn)在預(yù)訓(xùn)練語料上，還體現(xiàn)在RLHF、DPO等對齊階段。

后者不僅依賴昂貴的人工標(biāo)注數(shù)據(jù)，而且很可能讓人類水平限制LLM的進(jìn)一步發(fā)展。

今年1月，Meta和NYU的團(tuán)隊就提出了語言模型的自我獎勵機(jī)制，使用LLM-as-a-Judge的提示機(jī)制，讓模型在訓(xùn)練期間進(jìn)行自我反饋。

論文地址：https://arxiv.org/abs/2401.10020

論文發(fā)現(xiàn)，即使不依靠人類標(biāo)注者，LLM也能通過評價自己的響應(yīng)實(shí)現(xiàn)性能提升。

最近，這個團(tuán)隊又發(fā)表了一篇研究，將LLM「自我獎勵」這件事情再拔高了一個層次。

論文地址：https://arxiv.org/abs/2407.19594

畢竟是自己給自己打分，因此不能只關(guān)注模型作為actor如何從反饋中優(yōu)化，也需要保證模型作為judge具備優(yōu)秀的自我評價能力。

之前的研究就因為過于關(guān)注前者而忽略后者，造成了迭代訓(xùn)練期間性能的過快飽和。

甚至，還有可能造成比飽和更差的情況，即對獎勵信號的過度擬合（reward hacking）。

因此，來自Meta、NYU、UC伯克利等機(jī)構(gòu)的研究者們提出，還需要增加一個「元獎勵」步驟——讓模型評價自己的評價，從而提升評價能力。

雖然聽起來有點(diǎn)繞，但實(shí)際是合理的。而且實(shí)驗發(fā)現(xiàn)，加上這一層嵌套有顯著的提升效果。

比如Llama-3-8B-Instruct在AlpacaEval 2上的勝率就從22.9%增至39.4%，比GPT-4的表現(xiàn)更佳；在Arena-Hard上則從20.6%提升至29.1%。

如果說，今年1月發(fā)表的研究是LLM-as-a-Judge，那么這篇論文提出的「元獎勵」，就相當(dāng)于LLM-as-a-Meta-Judge。

不僅Judge不需要人類，Meta-Judge也能自給自足，這似乎進(jìn)一步證明，模型的自我提升可以擺脫對人類監(jiān)督的依賴。

Meta科學(xué)家Yann LeCun也轉(zhuǎn)發(fā)了這篇研究，并親自下場玩起了雙關(guān)?！?/span>

Meta提出的Meta-Judge，F(xiàn)AIR能否實(shí)現(xiàn)fair？

研究不重要，重要的是Meta FAIR這一波曝光率拉滿了。

元獎勵（Meta-Rewarding）

用更直白的話說，「元獎勵」方法就是在原有的actor-judge的互動中再引入meta-judge，且由同一個模型「分飾三角」，不需要額外人類數(shù)據(jù)的參與。

其中，actor負(fù)責(zé)對給定提示生成響應(yīng)；judge負(fù)責(zé)為自己的響應(yīng)進(jìn)行評價和打分；而meta-judge會對自己的打分質(zhì)量進(jìn)行對比。

最終的優(yōu)化目標(biāo)，是希望actor能生成更好的響應(yīng)，但訓(xùn)練效率依賴于judge的準(zhǔn)確率。

因此，meta-judge作為訓(xùn)練judge的角色，可以同時提升模型作為actor和judge的性能。

這三種角色組成的迭代訓(xùn)練模式如圖1所示，在第t個步驟中，先收集模型M_t對提示x的響應(yīng)，由再讓M_t對自己進(jìn)行評價，由此得到用于訓(xùn)練actor的偏好數(shù)據(jù)。

之后，給定同一個響應(yīng)內(nèi)容y，讓M_t生成各種不同評價的變體，由meta-judge進(jìn)行打分和排名，由此得到用于訓(xùn)練judge的偏好數(shù)據(jù)。

結(jié)合上述的兩類偏好數(shù)據(jù)，通過DPO方法對模型M_t進(jìn)行偏好優(yōu)化，就完成了一輪迭代，得到模型M_(t+1)。

長度偏好

之前的工作曾經(jīng)發(fā)現(xiàn)，作為judge的模型會偏好更長的響應(yīng)，這會導(dǎo)致多輪迭代后答案的「長度爆炸」。

因此，作者引入了一種簡潔的「長度控制」（length-control）機(jī)制——使用參數(shù)ρ∈[0,1]，權(quán)衡judge的評分和響應(yīng)文本長度。

比如，對于分?jǐn)?shù)在第一梯隊的模型響應(yīng)，即分?jǐn)?shù)范圍為[(1-ρ)S_max+ρS_min, S_max]，選擇其中最短的響應(yīng)作為最優(yōu)答案。

Judge偏好數(shù)據(jù)的創(chuàng)建

首先，選擇judge最沒有把握的模型響應(yīng)，通過分?jǐn)?shù)方差衡量judge的確定性。對于每個選中的響應(yīng)y，我們有最多N個對應(yīng)的模型評價{j¹, … , j^N}。

之后，對其中的每一對(j^m, jⁿ)進(jìn)行成對評估，使用如圖2所示的meta-judge提示模板。

除了給出評價結(jié)果，meta-judge還需要生成CoT推理過程。

為減少meta-judge可能存在的位置偏好（可能傾向于選擇最先出現(xiàn)的Judgment A），對同一對數(shù)據(jù)(j^m, jⁿ)會交換順序讓meta-judge進(jìn)行兩次評價，得到單次結(jié)果r^mn：

引入?yún)?shù)w₁、w₂用于表征可能存在的位置偏好：

其中win_1st和win_2nd表示在meta-judge的整個評價過程中，兩個位置的評價分別有多少次勝出。

用以上變量構(gòu)建「對決矩陣」（battle matrix）B記錄每一次的最終結(jié)果：

利用Elo評分，可以從矩陣B計算meta-judge給每個judge賦予的元獎勵分?jǐn)?shù)。

作者發(fā)現(xiàn)，meta-judge和judge一樣，也會展現(xiàn)出「長度偏好」，傾向于選擇更長的評價意見。

為了避免最終訓(xùn)出的模型過于啰嗦，構(gòu)建judge數(shù)據(jù)集時也采取了過濾措施。如果meta-judge選中的評價意見超過一定長度，整個數(shù)據(jù)對都會被直接舍棄。

評估實(shí)驗

實(shí)驗準(zhǔn)備

實(shí)驗使用Llama-3-8B-Instruct作為種子模型，其他方面的實(shí)驗設(shè)置與之前發(fā)表的論文《Self-Rewarding Language Models》一致。

在元獎勵訓(xùn)練之前，實(shí)驗首先在EFT（Evaluation Fine-Tuning）數(shù)據(jù)集上對種子模型進(jìn)行監(jiān)督微調(diào)（SFT）。

EFT數(shù)據(jù)集是根據(jù)Open Assistant構(gòu)建的，并提供初始的LLM-as-a-Judge訓(xùn)練數(shù)據(jù)，包含經(jīng)過排名的人類響應(yīng)，能訓(xùn)練模型充當(dāng)法官。

對于元獎勵迭代，實(shí)驗利用2萬個提示，由Llama-2-70B-Chat經(jīng)過8-shot提示生成。

如上圖所示，訓(xùn)練所用的提示在分布上更接近AlpacaEval數(shù)據(jù)集，而Arena-Hard的提示集中分布于訓(xùn)練提示的一個子集。

對于每次迭代，實(shí)驗從該種子集中抽取5,000個提示，總共進(jìn)行四次迭代。

迭代過程如下：

- Iter 1：從初始的SFT模型開始，使用DPO（Direct Preference Optimization）對生成的actor和judge的偏好對進(jìn)行訓(xùn)練，獲得M1。

- Iter 2：使用DPO對M1生成的actor和judge偏好對進(jìn)行訓(xùn)練，獲得M2。

- Iter 3/4：使用DPO僅對M2/M3生成的actor偏好對進(jìn)行訓(xùn)練，獲得M3/M4。

每個prompt都讓模型生成K=7個響應(yīng)，每次迭代總共生成3.5萬個響應(yīng)。然后，我們過濾掉相同的響應(yīng)（通常刪除不超過50個重復(fù)項）。

接下來，使用相同的采樣參數(shù)為每個響應(yīng)生成N = 11^2個不同的判斷。

評估方法

元獎勵模型的目標(biāo)是要讓模型既能自己「演」，還能自己「評」，因此實(shí)驗也要評估模型在這兩個角色中的表現(xiàn)如何。

基線模型是前述論文中提出的自我獎勵模型，帶有相同的「長度控制」機(jī)制，可以直接對比出元獎勵機(jī)制帶來的性能增益。

首先，先看看如何評判「演」的怎么樣。

實(shí)驗利用三個基于GPT4-as-a-Judge的自動評估基準(zhǔn)，包括AlpacaEval 2、Arena-Hard和MT-Bench，分別側(cè)重于模型的不同方面。

例如，AlpacaEval主要關(guān)注聊天場景，提示集涵蓋了各種日常問題。

相比之下，Arena-Hard包含更復(fù)雜或更具挑戰(zhàn)性的問題，要在預(yù)定義的7個方面（創(chuàng)造力、復(fù)雜性、問題解決能力等）滿足更多的標(biāo)準(zhǔn)。

MT-Bench有8個不同的問題類別，主要評估模型的多輪對話能力。

另一方面，為了評估LLM法官「評」的怎么樣，實(shí)驗測量了LLM給的分?jǐn)?shù)與人類偏好的相關(guān)性。如果沒有可用的人類標(biāo)注數(shù)據(jù)，則使用較強(qiáng)的AI法官代替。

指令跟隨評估

圖3展示了在AlpacaEval基準(zhǔn)上，元獎勵方法（帶有長度控制機(jī)制）勝率隨訓(xùn)練迭代的變化。

總體來看，元獎勵的勝率從22.9%大幅提升到39.4%，超過了GPT-4，并接近Claude Opus模型。

考慮到種子模型參數(shù)量只有8B，并且，除了在SFT階段使用的EFT數(shù)據(jù)集，沒有引入任何額外的人工數(shù)據(jù)，這是一個相當(dāng)優(yōu)秀的結(jié)果。

另外，結(jié)果也證明了meta-judge和長度控制機(jī)制的重要性。

自我獎勵模型訓(xùn)練到超過3輪時，開始出現(xiàn)飽和跡象，但帶有元獎勵的模型并沒有，到第4輪時仍保持性能增長。

這表明了對模型評價能力進(jìn)行訓(xùn)練的重要性，以及meta-judge這一角色的有效性。

如表1所示，經(jīng)過4輪迭代，無論是自我獎勵模型還是元獎勵模型，平均響應(yīng)長度（以字符為單位）都沒有顯著增加，證明長度控制機(jī)制的有效性。

元獎勵機(jī)制有以下三個較為明顯的改進(jìn)。

首先，將AlpacaEval中的805個類別細(xì)分為18個類別進(jìn)行詳細(xì)分析，可以看到，元獎勵幾乎改進(jìn)了所有類別的響應(yīng)（圖4），包括需要大量知識和推理的學(xué)科，例如科學(xué)（Science）、游戲（Gaming）、文學(xué)（Literature）等。

值得注意的是，旅游（Travel）和數(shù)學(xué)（Mathematics）這兩類，模型并沒有實(shí)現(xiàn)顯著提升。

第二，元獎勵改進(jìn)了對于復(fù)雜和困難問題的回答。

實(shí)驗進(jìn)一步使用Arena-Hard評估在元獎勵方法在回答復(fù)雜和具有挑戰(zhàn)性的問題上的表現(xiàn)。

表2中的評估結(jié)果顯示，元獎勵在4次迭代中都能提高分?jǐn)?shù)，與種子模型（20.6%）相比，顯著提高了8.5%。

第三，元獎勵在僅訓(xùn)練單輪對話的情況下也并未犧牲多輪對話能力。

論文進(jìn)行了MT-Bench評估，以檢查在僅訓(xùn)練單輪數(shù)據(jù)的情況下多輪對話能力的損失。

結(jié)果如下表顯示，元獎勵模型的4次迭代顯著提高了第一輪對話得分，從8.319（種子模型）提高到8.738，而第二輪對話得分僅下降了不超過 0.1。

這是對基線模型中自我獎勵+長度控制（Self-Rewarding + LC）的巨大改進(jìn)，因為后者通常會在第二輪對話得分上，下降超過 0.2，同時沒有提高第一輪對話得分。

獎勵模型評估

實(shí)驗評估了模型對種子模型Llama3-8B-Instruct生成響應(yīng)的判斷準(zhǔn)確性。

在缺乏人工標(biāo)注的情況下，作者選擇測量元獎勵模型與當(dāng)前最強(qiáng)的判斷模型gpt-4-1106-preview之間的評分相關(guān)性。

分析采用了兩種略有不同的設(shè)置，主要區(qū)別在于它們?nèi)绾翁幚砼袛嗄Ｐ徒o出的平局，因此使用了兩種指標(biāo)：將平局計為0.5的一致性分?jǐn)?shù)（agreement）和舍棄平局結(jié)果的一致性分?jǐn)?shù)。

結(jié)果顯示，模型在進(jìn)行訓(xùn)練后判斷能力有所提高。

表3中的分析顯示，與基線模型相比，在兩種評估設(shè)置中，元獎勵與強(qiáng)大的GPT-4判斷模型之間的相關(guān)性顯著提高。

這些結(jié)果表明，元獎勵方法能夠改進(jìn)模型判斷能力，使其評估結(jié)果與更復(fù)雜的語言模型GPT-4的評估結(jié)果更加接近。

此外，實(shí)驗對比了模型判斷結(jié)果與Open Assistant數(shù)據(jù)集中人類響應(yīng)排名的相關(guān)性（表7），發(fā)現(xiàn)元獎勵訓(xùn)練提高了與人類的判斷相關(guān)性。

然而，這種改進(jìn)在后續(xù)訓(xùn)練迭代中沒有持續(xù)，可能是由于模型生成的響應(yīng)與人類響應(yīng)之間的分布差異導(dǎo)致的。

分析

長度控制機(jī)制

長度控制機(jī)制對于保持模型響應(yīng)的全面性和簡潔性之間的平衡至關(guān)重要。

實(shí)驗比較了最后一次訓(xùn)練迭代中不同長度控制參數(shù)ρ的結(jié)果，如表4所示：

ρ = 0，相當(dāng)于在偏好數(shù)據(jù)選擇中不進(jìn)行任何長度控制。

正如預(yù)期的那樣，這種訓(xùn)練方式使得模型生成的響應(yīng)變得過于冗長，LC勝率降低。

使用外部獎勵模型進(jìn)行訓(xùn)練

元獎勵機(jī)制讓模型自己作為judge，來評估其自身的響應(yīng)；實(shí)驗嘗試了使用強(qiáng)大的外部獎勵模型Starling-RM-34B作為對比。

然而，結(jié)果發(fā)現(xiàn)StarlingRM-34B未能在第一次迭代中提高AlpacaEval的LC勝率（24.63% vs. 27.85%），這可能是由于其長度偏見。

meta-judge偏見

在元獎勵訓(xùn)練的第一次迭代之后，meta-judge幾乎總是更傾向于更高分?jǐn)?shù)的判斷，如表5所示。

這種分?jǐn)?shù)偏見顯著地將判斷的評分分布向滿分5分傾斜。對于位置偏見，我們也看到在訓(xùn)練過程中有增加的趨勢，特別是在比較兩個相同分?jǐn)?shù)的判斷時。

判斷評分變化：為了調(diào)查在元獎勵訓(xùn)練迭代過程中判斷評分分布的變化，實(shí)驗使用與獎勵建模評估相同的驗證提示。

使用Llama-3-8B-Instruct在每個提示上生成7個響應(yīng)，然后為每個響應(yīng)生成11次判斷。圖5是評分分布的可視化，密度是使用高斯核密度估算的。

可見，使用meta-judge訓(xùn)練判斷進(jìn)一步增加了其生成高分的可能性。

然而，判斷訓(xùn)練的前兩次迭代使其傾向于分配4.5、4.75、4.9的分?jǐn)?shù)，根據(jù)根據(jù)指示這些分?jǐn)?shù)應(yīng)該是整數(shù)。

盡管這些是高分，但它們提供了更細(xì)致的區(qū)分能力，以區(qū)分不同質(zhì)量的響應(yīng)。

結(jié)論

實(shí)驗提出了一種新機(jī)制，通過使用meta-judge為作為judge的模型分配元獎勵（meta-rewards），從而提高模型的評判能力。

這解決了自獎勵（Self-Rewarding）框架的一個主要限制，即缺乏對模型評判能力的訓(xùn)練。

為了使元獎勵訓(xùn)練（Meta-Rewarding training）更加有效，實(shí)驗還引入了一種新的長度控制技術(shù)，以緩解在使用AI反饋進(jìn)行訓(xùn)練時出現(xiàn)的長度爆炸問題。

通過自動評估基準(zhǔn)AlpacaEval、Arena-Hard和MT-Bench，元獎勵方法的有效性也得到了驗證。

值得注意的是，即使在沒有額外人類反饋的情況下，這種方法也顯著改進(jìn)了Llama-3-8B-Instruct，并超越了依賴大量人類反饋的強(qiáng)基線方法自獎勵（Self-Rewarding）和SPPO。

此外，評估模型的評判能力時，它在與人類評判和強(qiáng)大的AI評判（如 gpt-4-1106-preview）的相關(guān)性上表現(xiàn)出顯著的改進(jìn)。

總體而言，研究結(jié)果提供了有力的證據(jù)，證明無需任何人類反饋的自我改進(jìn)模型是實(shí)現(xiàn)超級對齊（super alignment）的一個有前途的方向。