讓語言模型的行為符合人類社會價值觀是當(dāng)前語言模型開發(fā)的重要環(huán)節(jié)。相應(yīng)的訓(xùn)練也被稱為價值對齊 （value alignment）。

當(dāng)前主流的方案是 ChatGPT 所采用的 RLHF （Reinforcenment Learning from Human Feedback），也就是在人類反饋上進(jìn)行強(qiáng)化學(xué)習(xí)。這一方案首先先訓(xùn)練一個 reward model （價值模型）作為人類判斷的代理。代理模型在強(qiáng)化學(xué)習(xí)階段為生成式語言模型的提供獎勵作為監(jiān)督信號。

這一方法存在如下痛點：

1.代理模型產(chǎn)生的獎勵很容易被破除或者篡改。

2. 在訓(xùn)練過程中，代理模型需要和生成式模型進(jìn)行不斷交互，而這一過程可能非常耗時且效率不高。為了保證高質(zhì)量的監(jiān)督信號，代理模型不應(yīng)小于生成式模型，這也就意味著在強(qiáng)化學(xué)習(xí)優(yōu)化過程中，至少有兩個比較大的模型需要交替進(jìn)行推理（判斷得到的獎勵）和參數(shù)更新（生成式模型參數(shù)優(yōu)化）。這樣的設(shè)定在大規(guī)模分布式訓(xùn)練中可能會非常不便。

3. 價值模型本身并無和人類思考模型上明顯的對應(yīng)。我們腦海中并沒有一個單獨的打分模型，而且實際上長期維護(hù)一個固定的打分標(biāo)準(zhǔn)也非常困難。相反，我們的成長過程中價值判斷的形成大部分來自每天的社交 —— 通過對相似場景的不同社交反饋的分析，我們逐漸意識到什么是會被鼓勵的，什么是不允許的。這些通過大量 “社交 — 反饋 — 改進(jìn)” 而逐漸積累的經(jīng)驗和共識成為了人類社會共同的價值判斷。

最近一項來自達(dá)特茅斯，斯坦福，谷歌 DeepMind 等機(jī)構(gòu)的研究表明，利用社交游戲構(gòu)造的高質(zhì)量數(shù)據(jù)配合簡單高效的對齊算法，也許才是實現(xiàn) alignment 的關(guān)鍵所在。

• 文章地址：https://arxiv.org/pdf/2305.16960.pdf
• 代碼地址：https://github.com/agi-templar/Stable-Alignment
• 模型下載（包含基座，SFT，和對齊模型）：https://huggingface.co/agi-css

作者提出一種在多智能體游戲數(shù)據(jù)上訓(xùn)練的對齊方法?；舅枷肟梢岳斫鉃閷⒂?xùn)練階段的獎勵模型和生成式模型的在線交互，轉(zhuǎn)移到游戲中大量自主智能體之間的離線交互之中（高采樣率，提前預(yù)演博弈）。游戲環(huán)境的運行獨立于訓(xùn)練，并且可以大量并行。監(jiān)督信號從取決于代理獎勵模型的性能變成取決于大量自主智能體的集體智慧。

為此作者設(shè)計了一個虛擬社會模型，稱之為沙盒 Sandbox。沙盒是一個格點構(gòu)成的世界，每一個格點是一個 social agent (社交體)。社交體具有記憶系統(tǒng)，用于存儲每一次交互的問題，回答，反饋等各種信息。在社交體每一次對于問題做出回答時，都要先從記憶系統(tǒng)中檢索并返回和問題最相關(guān)的 N 條歷史問答，作為這一次回復(fù)的上下文參考。通過這一設(shè)計，社交體能在多輪互動中的立場不斷更新，且更新的立場能和過去保持一定延續(xù)性。初始化階段每一個社交體都有不同的預(yù)設(shè)立場。

將游戲數(shù)據(jù)轉(zhuǎn)化為 alignment 數(shù)據(jù)

在實驗中作者使用 10x10 的格點沙盒（一共 100 個社交體）進(jìn)行社會仿真，且制定了一個社會規(guī)則（即所謂 Sandbox Rule）：所有社交體必須通過使自己對于問題的回答更加 socially aligned （社交對齊）來給其它社交體留下好的印象。此外沙盒還部署了沒有記憶的觀察者，在每一次社交前后，給社交體的答復(fù)做出打分。打分基于 alignment 和 engagement 兩個維度。

使用不同模型在沙盒中的模擬人類社會

作者利用沙盒 Sandbox 測試了不同大小，以及不同訓(xùn)練階段的語言模型。整體而言，經(jīng)過 alignment 訓(xùn)練的模型 （即所謂 “對齊后的模型”），比如 davinci-003, GPT-4，和 ChatGPT，能在更少的交互輪次中就能生成符合社會規(guī)范的回復(fù)。換句話說，alignment 訓(xùn)練的意義就在于讓模型在 “開箱即用” 的場景下更加安全，而不需要特別的多輪對話引導(dǎo)。而未經(jīng) alignment 訓(xùn)練的模型，不僅需要更多的交互次數(shù)使回復(fù)達(dá)到 alignment 和 engagement 的整體最優(yōu)，而且這種整體最優(yōu)的上限顯著低于對齊后的模型。

作者同時提出一種簡便易行的對齊算法，稱為 Stable Alignment （穩(wěn)定對齊），用于從沙盒的歷史數(shù)據(jù)中學(xué)習(xí) alignment。穩(wěn)定對齊算法在每一個 mini-batch （小批次）中進(jìn)行打分調(diào)制的對比學(xué)習(xí) —— 回復(fù)的得分越低，對比學(xué)習(xí)的邊界值就會被設(shè)定的越大 —— 換句話說，穩(wěn)定對齊通過不斷采樣小批次數(shù)據(jù)，鼓勵模型生成更接近高分回復(fù)，更不接近低分回復(fù)。穩(wěn)定對齊最終會收斂于 SFT 損失。作者還對穩(wěn)定對齊和 SFT，RLHF 的差異進(jìn)行了討論。

作者特別強(qiáng)調(diào)來自沙盒 Sandbox 的游戲的數(shù)據(jù)，由于機(jī)制的設(shè)定，大量包含通過修訂 （revision）而成為符合社會價值觀的數(shù)據(jù)。作者通過消融實驗證明這種大量自帶漸進(jìn)式 （step-by-step）改進(jìn)的數(shù)據(jù)是穩(wěn)定訓(xùn)練的關(guān)鍵。

作者還和當(dāng)前主流對齊算法性能和訓(xùn)練穩(wěn)定性進(jìn)行了性能上的比較，證明穩(wěn)定對齊不僅比 reward modeling 更穩(wěn)定，而且在通用性能和 alignment 性能上都足以媲美 RLHF (由于 ChatGPT 使用未公開的模型，數(shù)據(jù)和算法，因此僅作為參考)。

實例生成結(jié)果：

更多細(xì)節(jié)請參考論文。