昨天，Andrej Karpathy又發(fā)了長推，不過用了一句很有爭議的話開頭——「RLHF只是勉強(qiáng)的RL」。

這條推特可謂「一石激起千層浪」，瞬間點(diǎn)燃了LLM社區(qū)的討論熱情。

畢竟RLHF作為剛提出沒幾年的方法，又新穎又有爭議。一邊遭受質(zhì)疑，一邊又在工業(yè)界和學(xué)界迅速流行。

5G沖浪的LeCun也趕來聲援Karpathy，但他的話很短，只有一句——「RLHF不是真正的RL」。

RLHF最早可以追溯到OpenAI安全團(tuán)隊(duì)2017年發(fā)表的論文：

論文地址：https://arxiv.org/abs/1706.03741

當(dāng)時，Jan Leike還在DeepMind、Dario Amodei還沒創(chuàng)辦Anthropic，而OpenAI還沒all in語言模型，仍是一家研究范圍更廣泛的AI公司。

他們提出，通過人類反饋，讓AI模型更好地學(xué)習(xí)「如何翻出一個漂亮的后空翻」。

訓(xùn)練時，AI agent在環(huán)境中不斷觀察并行動，并得到獎勵模型的反饋進(jìn)行自我改進(jìn)。但比較特別的是，獎勵函數(shù)是由擬合人類反饋得到的。

2019年，這項(xiàng)技術(shù)被用到了NLP領(lǐng)域，用于微調(diào)語言模型。

論文地址：https://arxiv.org/abs/1909.08593

這篇論文附帶的代碼也很好地定義了RLHF的標(biāo)準(zhǔn)流程。

倉庫地址：https://github.com/openai/lm-human-preferences?tab=readme-ov-file

到了2022年3月，ChatGPT發(fā)布前夕，OpenAI發(fā)布了使用RLHF微調(diào)過的大模型InstructGPT，這是彌合GPT-3和GPT-3.5 Turbo之間差距的關(guān)鍵一步，后者為ChatGPT的推出提供了關(guān)健動力。

論文地址：https://arxiv.org/abs/2203.02155

此后，RLHF就成為了OpenAI、DeepMind、谷歌、Anthropic等AI巨頭們訓(xùn)練模型的必備環(huán)節(jié)。

所以，Karpathy為什么會突然對此發(fā)難？我們先來看一下他的推特原文是怎么說的。

Karpathy原帖的大意如下：

RLHF全稱為「從人類反饋中進(jìn)行強(qiáng)化學(xué)習(xí)」（Reinforcement Learning from Human Feedback），是訓(xùn)練LLM的第三個階段，也是最后一個主要階段，接在預(yù)訓(xùn)練和監(jiān)督微調(diào)（SFT）之后。

我對RLHF的批評是：它幾乎算不上是真正的強(qiáng)化學(xué)習(xí)，而且我認(rèn)為這一點(diǎn)沒有被廣泛理解。強(qiáng)化學(xué)習(xí)很強(qiáng)大，而RLHF則不然。

讓我們來看一個AlphaGo的例子，它的訓(xùn)練用到了實(shí)際的RL算法：計(jì)算機(jī)通過下圍棋，在最大化獎勵函數(shù)（即贏得比賽）的推演過程中進(jìn)行訓(xùn)練，最終超越了最優(yōu)秀的人類棋手。AlphaGo并不是用RLHF訓(xùn)練的，否則它的效果就不會這么好。

那么，用RLHF訓(xùn)練AlphaGo會是什么樣子呢？首先，你需要讓人類標(biāo)注者看到兩個圍棋局面，并詢問他們更喜歡哪個：

你需要收集大概10萬條這類的對比數(shù)據(jù)，并訓(xùn)練一個「獎勵模型」RM（Reward Model）來模仿人類對棋盤狀態(tài)的這種「直覺判斷」（vibe check），使RM的判斷在平均水平上與人類一致。

有了獎勵模型的直覺判斷，就可以在此基礎(chǔ)上運(yùn)行強(qiáng)化學(xué)習(xí)，讓原模型學(xué)習(xí)下出能夠讓人類直覺上認(rèn)為不錯的棋步。

顯然，這在圍棋中不會產(chǎn)出太好的結(jié)果，有兩個根本且獨(dú)立的原因：

1. 直覺可能會產(chǎn)生誤導(dǎo)。這并不是真正的獎勵（贏得比賽），而是個很差的替代目標(biāo)。但更糟的是——

2.強(qiáng)化學(xué)習(xí)優(yōu)化會失控，因?yàn)樗芸炀蜁l(fā)現(xiàn)對抗獎勵模型的棋盤狀態(tài)。RM是一個擁有數(shù)十億參數(shù)的龐大神經(jīng)網(wǎng)絡(luò)，用來模仿直覺。有些棋盤狀態(tài)超出了訓(xùn)練數(shù)據(jù)的分布范圍，可能并不是好的狀態(tài)，但由于偶然性，也會從RM得到了很高的獎勵。

出于完全相同的原因，有時我驚訝于RLHF對LLM的效果，因?yàn)槠渲械腞M也在進(jìn)行同樣的直覺判斷。它對人類評分員似乎喜歡的那類響應(yīng)打出高分，但這不是正確解決問題的「實(shí)際」目標(biāo)，只是人類覺得不錯的替代目標(biāo)。

其次，RLHF不能運(yùn)行太久，因?yàn)樵Ｐ秃芸炀湍軐W(xué)會操控獎勵模型，從而預(yù)測出一些看起來很奇怪的token。比如，LLM助手會開始對提示詞響應(yīng)一些無厘頭的內(nèi)容，像「the the the the the the」。

這在人類看來很荒謬，但由于某種原因，RM認(rèn)為這些響應(yīng)看起來很棒。

這就是LLM找到的對抗性案例（adversarial examples），對于RM的訓(xùn)練數(shù)據(jù)而言，這是未定義領(lǐng)域的分布外數(shù)據(jù)。

你可以反復(fù)將這些特定例子添加到訓(xùn)練集中來緩解這種情況，但下次還會有其他對抗性案例出現(xiàn)。因此，RLHF不能運(yùn)行過多步驟，幾百/幾千步后就必須停下，因?yàn)槟Ｐ偷膬?yōu)化過程將開始操控RM。這不是像AlphaGo那樣的強(qiáng)化學(xué)習(xí)。

然而，在構(gòu)建LLM助手時，RLHF依舊是利大于弊。其中有幾個微妙的原因，但我最喜歡指出的是，LLM可以通過RLHF過程受益于生成器和判別器之間的難度差距（generator-discriminator gap）。

對于許多類型的問題，相比于從零開始撰寫理想答案，人類標(biāo)注者會覺得從幾個候選中選擇最佳答案要容易得多。比如這樣的提示：「生成一首關(guān)于回形針的詩」，普通的人類標(biāo)注者很難寫出一首好詩作為SFT示例，但在給出幾個候選答案的情況下，他們可以選出一個看起來不錯的詩。

因此，RLHF相當(dāng)于利用了這種人類監(jiān)督的「簡便性」差距。

還有其他幾個原因，例如，RLHF也有助于減少幻覺現(xiàn)象。如果RM是一個足夠強(qiáng)大的模型，可以捕捉到LLM的虛構(gòu)內(nèi)容，就能通過低獎勵來懲罰這種行為，教會模型在不確定時避免冒險(xiǎn)使用事實(shí)知識。但對幻覺及其令人滿意的緩解措施是另一個話題，此處不再贅述。

總之，RLHF確實(shí)是凈有用的，但它不是傳統(tǒng)的強(qiáng)化學(xué)習(xí)。

迄今為止，在開放領(lǐng)域還沒有出現(xiàn)生產(chǎn)級的「實(shí)際」RL方法，可以大規(guī)模地在LLM上實(shí)現(xiàn)，并給出令人信服的演示。從直觀上講，這是因?yàn)樵陂_放式的問題解決任務(wù)中給出獎勵值（等效于AlphaGo贏得比賽）確實(shí)很困難。

在一個封閉的、類似游戲的環(huán)境中，比如圍棋，動態(tài)受到限制，獎勵函數(shù)易于評估且無法操控。但你如何為總結(jié)一篇文章提供明確的獎勵？或者回答關(guān)于pip安裝的略顯模糊的問題？或者講個笑話？或者將一些Java代碼重寫為Python？

原則上，朝這個方向發(fā)展是可能的，但并不簡單，它需要一些創(chuàng)造性的思考。如果有人給出令人信服的解決方案，就能運(yùn)行實(shí)際的強(qiáng)化學(xué)習(xí)，那種讓AlphaGo在圍棋中擊敗人類的強(qiáng)化學(xué)習(xí)，只是最后得到的LLM將有可能在開放領(lǐng)域問題解決中擊敗人類。

強(qiáng)化學(xué)習(xí)到底是什么

如果RLHF「不是RL」，那真正的RL是什么？

Karpathy的描述比較簡潔而直觀——就是AlphaGo用的那種。

幸好，「強(qiáng)化學(xué)習(xí)」是一個人為提出的概念，更容易厘清；而且「強(qiáng)化學(xué)習(xí)之父」Richard Sutton專門寫過一本書來解釋這個領(lǐng)域的基本問題。

??https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf??

開頭第一章第一節(jié)，強(qiáng)化學(xué)習(xí)的基本概念。雖然不是嚴(yán)謹(jǐn)完備的數(shù)學(xué)定義，但基本闡明了要點(diǎn)。

基本思想是，一個正在學(xué)習(xí)的agent與環(huán)境交互，如何捕捉到它面臨的最重要的實(shí)際問題。

顯然，這樣的agent必須能夠在某種程度上感知環(huán)境狀態(tài)，且必須能夠采取某種行動以影響狀態(tài)。agent也必須有關(guān)于環(huán)境狀態(tài)的目標(biāo)。這一表述旨在包含三個方面：感知、行動和目標(biāo)，以可行的最簡潔的形式，而不會讓任何一個方面只有平凡解。

任何適于解決這類問題的方法，我們都認(rèn)為是強(qiáng)化學(xué)習(xí)方法。

除了agent和環(huán)境的存在，強(qiáng)化學(xué)習(xí)系統(tǒng)中還有以下四個要素：

• 策略（policy），定義正在學(xué)習(xí)的agent在指定時間的行為
• 獎勵信號（reward signal），定義強(qiáng)化學(xué)習(xí)問題的目標(biāo)，是對agent行為的即時反饋
• 值函數(shù)（value function），定義長期的優(yōu)化目標(biāo)
• 環(huán)境模型（model of the enviroment），模擬環(huán)境行為

那么問題來了，根據(jù)Sutton書中對強(qiáng)化學(xué)習(xí)的定義，你同意Karpathy的說法嗎？

誰贊同，誰反對？

非常明顯的是，Karpathy的觀點(diǎn)吸引了許多LLM領(lǐng)域的學(xué)者和研究員的關(guān)注。

谷歌大腦、DeepMind研究科學(xué)家Kevein Murphy：

完全同意。我認(rèn)為RLHF更像是行為（action）值是字符串的上下文多臂賭博機(jī)，其中提示詞作為上下文，而不是完整的強(qiáng)化學(xué)習(xí)。但為日常任務(wù)制定明確的獎勵機(jī)制是困難的部分。（我想這被稱為「模型對齊」？）

Allen AI機(jī)器學(xué)習(xí)研究員Nathan Lambert回復(fù)：

同意，很棒的總結(jié)。就其提供的價值而言，下面是我最喜歡的引用，說明了RLHF的「風(fēng)格」部分為何有用。

但這與為LLM解鎖完整版本的RL相比，仍然微不足道。

這張圖出自Lambert自己撰寫的博客：

之后，他又專門發(fā)推進(jìn)一步解釋：

RLHF勉強(qiáng)算是 RL，但

- 它仍然使RL比以往任何時候都更重要，并且

- RLHF可能比至今為止其他的RL更有影響力

很罕見的是，以上是為數(shù)不多力挺Karpathy的觀點(diǎn)。多數(shù)人還是站在了Karpathy的對立面反駁他。

評論區(qū)有網(wǎng)友直接回懟：「你就是看獎勵函數(shù)不順眼」。

Karpathy只能繼續(xù)解釋：

我的主要動機(jī)是想說，LLM遠(yuǎn)未達(dá)到原則上所能達(dá)到的高度，它們還沒有像其他最近/流行的ASI演示那樣有相同的訓(xùn)練方式。我想要直觀地指出這種差距的根源。

馬里蘭大學(xué)副教授Furong Huang的觀點(diǎn)更強(qiáng)調(diào)RLHF對LLM的價值。

當(dāng)模型已經(jīng)非常優(yōu)秀時，RLHF是有幫助的，你只需通過收集用戶反饋來「修補(bǔ)問題」。

RL對于推理和規(guī)劃等更復(fù)雜的任務(wù)確實(shí)很重要，把LLM放到RL循環(huán)中有助于泛化和「熱啟動」RL。

Mila在讀博士、Meta研究員Pierluca D'Oro自己就在為agent開發(fā)獎勵模型，他同意Karpathy「RLHF不是真正的RL」的說法，但并不認(rèn)為Karpathy預(yù)期的那種獎勵模型能夠?qū)崿F(xiàn)。

我是一名科學(xué)家，致力于為智能體創(chuàng)建更好的獎勵模型，我不同意這篇推文的主要觀點(diǎn)。使用你無法完全信任的獎勵進(jìn)行的RL也是RL，而且我認(rèn)為這正是我們應(yīng)該研究的RL。

是的，毫無疑問，當(dāng)獎勵明確定義時，RL能夠最大程度地發(fā)揮作用。比如圍棋中的獲勝條件，就是明確的！我們不在乎智能體如何獲勝，只要它符合游戲規(guī)則即可。這些規(guī)則非常簡單，可以由人類直接編碼到智能體的設(shè)計(jì)中，或者智能體通過計(jì)算推斷出來。

但是如果對于一個復(fù)雜任務(wù)，不僅僅是「做什么」重要，而是「怎么做」也很重要呢？「怎么做」往往不像在圍棋中要求智能體下有效棋步那樣容易實(shí)現(xiàn)。對于人類來說，這通常來自于人類的常識、期望或榮譽(yù)。LLM的對齊正是通過RLHF來提取這種「怎么做」。

這也可以延伸到那些看似容易定義明確目標(biāo)的（智能體）任務(wù)。想要一個好的電子游戲中的NPC？可以試試正式定義一個你可以100%信任的「樂趣」的概念，祝你好運(yùn)。想要一個好的網(wǎng)絡(luò)智能體？試試正式定義一個你可以100%信任的「預(yù)期行為」的概念，祝你好運(yùn)。想要一個好的分子？定義一個你可以100%信任的「毒性」的概念，祝你好運(yùn)。

AI智能體旨在做對人類有益的事情。人類不僅有內(nèi)部多樣性，而且極其復(fù)雜，顯然超出了我們能夠完全理解的范圍。我可以編寫一個我認(rèn)為是「在NetHack游戲中實(shí)現(xiàn)這個目標(biāo)」的代碼，然后發(fā)現(xiàn)我對「實(shí)現(xiàn)」的理解比智能體的定義更為細(xì)致，就像我們最近在Motif上的工作中所做的那樣。

我認(rèn)為追求「完美獎勵」的雄心是無望的，我不認(rèn)為大多數(shù)我們希望智能體表現(xiàn)出的行為存在這樣的概念。然而，我認(rèn)為有一些方法有望在獎勵不完美的情況下實(shí)際提高RL的性能：

- 盡可能活躍的反饋循環(huán)，以優(yōu)化智能體的獎勵函數(shù)

- 對錯誤獎勵更穩(wěn)健的RL機(jī)制

- 減少人類與AI合作的摩擦

不過，我同意推文標(biāo)題所說的，RLHF在用于微調(diào)LLM時幾乎不能算是RL。但對我來說，這主要是因?yàn)樗陌腚x線性質(zhì)，以及智能體缺乏主動收集自身數(shù)據(jù)的機(jī)會。這些可能是RL在處理模糊、復(fù)雜，以及潛在可被利用的獎勵函數(shù)時奏效的關(guān)鍵因素。

華盛頓大學(xué)助理教授、谷歌AI高級研究科學(xué)家Natasha Jaques的反對態(tài)度更鮮明，力挺RLHF方法：

這是一個不好的看法。在與人類互動時，給出人類喜歡的答案就是真正的目標(biāo)。

超出分布不是RLHF獨(dú)有的問題。數(shù)據(jù)集中的人類反饋比運(yùn)行無限的圍棋模擬更有限，但這并不意味著是不值得研究的方法，它只是一個更具挑戰(zhàn)性的問題，并且我們希望它是一個更有影響力的問題，因?yàn)闇p少LLM的偏見對人類的益處顯然多過比在圍棋上擊敗人類。使用貶義語言稱RM為「直覺判斷」是愚蠢的；你可以對價值估計(jì)提出同樣的論點(diǎn)。

發(fā)布這樣的內(nèi)容只會阻礙人們研究RLHF，而目前這是唯一可行的方法來緩解LLM偏見和幻覺可能造成的嚴(yán)重危害。

本文轉(zhuǎn)自 新智元 ，作者：新智元

原文鏈接:??https://mp.weixin.qq.com/s/X4ZvL-VPYyR7xkxvCoA4Gg??