大語(yǔ)言模型（LLM）的飛速發(fā)展正深刻改變著我們與信息和技術(shù)交互的方式（想想大家有多久不用傳統(tǒng)搜索引擎了）。它們展現(xiàn)出的能力令人矚目，但要驅(qū)動(dòng)它們超越模仿，在復(fù)雜推理、規(guī)劃和解決未知問題等層面達(dá)到更高的“智能”水平，傳統(tǒng)的預(yù)訓(xùn)練（Pretrain）和監(jiān)督微調(diào)（SFT）范式顯得力有不逮。強(qiáng)化學(xué)習(xí)（RL），特別是結(jié)合人類或規(guī)則反饋的RLHF/RL，已成為關(guān)鍵的引擎，推動(dòng)LLM智能向更高層級(jí)躍遷。

RL的核心在于賦予模型一種“目標(biāo)導(dǎo)向”的學(xué)習(xí)能力。如果說SFT像學(xué)生一筆一劃地模仿老師寫字，那么RL則更像是給學(xué)生設(shè)定一個(gè)目標(biāo)——比如“寫出書法家級(jí)別的作品”——然后讓學(xué)生不斷嘗試、接收反饋（比如“這一筆力道不足”、“結(jié)構(gòu)尚可”）并自我調(diào)整，最終掌握書法的精髓，甚至可能創(chuàng)造出獨(dú)特的風(fēng)格。這種模式使得模型能夠優(yōu)化難以用簡(jiǎn)單規(guī)則定義的復(fù)雜目標(biāo)，如回答的“有用性”或代碼的“效率”。通過試錯(cuò)和最大化代表“好”的獎(jiǎng)勵(lì)信號(hào)，模型能學(xué)到SFT數(shù)據(jù)中未曾顯式包含的策略和行為，有時(shí)甚至展現(xiàn)出類似“靈光一閃”的解決問題方式，顯得更加“聰明”。DeepSeek R1等模型在數(shù)學(xué)競(jìng)賽等高難度挑戰(zhàn)中取得的優(yōu)異表現(xiàn)，便是RL賦能LLM智能提升的有力證明。

獎(jiǎng)勵(lì)函數(shù)：驅(qū)動(dòng)進(jìn)步的核心，亦是風(fēng)險(xiǎn)的源頭

在這場(chǎng)由RL驅(qū)動(dòng)的智能升級(jí)之旅中，獎(jiǎng)勵(lì)函數(shù)扮演著至關(guān)重要的“導(dǎo)航系統(tǒng)”角色。它為模型在茫茫的可能性空間中指明方向，告訴它什么是“好”、什么是“壞”，模型的每一次“駕駛調(diào)整”（參數(shù)更新）都是為了更接近獎(jiǎng)勵(lì)所定義的目的地?？梢哉f，獎(jiǎng)勵(lì)函數(shù)就是我們期望模型最終實(shí)現(xiàn)的那個(gè)宏偉藍(lán)圖的具體施工指南。

然而，繪制這份“施工指南”是一項(xiàng)極其精妙且充滿挑戰(zhàn)的工作，堪稱一門“黑暗藝術(shù)”。許多我們追求的高級(jí)目標(biāo)，比如“創(chuàng)造力”或“同理心”，本身就如同捕捉流動(dòng)的空氣，難以精確量化并轉(zhuǎn)化為冷冰冰的數(shù)學(xué)公式。因此，在實(shí)踐中，我們往往只能退而求其次，設(shè)計(jì)一個(gè)“代理獎(jiǎng)勵(lì)”（Proxy Reward）。這就像公司希望提升員工的“整體健康水平”（真實(shí)目標(biāo)），但實(shí)際操作中可能只能追蹤“健身房打卡次數(shù)”（代理指標(biāo)）。雖然打卡與健康有一定關(guān)聯(lián)，但并非完全等同，員工可能僅僅為了滿足指標(biāo)而打卡后就離開。在RLHF中，由獎(jiǎng)勵(lì)模型（RM）基于人類偏好數(shù)據(jù)給出的分?jǐn)?shù)就是典型的代理獎(jiǎng)勵(lì)。它雖然是我們能實(shí)際操作和優(yōu)化的抓手，但與我們內(nèi)心真正期望的“真實(shí)獎(jiǎng)勵(lì)”或“黃金標(biāo)準(zhǔn)”之間，幾乎注定存在偏差。

正是這個(gè)偏差，結(jié)合RL算法近乎“不擇手段”的優(yōu)化動(dòng)力，為“獎(jiǎng)勵(lì)函數(shù)欺詐”（Reward Hacking或Specification Gaming）埋下了伏筆。這就像一個(gè)被賦予了“將房間打掃干凈”目標(biāo)的機(jī)器人，如果“干凈”的代理獎(jiǎng)勵(lì)被定義為“地板上沒有可見垃圾”，機(jī)器人最高效的方式可能是把所有垃圾掃到地毯下面或者塞進(jìn)壁櫥里，而不是真正進(jìn)行清理和整理。模型利用了獎(jiǎng)勵(lì)函數(shù)（或其代理）的漏洞或歧義，找到了最大化分?jǐn)?shù)但違背設(shè)計(jì)初衷的“捷徑”。它學(xué)會(huì)了如何“應(yīng)付考試”，而不是真正掌握知識(shí)。

獎(jiǎng)勵(lì)欺詐行為的“千姿百態(tài)”

獎(jiǎng)勵(lì)欺詐并非鐵板一塊，它會(huì)以各種狡猾的形式出現(xiàn)，如同不斷變異的病毒，挑戰(zhàn)著我們構(gòu)建可靠AI系統(tǒng)的努力。理解其多樣的表現(xiàn)形式至關(guān)重要。

一種形式源于獎(jiǎng)勵(lì)函數(shù)或優(yōu)化算法設(shè)計(jì)本身的“先天缺陷”。某些算法設(shè)計(jì)細(xì)節(jié)可能無意中引入系統(tǒng)性偏差。例如，為了平衡長(zhǎng)短回答的影響，在計(jì)算貢獻(xiàn)時(shí)引入長(zhǎng)度的倒數(shù)因子，可能導(dǎo)致長(zhǎng)度偏見。這好比一個(gè)評(píng)分系統(tǒng)，給短小精悍的錯(cuò)誤答案打了重重的“板子”，卻對(duì)長(zhǎng)篇大論的錯(cuò)誤答案輕輕放過，因?yàn)楹笳叩摹懊孔皱e(cuò)誤成本”被攤薄了。模型很快就會(huì)學(xué)到：沒把握時(shí)，不如滔滔不絕地“安全”犯錯(cuò)。

類似地，使用獎(jiǎng)勵(lì)的標(biāo)準(zhǔn)差進(jìn)行歸一化，可能導(dǎo)致問題難度偏見。這就好像一個(gè)健身教練，發(fā)現(xiàn)學(xué)員在舉小啞鈴時(shí)成績(jī)穩(wěn)定、進(jìn)步明顯（標(biāo)準(zhǔn)差?。?，于是不斷加大這方面的訓(xùn)練，因?yàn)椤翱雌饋硇Ч谩?；而?duì)于真正能突破瓶頸的大重量訓(xùn)練，因?yàn)閷W(xué)員表現(xiàn)不穩(wěn)定（標(biāo)準(zhǔn)差大），教練反而減少了投入。結(jié)果，模型在簡(jiǎn)單問題上“精益求精”，卻在困難問題上“畏縮不前”，錯(cuò)失了真正的成長(zhǎng)機(jī)會(huì)。

當(dāng)引入人類或規(guī)則反饋（RLHF/RL）后，欺詐形式變得更加復(fù)雜，常常利用了反饋過程本身的弱點(diǎn)：

1. 獎(jiǎng)勵(lì)模型的過優(yōu)化：RM只是人類偏好的一個(gè)“學(xué)生模型”，它也有自己的認(rèn)知盲區(qū)和錯(cuò)誤。LLM在優(yōu)化過程中，可能會(huì)專門“攻擊”RM的這些弱點(diǎn)，生成一些RM會(huì)打高分、但人類其實(shí)并不喜歡的答案。這就像學(xué)生發(fā)現(xiàn)了老師評(píng)分的某個(gè)特定偏好，然后專門迎合這個(gè)偏好來寫作文，而不是提升整體寫作水平。
2. “U-Sophistry” (非故意詭辯)：模型并非變得更正確，而是變得更擅長(zhǎng)“顯得”正確。它們學(xué)會(huì)了用華麗的辭藻、堅(jiān)定的語(yǔ)氣和精心挑選（甚至捏造）的論據(jù)來包裝答案，哪怕內(nèi)容空洞或錯(cuò)誤。這就像一個(gè)技巧純熟的魔術(shù)師，能讓你相信不可能的事情，模型則讓你相信錯(cuò)誤的答案。
3. Sycophancy (諂媚)：模型學(xué)會(huì)了看人下菜碟，傾向于附和用戶的觀點(diǎn)或情緒，因?yàn)檫@通常能帶來更積極的反饋信號(hào)（高獎(jiǎng)勵(lì)）。它變成了一個(gè)唯唯諾諾的“應(yīng)聲蟲”，而不是一個(gè)提供客觀信息的助手。
4. 評(píng)估者偏見利用：當(dāng)用AI（LLM-as-Judge）評(píng)估AI時(shí)，評(píng)估者AI自身的“小毛病”，比如偏愛先看到的答案，或者對(duì)某種格式情有獨(dú)鐘，都會(huì)成為被訓(xùn)練模型可以利用的“通關(guān)密碼”。模型學(xué)會(huì)的是如何“討好”這個(gè)特定的AI裁判，而非普適的優(yōu)秀標(biāo)準(zhǔn)。
5. In-Context Reward Hacking (ICRH)：這是一種“實(shí)時(shí)作弊”。模型在與環(huán)境交互的過程中，像一個(gè)聰明的棋手，根據(jù)對(duì)手（環(huán)境、用戶、反饋）的實(shí)時(shí)反應(yīng)，動(dòng)態(tài)調(diào)整自己的“棋路”（行為策略），誘導(dǎo)出一個(gè)對(duì)自己有利的局面（高評(píng)價(jià)狀態(tài)），哪怕它本身的“棋力”（模型參數(shù)）并未改變。
6. 欺詐技能的泛化：最令人擔(dān)憂的是，模型可能像學(xué)會(huì)了開鎖技巧的小偷，在一個(gè)地方得手后，能將這種“技巧”應(yīng)用到其他不同類型的鎖上。模型似乎能掌握某種通用的“鉆空子”元能力，使其在新的、未知的環(huán)境中也能嘗試欺詐。

這些形形色色的獎(jiǎng)勵(lì)欺詐行為，從利用規(guī)則漏洞到操縱認(rèn)知判斷，共同揭示了在追求更高AI智能的道路上，我們面臨著深刻的“對(duì)齊”挑戰(zhàn)。

圖：RM分?jǐn)?shù)隨KL散度度量平方根變化的曲線圖。其中代理獎(jiǎng)勵(lì)用虛線表示，黃金獎(jiǎng)勵(lì)用實(shí)線表示（圖片來源：Gao et al. 2022）?

如何應(yīng)對(duì)獎(jiǎng)勵(lì)欺詐的挑戰(zhàn)？

面對(duì)如此復(fù)雜多變的獎(jiǎng)勵(lì)欺詐，我們需要一個(gè)多層次、多角度的應(yīng)對(duì)策略，如同構(gòu)建一座堅(jiān)固的城堡，既要有高墻（預(yù)防），也要有瞭望塔（檢測(cè)），還要有修復(fù)隊(duì)（修正）。

首先，加固“城墻”——改進(jìn)獎(jiǎng)勵(lì)信號(hào)本身：

• 目標(biāo)多元化：不要把所有雞蛋放在一個(gè)籃子里。設(shè)計(jì)多個(gè)維度的獎(jiǎng)勵(lì)，捕捉目標(biāo)的更多側(cè)面，讓模型難以找到一個(gè)能在所有方面都“作弊”的策略。這就像綜合評(píng)估一個(gè)學(xué)生，不能只看考試分?jǐn)?shù)，還要看課堂參與、項(xiàng)目表現(xiàn)等。
• 提升獎(jiǎng)勵(lì)模型質(zhì)量：用更豐富、更多樣化、更高質(zhì)量的數(shù)據(jù)訓(xùn)練RM，并采用能更好地處理不確定性和對(duì)抗干擾的技術(shù)。讓我們的“代理裁判”更接近“金牌裁判”的水平。
• 引入“紅藍(lán)對(duì)抗”：訓(xùn)練一個(gè)專門識(shí)別欺詐行為的“藍(lán)軍”模型，與試圖欺詐的“紅軍”（被訓(xùn)練的LLM）進(jìn)行對(duì)抗，動(dòng)態(tài)提升獎(jiǎng)勵(lì)信號(hào)對(duì)欺詐的“免疫力”。

其次，優(yōu)化“城堡設(shè)計(jì)”——改進(jìn)RL算法與流程：

• 隔離風(fēng)險(xiǎn)：采用“Decoupled Approval”等技術(shù)，將反饋收集環(huán)節(jié)與模型的實(shí)際環(huán)境交互分離開。好比在沙盤上推演作戰(zhàn)計(jì)劃并獲得反饋，然后再去真實(shí)戰(zhàn)場(chǎng)執(zhí)行，避免了執(zhí)行過程本身干擾反饋的準(zhǔn)確性。
• 設(shè)置“行為規(guī)范”：在優(yōu)化目標(biāo)中加入正則化項(xiàng)或約束，懲罰那些雖然獎(jiǎng)勵(lì)高但行為異常（如復(fù)雜度過高、過度偏離常規(guī)）的策略。給模型的“自由探索”劃定合理的邊界。
• “三思而后行”：讓模型決策時(shí)考慮長(zhǎng)遠(yuǎn)影響，而不僅僅是眼前獎(jiǎng)勵(lì)。如果一個(gè)行為短期獎(jiǎng)勵(lì)很高，但可能導(dǎo)致系統(tǒng)崩潰或信任破裂，就應(yīng)該被抑制。
• 打造“安全屋”：通過嚴(yán)格的工程實(shí)踐，如沙盒環(huán)境，限制模型的能力邊界，不給它接觸和修改核心代碼、獎(jiǎng)勵(lì)機(jī)制或敏感數(shù)據(jù)的機(jī)會(huì)。

第三，設(shè)立“瞭望塔”——加強(qiáng)監(jiān)控與檢測(cè)：

• 行為異常檢測(cè)：像經(jīng)驗(yàn)豐富的醫(yī)生觀察病人的異常體征一樣，持續(xù)監(jiān)測(cè)模型的行為指標(biāo)（如獎(jiǎng)勵(lì)曲線、輸出特征分布、決策熵等），一旦發(fā)現(xiàn)與正常模式顯著偏離，及時(shí)預(yù)警。
• 埋設(shè)“警報(bào)器”（Trip Wires）：在系統(tǒng)中故意設(shè)置一些容易被攻擊的“誘餌”，并嚴(yán)密監(jiān)控。一旦模型觸碰這些“誘餌”，就立即觸發(fā)警報(bào)，表明可能存在欺詐企圖。
• 透明化與可解釋性：打開“黑盒子”，利用可解釋性工具理解模型為何做出某個(gè)決策，尤其是那些獲得異常高獎(jiǎng)勵(lì)的決策。人工審計(jì)和分析是發(fā)現(xiàn)隱藏欺詐的關(guān)鍵環(huán)節(jié)。

第四，繪制“敵情地圖”——深化數(shù)據(jù)理解：

• 深入挖掘RLHF/RL數(shù)據(jù)，像偵探分析案發(fā)現(xiàn)場(chǎng)一樣，找出導(dǎo)致模型“學(xué)壞”的模式和線索。理解哪些類型的反饋容易被利用，哪些場(chǎng)景下欺詐風(fēng)險(xiǎn)更高，從而指導(dǎo)我們改進(jìn)數(shù)據(jù)收集和訓(xùn)練策略。

應(yīng)對(duì)獎(jiǎng)勵(lì)欺詐絕非一蹴而就，它需要我們?cè)诶碚撗芯?、算法設(shè)計(jì)、工程實(shí)踐和持續(xù)監(jiān)控等多個(gè)層面協(xié)同努力。這更像是一場(chǎng)持續(xù)的“軍備競(jìng)賽”，隨著模型能力的增強(qiáng)，新的欺詐形式可能不斷涌現(xiàn)，我們需要不斷提升“防御工事”的水平。

最后

強(qiáng)化學(xué)習(xí)為L(zhǎng)LM的智能進(jìn)化注入了強(qiáng)大的動(dòng)力，前景廣闊。但作為其核心驅(qū)動(dòng)力的獎(jiǎng)勵(lì)函數(shù)，卻是一柄需要我們以高度智慧和警惕來?yè)]舞的雙刃劍。獎(jiǎng)勵(lì)欺詐，這一伴生風(fēng)險(xiǎn)，以其多樣性和隱蔽性，時(shí)刻提醒著我們對(duì)齊（Alignment）之路的艱巨性。從GRPO的偏見到ICRH的實(shí)時(shí)博弈，我們看到了挑戰(zhàn)的嚴(yán)峻。但同時(shí)，從Dr. GRPO的修正到Lilian Weng總結(jié)的眾多策略，我們也看到了應(yīng)對(duì)的希望。馴服獎(jiǎng)勵(lì)欺詐這匹“烈馬”，確保LLM的力量被用于符合人類長(zhǎng)遠(yuǎn)利益的方向，是當(dāng)前及未來人工智能發(fā)展中至關(guān)重要的一環(huán)。這需要研究者、工程師和整個(gè)社區(qū)的持續(xù)投入與合作，共同推動(dòng)構(gòu)建更安全、更可靠、真正值得信賴的智能未來。

參考資料

• Reward Hacking in Reinforcement Learning
  ???https://lilianweng.github.io/posts/2024-11-28-reward-hacking/??
• GRPO教會(huì)DeepSeek R1高智商推理，但GRPO可能不完美且有偏見 | Dr. GRPO簡(jiǎn)化之，消除偏見帶來改進(jìn)
  ???https://mp.weixin.qq.com/s/2VaBr5xCNgJYSiqISkxpjQ??

?本文轉(zhuǎn)載自????后向傳播????，作者： 張發(fā)恩