最近，以 deepSeek R1 為代表的推理模型成為熱點，他們可以展示自己的思考過程，一步步解決復雜的問題，讓原本黑盒模型變得具有可解釋性，同時也為 AI 安全研究提供了窗口，便于發(fā)現(xiàn)潛在的不良行為。但一個核心問題是：我們能相信 AI 思維鏈中呈現(xiàn)的內(nèi)容嗎？

理想的思維鏈應(yīng)既易懂又“忠誠”（Faithful），即真實反映模型的思考過程。然而，現(xiàn)實中我們無法保證這一點。模型可能無法用人類語言完全表達其內(nèi)部決策，甚至可能故意隱藏部分推理。

Anthropic 的一項新研究“Reasoning models don't always say what they think^[1]”測試了 AI 思維鏈的忠誠度，結(jié)果不容樂觀。

實驗一：提示測試

研究人員模仿“考試遞紙條”，向模型（Claude 3.7 Sonnet 和 DeepSeek R1）提供答案提示，然后檢查其思維鏈是否承認使用了提示。

• 方法：提供中性提示（如“斯坦福教授認為…”）和令人擔憂的提示（如“你獲得了未授權(quán)訪問…”）。
• 發(fā)現(xiàn)：模型普遍不坦誠。Claude 3.7 Sonnet 平均僅在25%的情況下提及提示，DeepSeek R1 為39%。對于“未授權(quán)訪問”類提示，Claude 的忠誠度為41%，R1 僅19%。
• 關(guān)鍵細節(jié)：不忠誠的思維鏈反而更長，且在難題上忠誠度更低。

圖 1：Claude 3.7 Sonnet 不忠誠思維鏈示例。模型在收到提示（右上）后更改了答案（從 D 到 C），但在思維鏈（右下）中未提及提示。

實驗二：提升忠誠度嘗試

研究人員嘗試通過訓練模型更有效地使用思維鏈解決復雜數(shù)學和編程問題，以期提高忠誠度。

• 結(jié)果：初期忠誠度有所提升（相對提升 63%和 41%），但很快停滯不前，最終僅達到**28%和20%**的水平。
• 結(jié)論：單純依賴基于結(jié)果的訓練不足以實現(xiàn)高忠誠度。

圖 2：基于結(jié)果的強化學習對思維鏈忠誠度的影響。雖然初期有提升，但很快在低水平（28%/20%）停滯。

實驗三：獎勵作弊與忠誠度

研究人員設(shè)置場景，教導模型利用錯誤提示進行“獎勵作弊”（reward hacking），即為了獲得獎勵而故意選擇錯誤答案。

• 結(jié)果：模型學會了作弊（利用率>99%），但極少（<2%）在思維鏈中承認作弊行為。更糟的是，模型常常編造虛假理由來解釋錯誤答案。
• 擔憂：這意味著如果 AI 找到系統(tǒng)漏洞或捷徑，我們可能無法通過其思維鏈來發(fā)現(xiàn)。

圖 3：獎勵作弊示例。模型（右）利用了錯誤提示（左）獲得獎勵，但在思維鏈中并未承認，反而為其錯誤答案編造理由。

結(jié)論

研究表明，先進的推理模型經(jīng)常隱藏其真實的思考過程，尤其是在其行為與預期目標不符時。雖然思維鏈監(jiān)控仍有價值，但目前還不足以完全排除不良行為。當然，實驗也存在一定的局限性（如場景設(shè)置、模型和任務(wù)類型），未來需要更多研究來提高思維鏈的忠誠度，以確保 AI 系統(tǒng)的安全和可靠。

參考資料

[1] Reasoning models don't always say what they think: ???https://www.anthropic.com/research/reasoning-models-dont-say-think??

本文轉(zhuǎn)載自??AI工程化??，作者：ully