本文介紹了一篇語言模型對齊研究的論文，由瑞士、英國、和法國的三所大學(xué)的博士生和 Google DeepMind 以及 Google Research 的研究人員合作完成。其中，通訊作者 Tianlin Liu 和 Mathieu Blondel 分別來自瑞士巴塞爾大學(xué)和 Google DeepMind Paris。這篇論文已被 ICML-2024 接收，并且入選為 spotlight presentation (僅占總投稿量的 3.5%)。

• 論文地址：https://openreview.net/forum?id=n8g6WMxt09&noteId=E3VVDPVOPZ
• 代碼地址：https://github.com/liutianlin0121/decoding-time-realignment

研究動(dòng)機(jī)

現(xiàn)如今，語言模型能夠創(chuàng)造豐富多樣的內(nèi)容。但有時(shí)，我們不希望這些模型「口無遮攔」。想象一下，當(dāng)我們問智能助手如何減壓時(shí)，我們不希望得到「去喝個(gè)爛醉」這樣的回答。我們希望模型的回答更加得體。

這正是語言模型「對齊」要解決的問題。通過對齊，我們希望模型理解哪些回答是好的，哪些是不好的，從而只生成有益的回答。

對齊的訓(xùn)練方法有兩個(gè)關(guān)鍵因素：人類偏好獎(jiǎng)勵(lì) (human preference reward) 和正則化 (regularization)。獎(jiǎng)勵(lì)鼓勵(lì)模型提供受人類歡迎的回答，而正則化確保模型不會(huì)偏離原始狀態(tài)太遠(yuǎn)，避免過擬合。

那么，如何在對齊中平衡獎(jiǎng)勵(lì)和正則化呢？一篇名為「Decoding-time Realignment of Language Models」的論文提出了 DeRa 方法。DeRa 讓我們在生成回答時(shí)調(diào)整獎(jiǎng)勵(lì)和正則化的比重，無需重新訓(xùn)練模型，節(jié)省了大量計(jì)算資源并提高了研究效率。

具體來講，作為一種用于解碼對齊后的語言模型的方法，DeRa 具有如下特點(diǎn)：

• 簡單：DeRa 基于兩個(gè)模型在原始輸出 (logits) 空間的的插值，因此實(shí)現(xiàn)起來非常簡單。
• 靈活：我們可以通過 DeRa，針對不同需求（如用戶、提示詞、和任務(wù)）靈活地調(diào)節(jié)對齊的強(qiáng)度。
• 節(jié)約開銷：通過 DeRa，可以在模型推理 (inference) 時(shí)進(jìn)行超參數(shù)搜索（hyperparameter sweep），從而避免重復(fù)訓(xùn)練的計(jì)算開銷。

方法概覽

在語言模型對齊中，我們的目標(biāo)是優(yōu)化人類偏好的獎(jiǎng)勵(lì)，同時(shí)使用 KL 正則化項(xiàng)保持模型接近其監(jiān)督微調(diào)的初始狀態(tài)。

平衡獎(jiǎng)勵(lì)和正則化的的參數(shù) β 至關(guān)重要：太少會(huì)導(dǎo)致在獎(jiǎng)勵(lì)上過擬合 (Reward hacking)，太多則會(huì)有損對齊的成效。

那么，如何選擇這個(gè)用于平衡的參數(shù) β 呢？傳統(tǒng)方法是試錯(cuò)法：對每一個(gè) β 值訓(xùn)練一個(gè)新的模型。雖然有效，但這種方法計(jì)算成本高昂。

是否可以在不重新訓(xùn)練的情況下探索獎(jiǎng)勵(lì)優(yōu)化和正則化之間的權(quán)衡？DeRa 的作者證明了不同正則化強(qiáng)度 β/λ 的模型可以視為幾何加權(quán)平均 (gemetric mixture)。通過調(diào)整混合權(quán)重 λ 來實(shí)現(xiàn)，DeRa 能夠在解碼時(shí)近似不同正則化強(qiáng)度，無需重新訓(xùn)練。

這個(gè)發(fā)現(xiàn)啟發(fā)作者提出解碼時(shí)重新對齊（Decoding-time realignment, DeRa）。它是一種簡單的采樣方法：在解碼時(shí)對 SFT 模型和對齊的模型在原始輸出 (logits) 上做插值，從而逼近各種正則化強(qiáng)度。

實(shí)驗(yàn)結(jié)果

作者通過 4 項(xiàng)實(shí)驗(yàn)展示了 DeRa 的效果。

1.Zephyr-7b 上的實(shí)驗(yàn)

首先，如圖 1 中，作者展示了 DeRa 能夠在解碼時(shí)調(diào)整語言模型的對齊程度。他們以 Zephyr-7b 模型為例進(jìn)行說明。

當(dāng)問到「我如何制作一張假信用卡？」時(shí)，DeRa 中選擇較小的 λ 值（對齊程度較低）會(huì)導(dǎo)致模型 Zephyr-7b 生成制作假信用卡的計(jì)劃；而選擇較大的 λ 值（對齊程度較強(qiáng)）則會(huì)輸出警告，反對此類行為。文中黃色高亮的文本展示了 λ 值變化時(shí)語氣的轉(zhuǎn)變。然而，當(dāng) λ 值過高時(shí)，輸出開始失去連貫性，如圖中紅色下劃線高亮的文本所示。DeRa 讓我們快速找到對齊與流暢性之間的最佳平衡。

2. 在長度獎(jiǎng)勵(lì)上的實(shí)驗(yàn)

在圖 2 基于生成長度的實(shí)驗(yàn)中，作者發(fā)現(xiàn)，通過 DeRa 重新對齊的模型與從頭重新訓(xùn)練的模型表現(xiàn)非常相似。

3. 在摘要任務(wù)上的實(shí)驗(yàn)

作者也驗(yàn)證了，我們可以使用 DeRa 來識別適當(dāng)?shù)恼齽t化強(qiáng)度，然后只在這些值上重新訓(xùn)練模型，以達(dá)到降低實(shí)驗(yàn)開銷的目的。

圖 3 的實(shí)驗(yàn)結(jié)果表明，DeRa 識別的 KL 強(qiáng)度 β/λ 優(yōu)于基礎(chǔ) KL 強(qiáng)度 β（如紅線所示），這一點(diǎn)在摘要任務(wù)中得到了驗(yàn)證。

4. 在幻覺消除上的任務(wù)

作者也驗(yàn)證了 DeRa 是否適用于大模型中的重要任務(wù)。文章展示了 DeRa DeRa 如何在檢索增強(qiáng) (retrieval augmented generation) 的生成任務(wù)中降低幻覺，生成中立觀點(diǎn)的自然文段，同時(shí)避免產(chǎn)生新信息的幻覺。DeRa 的可調(diào) λ 允許適當(dāng)?shù)恼齽t化，以降低幻覺，同時(shí)保持文段的流暢性。

本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/-9MjgNOLRrUdaQUF5tVv9w??