隨著ChatGPT、Midjourney等大模型產(chǎn)品的影響力、應用場景越來越多，為了確保輸出的內容安全、可靠，對齊成為開發(fā)人員的關注重點和難點。

但現(xiàn)在的模型參數(shù)少則幾百億多則上千億，想通過傳統(tǒng)的監(jiān)督式微調方法來完成對齊效果往往不理想。

因此，英偉達的研究人員開源了安全對齊框架NeMo-Aligner。這是一個包括人類反饋進行強化學習（RLHF）、直接偏好優(yōu)化（DPO）、SteerLM和自我對弈微調等技術合集，可幫助開發(fā)人員極大提升模型的安全性能和穩(wěn)定輸出。

開源地址：??https://github.com/nvidia/nemo-aligner??

論文地址：https://arxiv.org/abs/2405.01481v1

下面為大家介紹兩個效果比較好、常用的NeMo-Aligner對齊方法。

RLHF

?

RLHF是NeMo-Aligner框架的核心模塊之一，主要通過人類反饋來引導大模型學習，使其輸出更符合人類的價值觀和偏好，同時采用了近端策略算法（PPO）來優(yōu)化語言模型的行為。

訓練過程主要分為三個階段：初始階段，從預訓練的基礎模型開始，進行監(jiān)督微調。在監(jiān)督微調中，使用輸入提示和期望的回復對基礎模型的參數(shù)進行更新，使其盡可能地模仿期望的回復。這一階段是為了確?；A模型能夠生成符合用戶指令的回復。

獎勵模型訓練階段，使用一組設定好的人類偏好數(shù)據(jù)，例如，問答的特定輸出格式，來訓練一個獎勵模型，以最大化預測獎勵與人類偏好一致的可能性。通常，會在監(jiān)督微調的模型之上初始化一個線性獎勵模型頭部，并在其上進行訓練。

策略優(yōu)化訓練，基于訓練好的獎勵模型，通過PPO進行優(yōu)化訓練。在訓練過程中，使用基于KL散度的正則化項，防止策略偏離起始點太遠并利用獎勵模型的盲點。

SteerLM

?

SteerLM主要通過引導大模型的生成流程來實現(xiàn)安全對齊，使用了一種“引導信號”的指導策略。可將開發(fā)者希望的輸出模式注入到模型的訓練中，以引導模型生成更符合預期的響應。

首先，需要準備一個包含輸入提示和期望輸出的數(shù)據(jù)集對。這些輸入提示可以是用戶提供的指令或問題，而期望輸出是模型生成的響應。

根據(jù)輸入提示和期望輸出，生成引導信號。引導信號可以采用不同的方式生成，例如，使用規(guī)則、基于規(guī)則的策略或者其他的啟發(fā)式方法，可以控制生成文本的風格、主題、情感等內容。

例如，在多輪AI對話中，可以指導模型生成符合用戶期望的回答；在文本摘要任務中，可以指導模型生成更加準確和有信息量的摘要內容；在機器翻譯任務中，可以使模型生成更加準確和流暢的翻譯結果。

本文轉自 AIGC開放社區(qū)，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/yib6ITPC9slRY0tPgvy-yw??