如何讓大模型更懂「人」？

雖然現(xiàn)有大模型經(jīng)過(guò)了人類價(jià)值觀對(duì)齊訓(xùn)練，但其對(duì)齊效果往往會(huì)讓少數(shù)群體的聲音被系統(tǒng)性淹沒(méi)。

那隨之而來(lái)的問(wèn)題是，當(dāng)大模型服務(wù)全球用戶，標(biāo)準(zhǔn)化對(duì)齊范式是否正在制造新的數(shù)字鴻溝？

來(lái)自人大和螞蟻的研究團(tuán)隊(duì)洞察到傳統(tǒng)對(duì)齊范式的結(jié)構(gòu)性缺陷：

基于普世原則（如無(wú)害性、有用性）的單一價(jià)值觀體系，本質(zhì)上是對(duì)人類復(fù)雜心理圖譜的暴力降維。這就像用同一副濾鏡處理所有影像，雖能保證基礎(chǔ)畫(huà)質(zhì)，卻抹殺了萬(wàn)千色彩的獨(dú)特性。

更嚴(yán)峻的是，現(xiàn)有反饋系統(tǒng)收集的「集體智慧」，往往演變成主流偏好的回聲室，使得教育背景、文化認(rèn)同等關(guān)鍵差異項(xiàng)在數(shù)據(jù)池中悄然消融。

面對(duì)這一挑戰(zhàn)，研究團(tuán)隊(duì)提出大模型應(yīng)該轉(zhuǎn)向個(gè)性化對(duì)齊訓(xùn)練。

這首先需要構(gòu)建一個(gè)全面而精準(zhǔn)的人類偏好表征系統(tǒng)。受到認(rèn)知科學(xué)的啟發(fā)，研究團(tuán)隊(duì)構(gòu)建了首個(gè)90維心理偏好空間，巧妙融合馬斯洛需求層次理論、默里需求體系、前沿對(duì)齊研究維度與億級(jí)社交平臺(tái)興趣圖譜。

這個(gè)可解釋的坐標(biāo)體系如同數(shù)字羅盤，既能定位用戶「偏好什么」（如知識(shí)獲取傾向），更能揭示「為何偏好」（如自我實(shí)現(xiàn)需求）。

基于該框架，研究團(tuán)隊(duì)構(gòu)建并開(kāi)源了首個(gè)包含130萬(wàn)用戶畫(huà)像的AlignX數(shù)據(jù)集，以及基于大規(guī)模綜合個(gè)性化訓(xùn)練的大語(yǔ)言模型AlignXpert。

該模型采用兩種互補(bǔ)的個(gè)性化對(duì)齊方法：

一是通過(guò)上下文對(duì)齊（In-Context Alignment，ICA）將用戶畫(huà)像直接整合到上下文窗口中進(jìn)行隱式偏好學(xué)習(xí)；

二是通過(guò)偏好橋接對(duì)齊（Preference-Bridged Alignment，PBA）將用戶畫(huà)像映射為結(jié)構(gòu)化偏好分布，在保持對(duì)不同用戶群體穩(wěn)健泛化能力的同時(shí)，提升了模型的可解釋性和可控性。

在4個(gè)具有挑戰(zhàn)性的基準(zhǔn)測(cè)試中，AlignXpert對(duì)用戶偏好的預(yù)測(cè)準(zhǔn)確率實(shí)現(xiàn)了平均17.06%的相對(duì)提升。

值得一提的是，研究團(tuán)隊(duì)同步發(fā)布了首篇聚焦個(gè)性化對(duì)齊的綜述論文。

該綜述系統(tǒng)性地探討了大語(yǔ)言模型如何在保持普適倫理邊界的同時(shí)，實(shí)現(xiàn)對(duì)個(gè)體偏好的精準(zhǔn)適配。通過(guò)提出統(tǒng)一的技術(shù)框架，涵蓋偏好記憶管理、個(gè)性化生成和基于反饋的對(duì)齊機(jī)制，為未來(lái)更具適應(yīng)性的倫理對(duì)齊模型發(fā)展指明方向。這份綜述與本文提出的AlignX形成優(yōu)勢(shì)互補(bǔ)：綜述梳理了技術(shù)全景，而AlignX則是從理論到實(shí)踐的突破性嘗試。

該論文的第一作者是中國(guó)人民大學(xué)高瓴人工智能學(xué)院博士生李嘉楠，螞蟻技術(shù)研究院副研究員關(guān)健為共同第一作者。

對(duì)齊幻象下的千人一面困局

在大模型對(duì)齊技術(shù)日益精進(jìn)的表象之下，潛藏著一個(gè)被集體忽視的悖論：當(dāng)開(kāi)發(fā)者不斷疊加「無(wú)害性」「誠(chéng)實(shí)性」「幫助性」等普世原則時(shí)，模型的「價(jià)值熵減」現(xiàn)象卻愈演愈烈。

這種矛盾集中體現(xiàn)在兩大困境：

一是系統(tǒng)性排除效應(yīng)，少數(shù)群體的文化觀念、道德立場(chǎng)在默認(rèn)對(duì)齊框架中遭遇靜默擦除；

二是適配性塌縮，用戶滿意度因缺乏個(gè)性化響應(yīng)而持續(xù)衰減。

這一危機(jī)直指對(duì)齊范式的根本缺陷：人類價(jià)值觀的多元光譜與大模型開(kāi)發(fā)者預(yù)設(shè)的單一道德坐標(biāo)系之間，存在著無(wú)法彌合的認(rèn)知鴻溝。

△對(duì)某個(gè)用戶提示的生成空間進(jìn)行可視化。

在大模型開(kāi)發(fā)者預(yù)設(shè)的三個(gè)普世價(jià)值觀維度下，現(xiàn)有大模型所對(duì)齊的社會(huì)偏好密集區(qū)域是所有個(gè)性化偏好密集區(qū)域的平均。

深入剖析現(xiàn)有方法，團(tuán)隊(duì)發(fā)現(xiàn)主流“一刀切”的對(duì)齊技術(shù)依賴兩大脆弱假設(shè)：

一是將復(fù)雜的人類偏好壓縮為幾個(gè)單向度指標(biāo)（如「幫助性（越高越好）」），二是將個(gè)體差異簡(jiǎn)化為同質(zhì)化數(shù)據(jù)池中的統(tǒng)計(jì)噪聲。這種粗放式建模猶如在數(shù)據(jù)荒漠中盲目繪制用戶畫(huà)像，既無(wú)法捕捉價(jià)值觀沖突中的微妙平衡（如自由表達(dá)vs社會(huì)規(guī)范），更無(wú)力應(yīng)對(duì)長(zhǎng)尾群體的認(rèn)知特異性。

尤為嚴(yán)峻的是，基于匿名聚合數(shù)據(jù)的對(duì)齊訓(xùn)練，實(shí)質(zhì)上抹殺了用戶畫(huà)像與偏好維度間的因果紐帶，導(dǎo)致模型始終在認(rèn)知迷霧中摸索。

△AlignX個(gè)性化對(duì)齊數(shù)據(jù)示意圖。

這個(gè)示意圖中，包含一個(gè)帖子及其兩個(gè)候選回答，三類人格表征包含行為模式和描述性特征，可實(shí)現(xiàn)精準(zhǔn)偏好推斷并促進(jìn)偏好學(xué)習(xí)（右下）。值得注意的是，基于普世價(jià)值觀對(duì)齊的大語(yǔ)言模型（如GPT-4）傾向于選擇回答2，與用戶傾向于回答1的個(gè)性化偏好形成對(duì)立。

正如綜述論文所指出的，人類偏好并非單一維度的線性優(yōu)化問(wèn)題，而是動(dòng)態(tài)、多維且受社會(huì)文化深刻影響的復(fù)雜系統(tǒng)。

如下圖所示，個(gè)性化對(duì)齊的核心在于構(gòu)建一個(gè)能夠動(dòng)態(tài)平衡普適倫理與個(gè)體需求的框架。通過(guò)引入偏好記憶管理、個(gè)性化生成和基于反饋的對(duì)齊機(jī)制，模型可以在保持倫理邊界的同時(shí)，精準(zhǔn)適配用戶偏好。這不僅是技術(shù)的突破，更是對(duì)“千人一面”困局的深刻反思。

△個(gè)性化對(duì)齊框架

AlignX：構(gòu)建可擴(kuò)展的個(gè)性化對(duì)齊數(shù)據(jù)集

面對(duì)個(gè)性化對(duì)齊中多維度偏好建模的復(fù)雜性，研究團(tuán)隊(duì)提出了一套系統(tǒng)化偏好表征框架，其核心突破在于融合「直接偏好方向」與「間接用戶畫(huà)像」的雙重認(rèn)知架構(gòu)，將人類需求的底層邏輯轉(zhuǎn)化為可計(jì)算的科學(xué)語(yǔ)言。

這一創(chuàng)新建立在心理學(xué)與社會(huì)認(rèn)知科學(xué)的堅(jiān)實(shí)基礎(chǔ)上。通過(guò)引入結(jié)構(gòu)化表征方法，該框架為大規(guī)模用戶偏好學(xué)習(xí)構(gòu)建了一個(gè)「認(rèn)知操作系統(tǒng)」。

系統(tǒng)通過(guò)兩個(gè)層次建模用戶偏好：

（1）全面的偏好空間映射，將90個(gè)關(guān)鍵偏好維度（如“安全感”、“社交歸屬”、“自我實(shí)現(xiàn)”等）編碼為可量化的方向標(biāo)簽（正向/負(fù)向/中性）；

（2）多源異構(gòu)用戶畫(huà)像表示，整合行為模式（包括用戶的生成內(nèi)容、比較式反饋）與描述性特征（即人口統(tǒng)計(jì)屬性）。

基于該偏好表示框架，研究團(tuán)隊(duì)開(kāi)創(chuàng)了從海量交互數(shù)據(jù)中可擴(kuò)展地提煉個(gè)性化對(duì)齊數(shù)據(jù)的新范式。從Reddit論壇16億級(jí)真實(shí)討論和現(xiàn)有的多個(gè)對(duì)齊數(shù)據(jù)集出發(fā)，研究團(tuán)隊(duì)構(gòu)建了包含130萬(wàn)個(gè)用戶畫(huà)像的AlignX數(shù)據(jù)集。AlignX中每條數(shù)據(jù)被表征成一個(gè)五元組，包括用戶畫(huà)像、用戶畫(huà)像隱含的偏好向量、用戶Prompt、用戶偏好的回復(fù)和用戶不偏好的回復(fù)。AlignX數(shù)據(jù)集的核心在于將個(gè)性化對(duì)齊任務(wù)形式化為一個(gè)條件策略學(xué)習(xí)問(wèn)題，使模型能夠基于用戶畫(huà)像生成與用戶偏好相符的回復(fù)。

AlignXpert：解密用戶行為中的隱式偏好

基于AlignX數(shù)據(jù)集，研究團(tuán)隊(duì)訓(xùn)練得到能夠根據(jù)用戶畫(huà)像進(jìn)行個(gè)性化生成的模型AlignXpert。該模型可以通過(guò)兩種方案實(shí)現(xiàn)個(gè)性化對(duì)齊——上下文對(duì)齊（ICA）與偏好橋接對(duì)齊（PBA），分別對(duì)用戶畫(huà)像隱含的用戶偏好進(jìn)行隱式和顯式的建模：ICA：上下文對(duì)齊直接將用戶畫(huà)像與用戶Prompt拼接為上下文窗口，訓(xùn)練模型捕捉隱式用戶偏好，實(shí)現(xiàn)零樣本泛化能力。該方案巧妙利用大模型的上下文學(xué)習(xí)特性，從用戶畫(huà)像中隱式地學(xué)習(xí)隱含的用戶偏好。

PBA：偏好橋接對(duì)齊引入隱變量顯式建模用戶偏好方，通過(guò)兩階段分解實(shí)現(xiàn)可解釋的偏好傳遞：第一階段將用戶畫(huà)像壓縮為偏好方向向量，第二階段將其轉(zhuǎn)化為自然語(yǔ)言描述注入生成過(guò)程。

兩大方法形成互補(bǔ)優(yōu)勢(shì)：

• 隱顯協(xié)同ICA擅長(zhǎng)捕捉動(dòng)態(tài)交互模式，PBA精于結(jié)構(gòu)化偏好推理
• 效率革命ICA利用現(xiàn)成上下文機(jī)制，PBA通過(guò)用戶畫(huà)像向量化壓縮計(jì)算開(kāi)銷

△ 對(duì)齊方法概述

廣泛提升模型對(duì)齊能力

實(shí)驗(yàn)結(jié)果令人振奮！研究團(tuán)隊(duì)在涵蓋普世價(jià)值觀對(duì)齊（UF-P-4）、真實(shí)用戶個(gè)性化偏好對(duì)齊（PRISM、P-Soups）及綜合對(duì)齊（AlignX-test）的四大具有挑戰(zhàn)性的基準(zhǔn)上，系統(tǒng)驗(yàn)證了AlignXpert的卓越性能。

1. 跨維度對(duì)齊：通用與個(gè)性化價(jià)值的雙重征服

AlignXpert在通用價(jià)值觀與個(gè)性化偏好場(chǎng)景中均展現(xiàn)卓越表現(xiàn)。雖然基準(zhǔn)模型在普世價(jià)值觀（UF-P-4）上表現(xiàn)良好，但它們?cè)趥€(gè)性化偏好（P-Soups、AlignX-test）上表現(xiàn)欠佳。AlignXpert在兩種場(chǎng)景下均保持卓越性能，并在分布外基準(zhǔn)測(cè)試中展現(xiàn)出強(qiáng)大的泛化能力，在PRISM/ P-Soups上分別以9.83%/32.25%的優(yōu)勢(shì)超越基線。

△ 不同模型在含各類用戶畫(huà)像的偏好對(duì)齊任務(wù)中的對(duì)齊準(zhǔn)確率（%）

△GPT-4勝率（M1：Llama-3.1-8B-Instruct；M2：AlignXpert-ICA；M3：AlignXpert-PBA）

2. 泛化未來(lái)：新偏好維度快速適配

研究團(tuán)隊(duì)探究AlignXpert在AlignX上的偏好對(duì)齊訓(xùn)練是否為適應(yīng)新偏好維度提供了更優(yōu)的初始化參數(shù)。基于兩個(gè)新維度——“幽默”（詼諧vs嚴(yán)肅）與”實(shí)用主義”（實(shí)踐導(dǎo)向vs理論導(dǎo)向），研究團(tuán)隊(duì)構(gòu)建了包含6,355個(gè)訓(xùn)練樣本和1,000個(gè)測(cè)試樣本的數(shù)據(jù)集。

對(duì)比三種適應(yīng)方法：(1) 在ICA框架下微調(diào)Llama-3.1-8B-Instruct，(2) 在ICA框架下微調(diào)AlignXpert-ICA，(3) 在PBA框架下微調(diào)AlignXpert-PBA。兩種AlignXpert變體均顯著超越Llama基線（p值<0.05），表明模型習(xí)得的是可泛化的偏好對(duì)齊機(jī)制，而非對(duì)訓(xùn)練維度的簡(jiǎn)單擬合。

△在新偏好維度下的對(duì)齊準(zhǔn)確率

3. 交互數(shù)據(jù)稀缺，仍能維持表現(xiàn)

在真實(shí)應(yīng)用場(chǎng)景中，用戶往往僅具備有限的交互歷史，這使得個(gè)性化偏好對(duì)齊模型在不同規(guī)模歷史數(shù)據(jù)下的穩(wěn)定表現(xiàn)至關(guān)重要。研究團(tuán)隊(duì)評(píng)估了AlignXpert模型對(duì)用戶互動(dòng)歷史數(shù)據(jù)量的魯棒性。通過(guò)使用2~16組用戶生成內(nèi)容和成對(duì)比較數(shù)據(jù)作為用戶畫(huà)像進(jìn)行測(cè)試，揭示了AlignXpert的兩大核心優(yōu)勢(shì)：

數(shù)據(jù)稀缺場(chǎng)景下的穩(wěn)健性：即使用戶畫(huà)像中僅包含2個(gè)樣本數(shù)據(jù)，模型仍能保持可靠性能；增益效應(yīng)：隨著歷史數(shù)據(jù)增加，準(zhǔn)確率持續(xù)提升。

△不同交互歷史數(shù)量下的對(duì)齊準(zhǔn)確率

4. 控制自如的偏好

偏好對(duì)齊系統(tǒng)的核心能力在于適應(yīng)多元甚至對(duì)立的用戶偏好，而非固化單一傾向。為驗(yàn)證AlignXpert的該特性，研究團(tuán)隊(duì)在P-Soups和AlignX-test數(shù)據(jù)集開(kāi)展可控性實(shí)驗(yàn)：在推理階段對(duì)用戶畫(huà)像中的成對(duì)偏好樣本及目標(biāo)偏好回復(fù)對(duì)的偏好方向進(jìn)行反轉(zhuǎn)（如將"y_w>y_l"改為"y_w<y_l"），并通過(guò)兩項(xiàng)指標(biāo)評(píng)估可控性：

對(duì)齊準(zhǔn)確率（Acc）：衡量模型在偏好反轉(zhuǎn)條件下是否能準(zhǔn)確預(yù)測(cè)被偏好的回復(fù)；翻轉(zhuǎn)成功率（Flip）：統(tǒng)計(jì)模型在偏好反轉(zhuǎn)之后預(yù)測(cè)也成功反轉(zhuǎn)的比例。

AlignXpert在兩項(xiàng)指標(biāo)上均展現(xiàn)卓越可控性。基線模型則表現(xiàn)出顯著低的翻轉(zhuǎn)成功率（3-15%），證實(shí)其過(guò)擬合到固定的偏好方向，而AlignXpert實(shí)現(xiàn)了動(dòng)態(tài)適應(yīng)性優(yōu)化。

△偏好反轉(zhuǎn)場(chǎng)景下的模型表現(xiàn)

結(jié)語(yǔ)

本研究首次系統(tǒng)地探索了大規(guī)模個(gè)性化偏好對(duì)齊范式，為模型適配多樣化人類需求開(kāi)辟新路徑。

核心貢獻(xiàn)包括：

(1) 突破性提出“間接用戶畫(huà)像-直接偏好方向”雙向映射框架，實(shí)現(xiàn)復(fù)雜偏好建模的系統(tǒng)性突破；

(2) 開(kāi)源AlignX數(shù)據(jù)集，提供130萬(wàn)條精細(xì)化用戶畫(huà)像-偏好關(guān)聯(lián)數(shù)據(jù)，刷新對(duì)齊數(shù)據(jù)規(guī)模天花板；

(3) AlignXpert模型通過(guò)上下文學(xué)習(xí)或偏好橋接對(duì)齊策略，在零樣本適應(yīng)、低交互優(yōu)化等場(chǎng)景實(shí)現(xiàn)卓越性能提升。

實(shí)驗(yàn)證明該方案在偏好可控性等方面達(dá)到新高度，為教育、心理咨詢等個(gè)性化服務(wù)領(lǐng)域奠定基礎(chǔ)。研究團(tuán)隊(duì)期待該框架持續(xù)進(jìn)化，在人類價(jià)值觀建模與隱私保護(hù)平衡等方向?qū)崿F(xiàn)更深層突破。

論文地址：https://arxiv.org/pdf/2503.15463

Github：https://github.com/JinaLeejnl/AlignX

Dataset：https://huggingface.co/datasets/JinaLeejnl/AlignX

Survey鏈接：https://arxiv.org/abs/2503.17003