中國(guó)移動(dòng)九天人工智能團(tuán)隊(duì)（中國(guó)移動(dòng)研究院人工智能與智慧運(yùn)營(yíng)中心），作為中國(guó)移動(dòng)在人工智能領(lǐng)域的核心力量，自2013年起便致力于推動(dòng)人工智能技術(shù)的研發(fā)與應(yīng)用。該團(tuán)隊(duì)由中國(guó)移動(dòng)集團(tuán)級(jí)首席科學(xué)家、IEEE Fellow馮俊蘭博士領(lǐng)銜，依托中國(guó)移動(dòng)全球領(lǐng)先的算網(wǎng)基礎(chǔ)設(shè)施、海量數(shù)據(jù)資源和豐富應(yīng)用場(chǎng)景優(yōu)勢(shì)，全力打造“九天”人工智能品牌。九天人工智能團(tuán)隊(duì)不僅是中國(guó)移動(dòng)在AI領(lǐng)域的“國(guó)家隊(duì)”，更是推動(dòng)行業(yè)智能化轉(zhuǎn)型的重要引擎。目前，九天人工智能團(tuán)隊(duì)已匯聚超過800名優(yōu)秀研發(fā)人員，其中碩博占比高達(dá)90%，來(lái)自頭部院校的博士近百人。團(tuán)隊(duì)牽頭承擔(dān)了20余項(xiàng)國(guó)家和省部級(jí)科創(chuàng)項(xiàng)目，發(fā)表了國(guó)際頂會(huì)、頂刊論文180余篇，獲得發(fā)明專利1039項(xiàng)，并在頂級(jí)AI競(jìng)賽中榮獲TOP5獎(jiǎng)項(xiàng)19項(xiàng)。

大模型在文本生成方面取得了卓越的成就，通過合適的prompt設(shè)計(jì)，往往可以使得生成結(jié)果符合特定的需求。但是為屬性繁多的任務(wù)設(shè)計(jì)出合適的prompt是很困難的。一種解決方案是通過線性組合方式或者其變種將每個(gè)屬性對(duì)應(yīng)的模型在生成logits上進(jìn)行融合。鑒于屬性之間可能存在的沖突現(xiàn)象，這種方案無(wú)法保證模型的主屬性不受其他模型的干擾。

在這項(xiàng)研究中，我們借助貝葉斯公式及最小化條件互信息策略，對(duì)屬性沖突現(xiàn)象進(jìn)行了嚴(yán)謹(jǐn)?shù)慕?，最終得到一種新穎的多屬性模型融合策略，并將其拓展到單屬性prompt設(shè)計(jì)方面。同時(shí)歸納出兩條多屬性模型融合方案的指導(dǎo)準(zhǔn)則，藉由此在理論上證明了我們的方案要優(yōu)于線性組合方案。我們?cè)诿舾行畔⒖刂啤⑸汕楦械葐?多個(gè)屬性融合場(chǎng)景下驗(yàn)證了方法的有效性。

• 論文題目：Palette of Language Models: A Solver for Controlled Text Generation
• 論文地址：https://arxiv.org/pdf/2503.11182

背景

可控文本生成算法是控制語(yǔ)言模型輸出的主要策略，對(duì)于對(duì)齊人類偏好、風(fēng)格轉(zhuǎn)換、話題切換等場(chǎng)景有著重要的應(yīng)用意義。

在大模型時(shí)代，通過簡(jiǎn)單的 prompt 設(shè)計(jì)往往可以實(shí)現(xiàn)這種需求，例如：指令「請(qǐng)以安撫的口吻回復(fù)客戶的問詢」會(huì)控制模型生成具有積極意義的回復(fù)，充分考慮用戶當(dāng)前情感并妥善處理用戶問題。

但是當(dāng)需要控制屬性數(shù)量較多、且控制力度更細(xì)節(jié)時(shí)，簡(jiǎn)單的 prompt 設(shè)計(jì)將無(wú)法有效支撐這樣的場(chǎng)景。

例如「回復(fù)中要有 40% 的積極情感、20% 的正式表述、夾雜 10% 的孩童口吻」，這樣的 prompt 設(shè)計(jì)很難被模型理解，而其中的部分屬性也會(huì)由于屬性數(shù)量的龐大被弱化無(wú)法有效表達(dá)。

線性組合及其變種（union 及 intersection）是多屬性模型融合的一種有效方法，通過為每個(gè)屬性分配權(quán)重控制該屬性的表達(dá)效果：

具體地如上式所述，計(jì)算各個(gè)屬性模型在輸出 logits 上的值并進(jìn)行組合，得到最終要控制的復(fù)雜屬性的分布。每個(gè)屬性都有對(duì)應(yīng)的系數(shù)，隨著該系數(shù)的增大，最終模型會(huì)越來(lái)越表現(xiàn)出該屬性的特點(diǎn)。union 與 intersection 方式分別指將屬性求和替換為取最大值與最小值。

屬性之間往往存在沖突現(xiàn)象，這是由于語(yǔ)言的表達(dá)方式很難做到屬性級(jí)別的細(xì)分，例如上面的例子中，「以孩童的語(yǔ)氣」屬性中會(huì)暗含「不夠正式的說法」，這與「正式表述」屬性是矛盾的，在融合過程中前者必然會(huì)弱化后者的表達(dá)。線性組合方案并未對(duì)這種現(xiàn)象進(jìn)行顯式的建模，因此當(dāng)存在屬性沖突時(shí)，受影響屬性的系數(shù)不會(huì)按照理論上的比重控制最終組合效果。

方法

我們提出了語(yǔ)言模型調(diào)色板方法，通過貝葉斯公式與最小化條件互信息，對(duì)屬性模型的組合過程進(jìn)行了合理的建模。

圖 1 語(yǔ)言模型調(diào)色板設(shè)計(jì)

屬性組合過程被建模為：給定若干具有某種主屬性的模型，我們需要尋找一種合適的組合方案得到某個(gè)復(fù)雜融合屬性的分布，同時(shí)要滿足組合之后任意兩個(gè)屬性間的影響作用最小。

受條件互信息的啟發(fā)，我們將屬性間影響的度量 M 建模為在最終組合分布條件下，這兩種屬性間的互信息值，也就是：

為了充分利用該度量方式，我們借助貝葉斯公式將最終組合分布 p(Z) 分別進(jìn)行單屬性與兩屬性條件下的分解，并將結(jié)果進(jìn)行整合，從而得到 p(Z) 與任意兩個(gè)屬性間的關(guān)系：

最小化條件互信息的引入使得我們可以對(duì)上式中屬性間雜糅的表達(dá)形式進(jìn)行解耦，并擴(kuò)展到 N 個(gè)屬性組合。借助柯西不等式，我們對(duì)結(jié)果進(jìn)行簡(jiǎn)化處理：

我們將屬性的后驗(yàn)概率定義為屬性強(qiáng)度 Si，其代表了在最終分布條件下，該屬性的貢獻(xiàn)值。因此，最終的屬性組合方案可以表示為：

這里 M1 與 M2 為歸一化系數(shù)。上述組合策略以不帶任何屬性傾向的模型 Pb 作為 base，用來(lái)控制最終分布 logits 的合理性與穩(wěn)定性，而單屬性 prompt 設(shè)計(jì)也可以據(jù)此建模為該屬性與 base 模型的組合，這樣就實(shí)現(xiàn)了單屬性與多屬性在策略上的統(tǒng)一性。

我們提出「屬性 token」的概念，對(duì)其進(jìn)行數(shù)學(xué)上的定義，并基于此歸納出兩條多屬性組合方案的設(shè)計(jì)準(zhǔn)則：

1）屬性表達(dá)與屬性強(qiáng)度之間的正相關(guān)關(guān)系 

2）屬性增強(qiáng)理念

具體地，我們的方法滿足下列特征。

其一，隨著屬性強(qiáng)度 Si 的增加，「屬性 token」的概率值會(huì)相應(yīng)增加：

其二，我們的方法相比于線性組合方案，屬性增強(qiáng)的幅度會(huì)更大：

這兩條準(zhǔn)則在一定程度上可以衡量某種多屬性組合策略的優(yōu)越性，也為多屬性組合方案提供了指導(dǎo)。

結(jié)果

在實(shí)驗(yàn)過程中，考慮到公式中 1/p 的結(jié)果可能出現(xiàn)很大的情況，我們使用 sigmoid(.) 函數(shù)將其約束并保持同樣的單調(diào)性：

借助上述設(shè)計(jì)準(zhǔn)則，我們同樣證明了這種替換方式的有效性：

1）sigmoid(.) 屬性正相關(guān)：

2）sigmoid(.) 屬性增強(qiáng)：

我們?cè)趩?多屬性組合場(chǎng)景下進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果都優(yōu)于 baseline 方法。如下表 1 為情感單屬性控制；表 2 為設(shè)計(jì)的反向敏感信息與情感融合的多屬性控制，其中敏感信息對(duì)情感具有弱化作用，我們的方法可以減少這種弱化，因此最終情感值都會(huì)高于線性組合方法；表 3 設(shè)計(jì)為正向敏感信息與情感融合的多屬性控制，其中敏感信息對(duì)情感具有強(qiáng)化作用，我們的方法可以減少這種強(qiáng)化，因此最終相對(duì)情感值都會(huì)低于線性組合方法。

表 1 情感轉(zhuǎn)換控制（單屬性） 

表 2 敏感信息 + 情感控制（多屬性，弱化作用） 

表 3 敏感信息 + 情感控制（多屬性，強(qiáng)化作用）

同時(shí)我們?cè)谇楦袑傩钥刂茍?chǎng)景下驗(yàn)證了屬性表達(dá)與屬性強(qiáng)度之間的正相關(guān)關(guān)系，如圖 2 所示：

圖 2 屬性表達(dá)與屬性強(qiáng)度正相關(guān)關(guān)系

另外，我們也發(fā)現(xiàn)組合公式中的互補(bǔ)事件系數(shù) t 對(duì)最終組合結(jié)果影響較小，因此在實(shí)際組合場(chǎng)景中，我們可以只使用公式的前半部分進(jìn)行屬性控制，而這部分表達(dá)與線性組合方式在形式上是相近的，區(qū)別在于 1/p 的引入。

圖 3 互補(bǔ)事件系數(shù) t 對(duì)屬性表達(dá)影響（紅色線條表示 t=0）

總結(jié)

我們提出了一種新穎的多屬性組合策略，有效解決了傳統(tǒng)線性組合方式面臨的屬性沖突難題，并從理論上歸納出屬性組合策略的指導(dǎo)準(zhǔn)則。該策略是對(duì)體系化人工智能大閉環(huán)框架中原子能力組合方式的探索，對(duì)于「如何準(zhǔn)確衡量原子能力的邊界并規(guī)避邊界交叉現(xiàn)象」問題給出了有效答案。