01前言

這就是素材

先讓我們帶著全局大圖去感受下素材

提到廣告業(yè)務(wù)就離不開一個關(guān)鍵詞 —— IAA (In-app Ads)：平臺一手向c端用戶提供免費的服務(wù)，一只手向 b 端客戶（廣告主）售賣廣告資源位，撮合用戶和客戶，賺些居間費，然后就可以用賺來的錢為用戶提供更好更多的免費服務(wù)。如是，廣告業(yè)務(wù)是 b 端客戶、平臺、c 端用戶的三方博弈場，如何讓這個游戲可持續(xù)發(fā)展？短期看金主爸爸（廣告主）的投流 ROI，中期看用戶體驗，長期看社區(qū)調(diào)性，這時候素材顯得格外重要（畢竟，廣告主的投流表達手段就是出價、定向、素材的三板斧）：廣告主向素材要效率，平臺向素材要質(zhì)量，用戶用腳投票。

素材能給廣告主帶來什么？

舉個例子，某一天收到一條拙劣詐騙短信“我是秦始皇，V我50”，我們會覺得不可思議：“現(xiàn)在的騙子怎么那么蠢！”，恭喜你，騙子眼中，你是個聰明人。越是拙劣的話術(shù)，越能過濾掉那些精明、麻煩的用戶，廣告里面把這個現(xiàn)象稱作素材即定向。廣告主追求投流 ROI，自然就有了動力制作一批讓聰明人厭惡的素材，畢竟，維護這些人的體驗感覺，對他好像也沒有收益。

素材能給用戶帶來什么？

用戶最初的目的就是來享受免費服務(wù)的，自然不愿被廣告打擾，但是，最近恰巧想去散散心，你推給了他一個精品團，抑或是，廣告告訴他現(xiàn)在年輕人都去看非洲大遷徙，他也覺得很有道理。滿足或者激發(fā)一個需求，廣告就不再是種打擾，似乎成了一種異樣的免費服務(wù)，畢竟，免費得到了最新的流行趨勢。

素材能給平臺帶來什么？

恰到好處的素材，大家其樂融融，用戶抵觸的素材，是會把用戶推開的。賣廣告主造血養(yǎng)活平臺 和 留住用戶才能有廣告主，兩者的因果關(guān)系有點雞和蛋的意味。平臺追求一個符合社區(qū)調(diào)性的素材，直覺上總沒有錯。好素材帶給平臺繁榮，壞的素材只會帶來麻煩，不能 balance 商業(yè)效率和社區(qū)調(diào)性的素材，都應(yīng)該是壞家伙。

行業(yè)的素材實踐

先給兩個結(jié)論：

1. 素材的制作成本是投放生產(chǎn)中的大頭（相比于友商，我們小紅書更注重社區(qū)的調(diào)性，廣告主的素材成本會更高）
2. 廣告主追求確定性的投流實踐

不同媒體的調(diào)性是不同的，一套素材吃天下幾乎不可能，目前的素材制作模式（自制 or 代理）：idea - 腳本 - 拍攝 - 領(lǐng)域?qū)＜胰斯そ槿?- 在線投放，顯然，拍攝成本付出之后，才能有一定的判斷結(jié)論，這時候，素材制作的成本已經(jīng)付出。

制作好的素材要更高的成本

回到“如何讓這個游戲可持續(xù)發(fā)展”的命題，等于在回答如何平衡商業(yè)效率和社區(qū)調(diào)性！答案也呼之欲出：“好的”素材的制作。生產(chǎn)實踐中，素材是有成本的：制作成本 + 投流試錯。至此，AIGC 的效率革命，是一個不錯的實踐選擇。

02行業(yè)內(nèi) AIGC 的實踐

先給幾個 case

1. 某代理商把素材制作的流程優(yōu)化，通過 AIGC 的能力把專家介入時機提前：idea - 腳本 - AIGC生成 - 領(lǐng)域?qū)＜胰斯そ槿?- 拍攝 - 在線投放
2. 某代理商在標(biāo)題中使用關(guān)鍵詞，將關(guān)鍵詞自然融入標(biāo)題且能夠合理分布，以提高在搜索結(jié)果中的排名
3. 某平臺推出 AIGC 離線工具 + 在線組合優(yōu)選的組合拳
4. 某平臺 spu 到素材的生成
5. 某平臺通過模糊素材內(nèi)容，達到防爬&站外引流的業(yè)務(wù)目標(biāo)
6. 多模態(tài)特征級聯(lián)到在線模型

歸納下收益路徑

1. 解決 0 - 1 投放問題：通過素材生產(chǎn)帶來預(yù)算和場域之間的互通，進一步提升消耗，收益來源是引入預(yù)算，增加競價密度，本質(zhì)是放開約束
2. 堆供給提升匹配效率：通過素材生產(chǎn)提升物料供給，帶來消耗提升，收益來源是匹配效率的提升，本質(zhì)是約束下堆多樣性
3. 提供工具賦能 b 端：輔助廣告主提升創(chuàng)編效率

（【Tips】各家平臺都在回答一個問題：平臺做素材的優(yōu)勢在哪?。?/p>

技術(shù)視角總結(jié)下實踐挑戰(zhàn)

1. 生產(chǎn)范式的幻覺挑戰(zhàn)（一致性）：廣告是一種商業(yè)行為，寶馬的廣告生成出一個奔馳的標(biāo)題，顯然是 0 容忍的紅線事件
2. 通用大模型到行業(yè)的適配性：營銷感 vs 社區(qū)調(diào)性
3. 多樣性：在有限的廣告內(nèi)容中盡可能挖掘多樣的標(biāo)題，提高投放匹配效率

03我們的 AIGC 實踐

開局一張圖，一致性、調(diào)性、多樣性最關(guān)鍵：

• 一致性：可控生成 + 可用性RM
• 調(diào)性：領(lǐng)域預(yù)訓(xùn)練 + SFT
• 多樣性：人群/筆記分層 + 可控生成 + 吸引力RM

業(yè)務(wù)建模

面向業(yè)務(wù)的可控生成

通用的生成一般是引入隨機性生成多標(biāo)題，但是我們的業(yè)務(wù)場景下，需要調(diào)和生成的隨機性和業(yè)務(wù)的確定性，因此，我們實踐：

1. 訓(xùn)練：基于自動標(biāo)注 (Auto-Labeling) - SFT (Supervised Fine-Tuning) 架構(gòu)的可控生成訓(xùn)練范式
2. 推理：構(gòu)造一個級聯(lián)框架，輸入筆記，依次輸出 推廣對象 + 標(biāo)題

基座模型的領(lǐng)域預(yù)訓(xùn)練

為了讓基座模型適應(yīng)小紅書的領(lǐng)域特點，我們清洗得到億級別筆記數(shù)據(jù)，并混合一定比例通用語料，對基座模型開展小紅書領(lǐng)域繼續(xù)預(yù)訓(xùn)練。而在模型選型上，我們從幻覺程度、標(biāo)題吸引力兩個方面進行評判，發(fā)現(xiàn)模型量級越大效果越好，結(jié)合線上部署推理成本，選用了 10B 量級模型。實驗顯示經(jīng)過領(lǐng)域預(yù)訓(xùn)練，生成標(biāo)題在相關(guān)性、幻覺抑制方面均得到提升。

基于大模型的自動標(biāo)注

結(jié)合業(yè)務(wù)場景，我們考慮筆記、人群、標(biāo)題風(fēng)格三個可控生成維度，而難點在于如何獲得訓(xùn)練數(shù)據(jù)。我們的做法是廣泛利用合成數(shù)據(jù)，借助通用大模型的能力為筆記抽取推廣對象，并標(biāo)注筆記分層、人群分層以及標(biāo)題風(fēng)格，獲得了筆記在不同賣點/人群下的關(guān)鍵詞數(shù)據(jù)。為拿到對應(yīng)標(biāo)題，也進一步訓(xùn)練了關(guān)鍵詞感知生成模型和風(fēng)格感知生成模型，來分別產(chǎn)出筆記在各筆記/人群分層、各風(fēng)格詞下的標(biāo)題。

關(guān)鍵詞感知生成模型訓(xùn)練

訓(xùn)練目標(biāo)是能根據(jù)給定關(guān)鍵詞生成標(biāo)題。為了解決訓(xùn)練數(shù)據(jù)匱乏的問題，我們首先用筆記原生標(biāo)題訓(xùn)練小紅書領(lǐng)域預(yù)訓(xùn)練模型，通過隨機采樣為每個筆記生成多個標(biāo)題。然后利用通用大模型給標(biāo)題抽取關(guān)鍵詞，從而為每個筆記獲得多組 <筆記 + 關(guān)鍵詞, 標(biāo)題> pair 數(shù)據(jù)，最后訓(xùn)練得到關(guān)鍵詞感知生成模型。

風(fēng)格感知生成模型訓(xùn)練

訓(xùn)練目標(biāo)是能生成給定風(fēng)格的標(biāo)題。我們利用大模型自動標(biāo)注的標(biāo)題風(fēng)格數(shù)據(jù)，獲得 <筆記 + 風(fēng)格, 標(biāo)題> pair 數(shù)據(jù)，進而訓(xùn)練得到風(fēng)格感知生成模型。

端到端聯(lián)合 SFT & 推理

為了讓一個模型實現(xiàn)上述可控生成能力，我們將大模型標(biāo)注的推廣對象、筆記/人群分層，以及各分層下的受控生成標(biāo)題整合為一個 label，對小紅書領(lǐng)域預(yù)訓(xùn)練模型建立端到端微調(diào)任務(wù)。推理階段輸入筆記，即可依次輸出推廣對象和多種生成標(biāo)題。

生產(chǎn)方案

實際生產(chǎn)中，我們落地可控生成 + RM（Reward Model）的技術(shù)選型，通過 RM 對生成結(jié)果質(zhì)量檢測，進一步保障生成標(biāo)題的可控性。

RM (Reward Model)

RM 即反饋模型，其作用在于為生成模型的結(jié)果進行質(zhì)量檢測，以作進一步處理或優(yōu)化。在我們的實踐中主要涉及可用性RM和吸引力RM.

可用性RM

目標(biāo)是避免出現(xiàn)不通順、實體不一致、幻覺case。通過人工標(biāo)注收集了高質(zhì)量的正樣本和負(fù)樣本，在此基礎(chǔ)上，又通過數(shù)據(jù)增強手段構(gòu)造了一些負(fù)樣本，比如“復(fù)讀機”、語句不通順等。實驗發(fā)現(xiàn)領(lǐng)域預(yù)訓(xùn)練和數(shù)據(jù)增強均給模型性能帶來了明顯提升。

吸引力RM

目標(biāo)是預(yù)估生成標(biāo)題吸引力。通過人工標(biāo)注收集了標(biāo)題吸引力的排序數(shù)據(jù)，使用小紅書領(lǐng)域預(yù)訓(xùn)練模型作為編碼器得到文本向量，采用 pair-wise loss 訓(xùn)練，實驗結(jié)果顯示可以很好地學(xué)習(xí)到人工排序。

業(yè)務(wù)應(yīng)用

一致性：商業(yè)活動的確定性保障

緊扣素材即定向的邏輯

• 生成標(biāo)題對營銷目標(biāo)擬合是業(yè)務(wù)的基本訴求：給一位五個孩子的幸福媽媽推銷草坪婚禮，廣告語怎么說好像都有些不妥
• 生成標(biāo)題和營銷主體的一致性則是產(chǎn)品的生命線

實踐中，我們以可控生成訓(xùn)練 + 可用性RM的技術(shù)路線取得了一定的結(jié)果：

可控生成訓(xùn)練

在可控生成過程中，我們借助少樣本學(xué)習(xí)，通過大模型為筆記生成合適的受眾群體，進而在各群體下展開多個關(guān)鍵詞，來控制生成多種標(biāo)題。

可用性RM

在優(yōu)化過程中結(jié)合業(yè)務(wù)紅線標(biāo)準(zhǔn)，針對性地通過人工標(biāo)注以及數(shù)據(jù)增強等手段獲得高質(zhì)量數(shù)據(jù)，有效過濾了語句不通順、實體不一致、幻覺等case，大幅降低線上風(fēng)險。

調(diào)性：和社區(qū)不割裂的廣告標(biāo)題

小紅書筆記的標(biāo)題生動有趣，但是標(biāo)題越亮眼，技術(shù)越頭痛：在普世視角下，標(biāo)題和正文語義 gap 越大，標(biāo)題越亮眼！

舉個例子：

通用大模型很難通過正文推斷出標(biāo)題：因為標(biāo)題包含了正文不存在的信息（是不是有獨特內(nèi)核的社區(qū)，都是有著大家心照不宣的默契），這種非對稱的標(biāo)題正文，離開小紅書，確實是一個特立獨行的存在，為了讓模型適應(yīng)小紅書的領(lǐng)域特點，我們進行了如下工作：

1. 預(yù)訓(xùn)練：使用億級別的筆記數(shù)據(jù)以及通用語料對基座模型做了領(lǐng)域預(yù)訓(xùn)練
2. 基于用戶行為 SFT：高質(zhì)量筆記標(biāo)題數(shù)據(jù)，對小紅書領(lǐng)域預(yù)訓(xùn)練模型進行 SFT

多樣性：千人千面的基石

社區(qū)內(nèi)的筆記原生數(shù)據(jù)都是一篇筆記一個標(biāo)題，也就是說，社區(qū)沒有多標(biāo)題的數(shù)據(jù)讓我們來建模！如何獲得符合社區(qū)調(diào)性的多樣化數(shù)據(jù)是需要解決的問題，對此我們的做法是深度利用大模型能力，使用合成數(shù)據(jù)。

階段一：采用采樣生成，得到一對多標(biāo)題

階段二：考慮到階段一要滿足多樣性的目標(biāo)，需要生成大量的數(shù)據(jù)

• 分層 + 可控生成，業(yè)務(wù)上實現(xiàn)有向生成，大大降低了生成成本
• 風(fēng)格 + 可控生成：基于專家經(jīng)驗歸納了以下五種標(biāo)題風(fēng)格 顯式、隱式、疑問、夸張、幽默
• 通過人工標(biāo)注，獲得標(biāo)題排序數(shù)據(jù)，構(gòu)建吸引力RM，逐層尋優(yōu)，進一步提升效率

整體方案&評估

多樣性評估

評估方式

• 基線模型（baseline）基于原始筆記和標(biāo)題數(shù)據(jù)進行訓(xùn)練，通過隨機采樣方法生成多個標(biāo)題
• 實驗?zāi)Ｐ驮诿總€筆記上平均生成 12 個標(biāo)題。為了確保評估的公平性，基線模型也生成了相同數(shù)量的標(biāo)題

指標(biāo)說明

評估結(jié)果

一致性評估

評估方式：

• 人工 GSB 評估
• 評估量級：200篇筆記

評估結(jié)果

模型結(jié)果對比

04總結(jié)&展望

在本次 AIGC 實踐中，我們通過小紅書領(lǐng)域預(yù)訓(xùn)練得到了可靠的基底模型，廣泛應(yīng)用合成數(shù)據(jù)來解決數(shù)據(jù)資源匱乏的問題，通過可控生成 + RM 的方式取得了多樣性和質(zhì)量雙贏的結(jié)果。在未來，我們將探索多模態(tài)特征和偏好學(xué)習(xí)在展示廣告中的應(yīng)用，繼續(xù)提升效果的同時將模型小型化，并研究更高效的生產(chǎn)范式。

05作者簡介

服部

小紅書大模型算法工程師，現(xiàn)主要負(fù)責(zé)廣告創(chuàng)意生成、多模態(tài)大模型等領(lǐng)域的相關(guān)研究和應(yīng)用。

特圖

小紅書基礎(chǔ)模型方向負(fù)責(zé)人，現(xiàn)主要負(fù)責(zé)多模態(tài)大模型x內(nèi)容分發(fā)技術(shù)的研究及應(yīng)用。

圓德

小紅書廣告算法工程師，現(xiàn)負(fù)責(zé)小紅書展示廣告創(chuàng)意相關(guān)工作。

疾速

小紅書廣告算法工程師，現(xiàn)負(fù)責(zé)小紅書展示廣告體驗相關(guān)工作。

萊歐

小紅書展示廣告流量策略負(fù)責(zé)人，現(xiàn)負(fù)責(zé)小紅書展示廣告流量策略方向。