?業(yè)務(wù)背景

推薦廣告是京東推薦流量的重要組成部分，它包含了多種廣告素材，包括商品、聚合頁(yè)、活動(dòng)、店鋪、視頻、直播等。推薦廣告的質(zhì)量決定了京東平臺(tái)上的用戶的廣告體驗(yàn)和京東平臺(tái)的廣告收入。精排是推薦廣告最重要的一環(huán)，它預(yù)估用戶對(duì)候選商品的點(diǎn)擊率(Click-Through Rate)，也是機(jī)器學(xué)習(xí)在推薦廣告中最典型的應(yīng)用環(huán)節(jié)。精排點(diǎn)擊率預(yù)估技術(shù)是機(jī)器學(xué)習(xí)算法技術(shù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的核心模塊，也是技術(shù)人員持續(xù)追求最佳精度的經(jīng)典領(lǐng)域，下圖是京東推薦廣告幾種典型的廣告素材。

2022年618，京東首頁(yè)進(jìn)行了改版升級(jí)，廣告精排技術(shù)也進(jìn)行了相應(yīng)升級(jí)，并應(yīng)用到首頁(yè)精排模型和活動(dòng)智能優(yōu)選等項(xiàng)目中。

技術(shù)挑戰(zhàn)

京東首頁(yè)推薦場(chǎng)景的用戶構(gòu)成十分復(fù)雜，有的用戶興趣十分多樣，有的用戶興趣較為單一，商品物料也變化迅速，這些因素對(duì)精準(zhǔn)地建模廣告點(diǎn)擊率是極大的挑戰(zhàn)。我們將這些挑戰(zhàn)總結(jié)為以下三個(gè)方向：

（1）冷啟動(dòng)現(xiàn)象的有效緩解：京東的首頁(yè)廣告推薦場(chǎng)景中存在明顯的用戶和商品長(zhǎng)尾現(xiàn)象，長(zhǎng)尾用戶和商品的數(shù)據(jù)稀疏，難以充分訓(xùn)練。要提升這種情況下的點(diǎn)擊率，關(guān)鍵點(diǎn)是處理好任務(wù)中的冷啟動(dòng)現(xiàn)象，對(duì)此，我們?cè)O(shè)計(jì)了一個(gè)通用的變分特征學(xué)習(xí)框架（VELF），以更好地利用有限的數(shù)據(jù)，保障冷啟動(dòng)用戶和廣告獲得更魯棒的表征學(xué)習(xí)并避免過擬合。

（2）用戶興趣的深度挖掘：當(dāng)前模型在學(xué)習(xí)用戶興趣分布時(shí)并沒有很好的融入用戶行為和京東物料庫(kù)之間的先驗(yàn)知識(shí)，缺乏對(duì)整體廣告推薦語(yǔ)義的把控，針對(duì)該問題，我們對(duì)用戶興趣網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化升級(jí)，設(shè)計(jì)了PPNet+、NeNet和Weighted-MMoE模塊，通過對(duì)用戶興趣的深層次個(gè)性化建模來提升模型的整體預(yù)測(cè)能力。

（3）全域數(shù)據(jù)的充分利用：當(dāng)前模型中，用戶和廣告的數(shù)據(jù)來源相對(duì)有限，對(duì)用戶交互過程中產(chǎn)生的全域協(xié)同信息利用不夠充分，限制了模型預(yù)估能力的上界。對(duì)此，我們從用戶全域信息預(yù)訓(xùn)練和用戶曝光數(shù)據(jù)建模出發(fā)，對(duì)用戶全域信息做一個(gè)立體擴(kuò)展以提升模型預(yù)估能力。

技術(shù)方案

針對(duì)我們面臨的上述挑戰(zhàn)，我們對(duì)精排的工程和算法進(jìn)行了重點(diǎn)升級(jí)，給出了系統(tǒng)優(yōu)化方案。通過我們的系統(tǒng)優(yōu)化，在精排點(diǎn)擊率模型上取得了累計(jì)超過1%的AUC提升，線上廣告收入提升也十分明顯。當(dāng)前的精排模型整體結(jié)構(gòu)如下圖所示，下文我們將從變分特征學(xué)習(xí)框架、用戶興趣網(wǎng)絡(luò)優(yōu)化和全域用戶協(xié)同信息建模來介紹我們的優(yōu)化方案。

01變分特征學(xué)習(xí)框架

為緩解冷啟問題，優(yōu)化首頁(yè)推薦廣告場(chǎng)景中存在的長(zhǎng)尾用戶及物品的處理，我們?cè)O(shè)計(jì)了一個(gè)通用的變分特征學(xué)習(xí)框架（VELF），更好地利用有限的數(shù)據(jù)為冷啟的用戶/廣告獲得更可靠的特征并避免過擬合。我們首先對(duì)用戶和廣告特征通過分布估計(jì)而非點(diǎn)估計(jì)進(jìn)行建模。同時(shí)使用變分推斷(VI)的方法，對(duì)用戶和廣告的分布進(jìn)行有效的學(xué)習(xí)。傳統(tǒng)變分推斷的方法使用標(biāo)準(zhǔn)正態(tài)作為分布的先驗(yàn)信息，這削弱了不同特征之間的表達(dá)各異性。為了增強(qiáng)用戶和廣告之間的信息表達(dá)，使用用戶和廣告相應(yīng)的副屬性作為各自的參數(shù)化先驗(yàn)信息，進(jìn)而通過后驗(yàn)分布對(duì)先驗(yàn)信息進(jìn)行矯正。

模型的整體框架如下圖所示，其中u表示用戶id，i表示商品id，c(u)和c(i)分別表示用戶和商品相關(guān)的特征，z表示特征對(duì)應(yīng)的embeding向量，zu和zi分別為用戶和商品的embeding向量，對(duì)應(yīng)圖中的上下部分。在VELF中，將z的后驗(yàn)分布作為待學(xué)習(xí)潛在變量，通過變分推斷來估計(jì)z的后驗(yàn)分布p(z|x)，x為包含用戶，商品和上下文的所有特征。

由于引入了分布建模的方法，傳統(tǒng)的優(yōu)化方式不可導(dǎo)，這里使用變分推斷的方法進(jìn)行求解，我們最終的損失函數(shù)可以化簡(jiǎn)為(詳細(xì)的推導(dǎo)過程可見論文《Alleviating Cold-start Problem in CTR Prediction with A Variational Embedding Learning Framework》)：

第一項(xiàng)為模型的似然（交叉熵?fù)p失），即希望模型的預(yù)測(cè)結(jié)果和真實(shí)的標(biāo)簽盡可能的相似，第二項(xiàng)為特征分布的約束項(xiàng)（KL散度），即希望學(xué)到的特征后驗(yàn)分布和假設(shè)的先驗(yàn)分布盡可能的相似。

為了增強(qiáng)用戶和廣告之間的信息表達(dá)，我們使用用戶和廣告相應(yīng)的副屬性作為各自的參數(shù)化先驗(yàn)信息，更好的聚合具有相似特征的用戶和廣告的特征空間，損失函數(shù)改寫如下：

其中為通過用戶和廣告相應(yīng)的副屬性獲得的各自的參數(shù)化先驗(yàn)信息，通過變分場(chǎng)，以及對(duì)參數(shù)先驗(yàn)分布的正則，防止過度的擬合，最終的損失函數(shù)如下：

其中：

我們的方法在公開數(shù)據(jù)上取得了較大的收益，公開數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如下表。

上述相關(guān)工作已被推薦領(lǐng)域頂級(jí)會(huì)議WWW2022收錄：《Alleviating Cold-start Problem in CTR Prediction with A Variational Embedding Learning Framework》，文章鏈接：https://arxiv.org/abs/2201.10980

02用戶興趣網(wǎng)絡(luò)優(yōu)化

為了提升用戶興趣層次化挖掘的深度，我們從強(qiáng)化個(gè)性化偏差，增強(qiáng)模型語(yǔ)義連接和用戶分布異構(gòu)化三種建模角度出發(fā)，對(duì)模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了深層次優(yōu)化。

1 、強(qiáng)化個(gè)性化偏差：PPNet+

當(dāng)前的網(wǎng)絡(luò)結(jié)構(gòu)中，用戶個(gè)體和目標(biāo)廣告的共建語(yǔ)義模式，未考慮在全局用戶的共建語(yǔ)義模式基礎(chǔ)上的個(gè)性化偏差。為增加DNN網(wǎng)絡(luò)參數(shù)個(gè)性化，我們借鑒了快手推薦團(tuán)隊(duì)提出的參數(shù)個(gè)性化網(wǎng)絡(luò)PPNet(Parameter Personalized Net)，針對(duì)京東廣告推薦場(chǎng)景，做了適配化改造，提出了PPNet+，除了選取用戶ID，廣告ID，三級(jí)類目ID等關(guān)鍵特征外，還融入了物品特征，交叉特征和用戶行為特征作為門控神經(jīng)網(wǎng)絡(luò)Gate NN(Gate Neural Network)的輸入特征。同時(shí)，我們還融入了用戶歷史點(diǎn)擊行為和曝光序列作為side info信息，輔助PPNet+網(wǎng)絡(luò)學(xué)習(xí)用戶個(gè)性化興趣。PPNet+模型結(jié)構(gòu)示意如下：

如上圖所示，PPNet+繼承了PPNet的主體結(jié)構(gòu)，底層由特征層(Features）和嵌入層(Embedding）構(gòu)成，頂層由MLP學(xué)習(xí)并控制輸出?？紤]到京東首頁(yè)推薦廣告場(chǎng)景的復(fù)雜性，我們還對(duì)序列信息進(jìn)行了處理，通過融合emb模塊得到一個(gè)包含全域場(chǎng)景的fusion_emb特征向量，并將其同右側(cè)的id 特征embedding 拼接到一起作為 Gate NN 的輸入。同PPNet一樣，模型左側(cè)所有特征的 embedding 并不接受 Gate NN 的反傳梯度，以減少 Gate NN 對(duì)現(xiàn)有特征 embedding 收斂產(chǎn)生的影響。同時(shí)我們還對(duì)Gate NN模塊進(jìn)行了改造處理，將原有的Neural Layer ReLU模塊替換為了對(duì)參數(shù)更加敏感的Dice激活函數(shù)，并在Gate網(wǎng)絡(luò)的輸入層加入normalization的操作，將不同域特征的embedding輸入大小能在相同的范圍，幫助Gate層學(xué)習(xí)到的權(quán)重參數(shù)更好的收斂。

2、增強(qiáng)模型語(yǔ)義連接：NeNet

我們注意到，經(jīng)過強(qiáng)化個(gè)性化偏差的模型改造，PPNet+的引入雖然增加個(gè)性化偏置能力，但這種個(gè)性化偏置能力卻更容易受到短期活躍用戶的行為影響，容易使模型在后續(xù)訓(xùn)練的過程中逐漸失去對(duì)長(zhǎng)尾用戶的興趣的掌控能力，導(dǎo)致模型在每天更新時(shí)效果的逐步下降。為了彌補(bǔ)這個(gè)缺陷，我們需要對(duì)現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)補(bǔ)足精度，恢復(fù)其在模型訓(xùn)練過程中因?yàn)檫^度學(xué)習(xí)個(gè)性化偏置帶來的梯度更新?lián)p失。為此，我們基于殘差網(wǎng)絡(luò)的思想提出了穿針引線網(wǎng)絡(luò)NeNet (Needle Net)，用以補(bǔ)償模型訓(xùn)練過程中損失掉的梯度信息，主要思想可由公式表征如下：

為非線性激活函數(shù)?？梢钥吹?，NeNet融合了非線性函數(shù)的學(xué)習(xí)優(yōu)勢(shì)，同時(shí)又包含了原始的輸入特征，通過類殘差學(xué)習(xí)的思想，減少了短期活躍用戶的行為帶來的影響，使模型能夠直接學(xué)習(xí)到底層非偏置化的向量特征。NeNet不需要保證嚴(yán)格的維度對(duì)齊，也沒有模塊深度要求，因此它可適用于大模型框架下的任何子模塊上，相比于原始的殘差網(wǎng)絡(luò)，學(xué)習(xí)的參數(shù)更加靈活，可適配在模型的主向量和子網(wǎng)絡(luò)上。

3、用戶分布異構(gòu)化：Weighted-MMoE

從京東首頁(yè)入口我們可以發(fā)現(xiàn)，除主流的廣告推薦外，還包含多種類廣告的展示形式，即聚合頁(yè)廣告，活動(dòng)廣告，店鋪廣告和視頻/直播廣告等。

通過獲取在線數(shù)據(jù)和離線實(shí)驗(yàn)分析，我們發(fā)現(xiàn)不同廣告場(chǎng)景，用戶的點(diǎn)擊消費(fèi)習(xí)慣并不相同；同時(shí)，不同場(chǎng)景在同一界面下的展現(xiàn)量不同，也會(huì)導(dǎo)致用戶興趣的分布差異。但在當(dāng)前的模式下所有場(chǎng)景共用一套輸出，導(dǎo)致模型在預(yù)估時(shí)不同場(chǎng)景的輸出相互制約，進(jìn)一步限制了推薦廣告的精排序效果。 

針對(duì)于上述問題，我們將這些多個(gè)相互關(guān)聯(lián)但又不一致的預(yù)估目標(biāo)進(jìn)行了綜合建模，即引入多任務(wù)學(xué)習(xí)的思想來提升上下文推薦的效果。不同于傳統(tǒng)的多任務(wù)模型的在時(shí)間上的串行關(guān)系（例如模型在推理用戶是否會(huì)點(diǎn)擊后還會(huì)推理是否下單），京東業(yè)務(wù)場(chǎng)景下的多任務(wù)模型更多的是一種時(shí)間上并行關(guān)系（即用戶在不同場(chǎng)景下的點(diǎn)擊不具有先后的承接關(guān)系）?？紤]到上述兩種情況下，模型依然可以共享高度相似的底層輸入，為此我們引入了MMoE(Multi-gate Mixture-of-Experts)。

需要注意的是，上圖中tower A和tower B所用到的experts是同一套experts。對(duì)于不同的廣告場(chǎng)景任務(wù)，模型的權(quán)重選擇是不同的，所以我們?yōu)槊總€(gè)廣告場(chǎng)景配備一個(gè) Gate 門控網(wǎng)絡(luò)。對(duì)于不同的任務(wù)，特定的 Gate n 的輸出表示不同的 Expert 被選擇的概率，將多個(gè) Expert 加權(quán)求和，得到，并輸出給特定的 Tower 模型，用于最終的輸出。函數(shù)表達(dá)式如下：

同時(shí)，我們發(fā)現(xiàn)，原始的MMoE只涵蓋了Gate之間的相互制約關(guān)系，并未綜合考慮網(wǎng)絡(luò)層之間的信息共享和權(quán)重分配關(guān)系，為此我們對(duì)原有的模型做了一些改動(dòng)，保持核心部分的專家網(wǎng)絡(luò)能夠共享底層輸入信息的同時(shí)還能將這種信息通過權(quán)重分配的方式匯總到專家輸出網(wǎng)絡(luò)中，由此上述公式可改進(jìn)為：

其中，N的個(gè)數(shù)隨著專家數(shù)目保持一致，attention network模塊負(fù)責(zé)為學(xué)習(xí)到專家信息分配權(quán)重(即weighted賦能過程)，通過這樣的網(wǎng)絡(luò)設(shè)計(jì)我們可以讓不同專家信息在反向求導(dǎo)時(shí)共享彼此的信息流，使模型始終維持一個(gè)統(tǒng)一的信息共享框架。

融合用戶興趣的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化PPNet+、NeNet和Weighted-MMoE這3個(gè)策略合計(jì)精排AUC提升0.45%，對(duì)線上收入提升明顯。

03全域用戶協(xié)同信息建模

原有精排模型的數(shù)據(jù)來源信息單薄，對(duì)用戶交互過程中產(chǎn)生的協(xié)同信息利用不足，比如曝光數(shù)據(jù)和點(diǎn)擊數(shù)據(jù)等，這限制了模型的預(yù)估能力上限。京東擁有多app多場(chǎng)景的線上線下的綜合全域數(shù)據(jù)，是我們可以挖掘的潛在信息來源。本次升級(jí)中，我們從全域點(diǎn)擊數(shù)據(jù)預(yù)訓(xùn)練和用戶曝光數(shù)據(jù)建模的角度出發(fā)，以增強(qiáng)全域數(shù)據(jù)的利用程度，提升模型的個(gè)性化預(yù)估上限。 

用戶在電商平臺(tái)與商品的交互（瀏覽，點(diǎn)擊，加購(gòu)，搜索，購(gòu)買等）信息深刻的反映了用戶的興趣。在CTR預(yù)估的任務(wù)中，用戶行為建模也一直是學(xué)術(shù)界和工業(yè)界重點(diǎn)關(guān)注的話題?，F(xiàn)有的用戶行為建模主流方案都是基于attention的機(jī)制，將候選商品作為query，對(duì)用戶行為中的不同商品計(jì)算不同的權(quán)重分?jǐn)?shù)來聚合用戶行為序列。我們?cè)诖嘶A(chǔ)上針對(duì)我們的場(chǎng)景進(jìn)行了一系列的升級(jí)拓展，從多個(gè)視角，維度對(duì)用戶和商品進(jìn)行更加深入的挖掘和刻畫，在離線數(shù)據(jù)和線上真實(shí)系統(tǒng)中都取得了非常明顯的效果。

1、全域信息預(yù)訓(xùn)練

在端到端的CTR模型訓(xùn)練過程中，商品與商品之間的關(guān)系建模只會(huì)受到CTR預(yù)估準(zhǔn)確性的影響，商品本身的相關(guān)性是被忽視的。而使用attention機(jī)制對(duì)用戶行為序列處理的初衷便是希望從行為序列中挑選出與當(dāng)前候選商品相關(guān)的那一部分，雖然這種相關(guān)性與前述的商品本身的相關(guān)性不完全一致，但二者是呈現(xiàn)正相關(guān)的，許多工作如DIN在打印attention權(quán)重時(shí)也論證了這一點(diǎn)，相似商品的attention分?jǐn)?shù)更高。另一方面，端到端的訓(xùn)練過程中，商品關(guān)系的建模也僅僅使用了模型的訓(xùn)練數(shù)據(jù)，一般模型的訓(xùn)練數(shù)據(jù)只來源于其服務(wù)場(chǎng)景的點(diǎn)擊曝光數(shù)據(jù)，對(duì)于訓(xùn)練數(shù)據(jù)覆蓋率不高的長(zhǎng)尾商品建模不充分。若直接加入其他場(chǎng)景的訓(xùn)練數(shù)據(jù)，一方面難以保證其他場(chǎng)景數(shù)據(jù)能正向遷移過來（實(shí)驗(yàn)證明，直接加數(shù)據(jù)在大場(chǎng)景下很難有收益），另一方面會(huì)存在如離線訓(xùn)練耗時(shí)成倍增加，不同場(chǎng)景數(shù)據(jù)特征難以對(duì)齊等諸多問題。因此，我們通過預(yù)訓(xùn)練的方式，使用京東全站的數(shù)據(jù)，預(yù)先建模商品之間的相關(guān)性，將其通過embdedding以及相似性分?jǐn)?shù)作為后驗(yàn)統(tǒng)計(jì)特征的方式融入模型中，提升模型的表達(dá)能力。

由于在推薦系統(tǒng)中，用戶和商品，商品和商品之間的關(guān)系非常適合使用圖的方式組織，圖模型在建模商品相關(guān)性之間的關(guān)系具有天然的優(yōu)勢(shì)。因此我們使用graph embedding的方式離線生成每個(gè)商品的embedding向量。主要生成流程如下，具體細(xì)節(jié)可參考EGES[1]。

通過graph embedding得到每個(gè)商品的預(yù)訓(xùn)練向量后，可通過faiss進(jìn)一步得到一份離線詞表，表中記錄了商品庫(kù)中與每個(gè)商品最相似的N個(gè)商品以及相似度分?jǐn)?shù)。在模型訓(xùn)練的過程中，一方面可將預(yù)訓(xùn)練得到的商品embedding作為一種side info，與模型創(chuàng)建的隨機(jī)初始化的商品embedding參數(shù)相結(jié)合(相加，點(diǎn)積或concat可根據(jù)實(shí)驗(yàn)效果調(diào)整)聯(lián)合訓(xùn)練。離線實(shí)驗(yàn)表明，相比于隨機(jī)初始化的方式，這種引入預(yù)訓(xùn)練graph embedding的方式可幫助模型更好的學(xué)習(xí)候選商品和用戶行為中商品的關(guān)系。另一方面，由于用戶行為中有很多行為與候選sku沒有關(guān)系，即存在較多噪聲，且序列越長(zhǎng)，噪聲信號(hào)越多，例如在SIM中提到，通過同類目過濾的方式，過濾大部分噪聲。類似的，我們可通過faiss生成的離線詞表，根據(jù)候選商品和用戶行為商品間的相似度分?jǐn)?shù)對(duì)分?jǐn)?shù)低于閾值的不相關(guān)商品進(jìn)行過濾，并將相似度分?jǐn)?shù)做一些離散化處理后，作為一種后驗(yàn)統(tǒng)計(jì)特征加入模型中。

2、基于曝光信息的興趣建模(Gama)

雖然用戶的點(diǎn)擊，加購(gòu)，購(gòu)買等正向行為能夠反映用戶的近期和長(zhǎng)期興趣，但在信息流推薦場(chǎng)景中，用戶的實(shí)時(shí)興趣也不斷受平臺(tái)展示出的商品的影響。例如用戶在平臺(tái)上瀏覽時(shí)可能從未點(diǎn)擊過T恤，但平臺(tái)給用戶曝光過某一款T恤后，或許是因?yàn)閮r(jià)格很便宜，或許是因?yàn)闃邮接脩艉芟矚g，用戶當(dāng)前時(shí)刻對(duì)T恤產(chǎn)生了興趣。這一類實(shí)時(shí)興趣由于用戶的點(diǎn)擊，加購(gòu)，購(gòu)買等行為沒有包含過，因此無法通過這些來建模。因此，需要通過引入用戶的曝光序列來刻畫用戶的實(shí)時(shí)興趣。

曝光序列建模存在兩方面的挑戰(zhàn)：1.曝光序列長(zhǎng)，計(jì)算負(fù)擔(dān)大，而線上系統(tǒng)耗時(shí)要求較高；2.曝光序列中大多數(shù)商品與當(dāng)前候選商品無關(guān)，噪聲信號(hào)多。針對(duì)這兩個(gè)問題，我們創(chuàng)造性的提出了一種門控自適應(yīng)小波多分辨分析模型Gama，將無參信號(hào)處理方法和曝光序列信息獲取進(jìn)行了結(jié)合，解決了上述兩大問題，在不降低模型性能的條件下，從海量曝光序列中自適應(yīng)地挖掘多維用戶興趣，下面對(duì)我們的方法進(jìn)行描述。

我們提出的模型結(jié)構(gòu)如下圖所示，其中主要模塊包括小波分析模塊（Wavelet MRA）和興趣門控網(wǎng)絡(luò)（Interest Gate Net）。小波分析模塊，采用無參高效的小波分析方法，對(duì)曝光序列進(jìn)行多層級(jí)數(shù)據(jù)分解，進(jìn)而去除噪聲，挖掘出用戶曝光序列中蘊(yùn)含的連貫興趣。而興趣門控網(wǎng)絡(luò)的加入，旨在自適應(yīng)地調(diào)整多分辨率的數(shù)據(jù)分解結(jié)果的聚合權(quán)重。

小波分析模塊（Wavelet MRA）：

針對(duì)向量化的曝光序列Eu，小波多分辨分析方法將其看作是多路信號(hào)，逐級(jí)進(jìn)行數(shù)據(jù)分解，其中第J級(jí)的分解結(jié)果包括穩(wěn)定的低頻信號(hào)a和孤立的高頻信號(hào)d，而低頻信號(hào)a會(huì)繼續(xù)進(jìn)行下一級(jí)的分解。該多分辨分析過程可形式化為以下公式：

其中的H和G分別為低通過濾器和高通過濾器，其具體形式采用的小波基。常見的小波基包括Daubechies、Coiflet、Harr等，其形式請(qǐng)參考小波分析相關(guān)資料。

興趣門控網(wǎng)絡(luò)模塊（Interest Gate Net）：

對(duì)于上述分析方法獲得的多路信號(hào)，最簡(jiǎn)單的使用方法是采用其平均值。但該方法無法自適應(yīng)的學(xué)習(xí)到各信號(hào)分量權(quán)重，因此我們進(jìn)一步提出一下興趣門控網(wǎng)絡(luò)。假設(shè)目標(biāo)商品表征為eq，我們采用注意力機(jī)制可對(duì)某一信號(hào)s進(jìn)行聚合：

而針對(duì)所有我們需要考慮的分解信號(hào)（如d1，d2，a3），我們可以獲得用戶表征wu：

其中

我們首先驗(yàn)證了該方法在公開數(shù)據(jù)集（Taobao）的效果，在多種基于用戶興趣的CTR建模框架中取得了約10%的效果提升，同時(shí)該方法對(duì)冷啟動(dòng)用戶尤為有效。

同時(shí)，我們?cè)诰〇|數(shù)據(jù)集上也做了離線實(shí)驗(yàn)，取得了不錯(cuò)的AUC提升，線上A/B效果提升明顯。

上述兩項(xiàng)全域協(xié)同信息建模建模工作AUC累計(jì)提升0.35%，線上收入提升明顯，相關(guān)工作已被機(jī)器學(xué)習(xí)頂級(jí)會(huì)議SIGIR2022收錄：《Gating-adapted Wavelet Multiresolution Analysis for Exposure Sequence Modeling in CTR prediction》，文章鏈接：https://arxiv.org/abs/2204.14069

04其他工作

在變分特征學(xué)習(xí)框架、用戶興趣網(wǎng)絡(luò)優(yōu)化和全域用戶協(xié)同信息建模工作之外，在精排模型上我們還做了以下升級(jí)：對(duì)特征由XGBoost綜合打分后排序，對(duì)重要特征的embedding向量做維度擴(kuò)展；升級(jí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的Dense層為Nadam，Sparse層為adagrad；在用戶行為序列中引入時(shí)間和位置信息增強(qiáng)序列屬性豐富度；引入商品廣告的主題ID頻次網(wǎng)絡(luò)子結(jié)構(gòu)。綜合上述技術(shù)的整體優(yōu)化方案，精排模型的累計(jì)AUC收益超過1%，在精排上我們還有幾個(gè)創(chuàng)新的工作在進(jìn)展中，包括生成數(shù)據(jù)式CTR框架、Item-server分桶序列框架和Item協(xié)同替代表示學(xué)習(xí)技術(shù)。

總結(jié)與展望

總結(jié)過去，京東零售廣告算法定向組和工程團(tuán)隊(duì)經(jīng)過半年的技術(shù)探索，針對(duì)模型冷啟動(dòng)場(chǎng)景、用戶興趣挖掘和全域協(xié)同建模三個(gè)維度的挑戰(zhàn)提出了針對(duì)性的系統(tǒng)升級(jí)方案：變分特征學(xué)習(xí)框架、用戶興趣網(wǎng)絡(luò)優(yōu)化和全域用戶協(xié)同信息建模，總結(jié)歸納出了一套推薦廣告精排AUC百分位的提升技術(shù)方案，這套技術(shù)方案已于618開幕前夕在京東APP完成了全量上線。同時(shí)，本文中的技術(shù)方案也應(yīng)用在了京東APP泛商品活動(dòng)智能優(yōu)選等項(xiàng)目，為京東618大促活動(dòng)帶來了顯著收益。

京東零售廣告數(shù)據(jù)與算法團(tuán)隊(duì)負(fù)責(zé)人林戰(zhàn)剛表示，"過去，我們通過技術(shù)創(chuàng)新構(gòu)建更精準(zhǔn)的用戶行為建模和預(yù)測(cè)能力，提升用戶體驗(yàn)的同時(shí)帶來了平臺(tái)收益，實(shí)現(xiàn)了平臺(tái)和用戶的雙贏。未來，我們將通過持續(xù)提升數(shù)據(jù)的長(zhǎng)度、寬度、厚度，建立針對(duì)全域用戶的深度理解，基于此構(gòu)建更復(fù)雜更精準(zhǔn)的智能算法模型，在新形勢(shì)下助力京東廣告業(yè)務(wù)發(fā)展"。展望未來，首先我們將積極探索新的精排技術(shù)范式，包括生成數(shù)據(jù)式CTR框架和Item協(xié)同替代表示學(xué)習(xí)技術(shù)框架。其次，在用戶興趣的深度挖掘上，我們構(gòu)建了圍繞用戶特征的User Server動(dòng)態(tài)表征賦能框架。面對(duì)多元的訓(xùn)練數(shù)據(jù)和更長(zhǎng)更寬更厚的全域用戶協(xié)同信息，我們?cè)O(shè)計(jì)了Item全域行為序列架構(gòu)。精排點(diǎn)擊率預(yù)估技術(shù)是機(jī)器學(xué)習(xí)算法技術(shù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的核心模塊，也是技術(shù)人員持續(xù)追求算法最佳精度的經(jīng)典領(lǐng)域，我們會(huì)持續(xù)精進(jìn)，與同行一起探索未來技術(shù)。

參考文獻(xiàn)

[1] Wang J, Huang P, Zhao H, et al. Billion-scale commodity embedding for e-commerce recommendation in alibaba[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 839-848.

[2] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1059-1068.

[3] Jiaqi Ma, Zhe Zhao, Xinyang Yi, Jilin Chen, Lichan Hong, and Ed H. Chi. 2018. Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts[C] //Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '18).  2018: 1930?1939. 

[4] Andreas Veit, Michael Wilber, and Serge Belongie. 2016. Residual networks behave like ensembles of relatively shallow networks[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems (NIPS'16). 2016: 550?558.