一、行業(yè)背景

智能手機(jī)行業(yè)作為典型的硬件制造業(yè)，與大眾生活息息相關(guān)。

國家統(tǒng)計局統(tǒng)計顯示手機(jī)上網(wǎng)人數(shù)10.65億人，還未手機(jī)上網(wǎng)的一般是未成年、老年人，手機(jī)行業(yè)幾乎沒有增量。在存量用戶需求端，用戶的換機(jī)周期越來越長。去年和前年的對比，1-2年的持機(jī)用戶占比從15%下降到13%，2~3年的用戶占比從28%下降到22%，3~4年的用戶占比從24%增加到28%，4年及以上的用戶占比從28%增加到31%。

從供給端看，20年、21年經(jīng)歷了供給內(nèi)卷，所有廠商都在瘋狂出新品，競爭剩余的增量。去年新品數(shù)量恢復(fù)到19年水平，但是上市2年以上的機(jī)型逐年下降，主要原因可能是老機(jī)型產(chǎn)品沒有競爭力，被迫退出市場。進(jìn)入23年，國內(nèi)安卓陣營競爭更加劇烈，在微博、B站等社區(qū)都能看出戰(zhàn)場痕跡。

隨著智能手機(jī)風(fēng)口過去，手機(jī)公司可能面臨許多挑戰(zhàn)。一般來說，它們可以從以下四個方向來應(yīng)對這些挑戰(zhàn)：

第一個方向是拓展高價值市場，例如海外發(fā)達(dá)國家或國內(nèi)高端市場。

第二個方向是增加手機(jī)的附加值，例如提升手機(jī)互聯(lián)網(wǎng)服務(wù)的平均用戶收入（ARPU）。

第三個方向是增加新的運(yùn)營主線，例如拓展智能穿戴設(shè)備或汽車行業(yè)。

第四個方向是提升渠道效率和營銷模式，例如增加效果營銷，或通過線下和線上渠道的互補(bǔ)來促進(jìn)用戶的粘性。

OPPO在過去兩年的智能增長探索中，主要積累了第三和第四個方向上的經(jīng)驗。接下來將分享相關(guān)的增長策略。

二、算法架構(gòu)

近年來，在深度學(xué)習(xí)的推動下，各行業(yè)的智能算法架構(gòu)基本上都采用TensorFlow或PyTorch作為底座，以此為基礎(chǔ)進(jìn)行構(gòu)建，降低了技術(shù)門檻，同時享受到了技術(shù)紅利，做出有行業(yè)特色的創(chuàng)新和優(yōu)勢。就手機(jī)行業(yè)而言，它既擁有互聯(lián)網(wǎng)巨頭的數(shù)據(jù)優(yōu)勢，又面臨著制造業(yè)智能改造的挑戰(zhàn)。

以下是OPPO團(tuán)隊的整體算法架構(gòu)。手機(jī)增長的算法架構(gòu)主要包括基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)建設(shè)、特征畫像、模型建設(shè)和應(yīng)用場景這五個部分。

基礎(chǔ)數(shù)據(jù)方面，手機(jī)增長算法所需的主要數(shù)據(jù)包括：

• 手機(jī)狀態(tài)：一般是操作系統(tǒng)層面的各類字符串或數(shù)值類型的狀態(tài)數(shù)據(jù)，主要用于建模用戶生命周期。
• 商品屬性：指待售商品的一些基本屬性，如內(nèi)存、大小、賣點、權(quán)益等。
• 訂單數(shù)據(jù)：指用戶購買手機(jī)時的關(guān)鍵數(shù)據(jù)。
• 營銷投放：指在智能增長過程中干預(yù)用戶的數(shù)據(jù)，通常包括RTA、RTB以及廣告投放的數(shù)據(jù)，或其他消息日志。
• 實時行為：主要描述用戶在手機(jī)上的部分實時反饋。
• 素材：為提升干預(yù)效果而準(zhǔn)備的一些內(nèi)容。

為了提升數(shù)據(jù)復(fù)用效率和擴(kuò)展性，要在基礎(chǔ)數(shù)據(jù)的基礎(chǔ)上，做一系列標(biāo)準(zhǔn)化、規(guī)范化處理，再基于手機(jī)的流轉(zhuǎn)關(guān)系抽取用戶的流轉(zhuǎn)關(guān)系圖。這里的自然人是描述手機(jī)和自然人的映射關(guān)系。完成數(shù)據(jù)建設(shè)后，特征畫像的建設(shè)和業(yè)界大多數(shù)做法比較相似，包括實時統(tǒng)計類、實時序列類、內(nèi)容理解、用戶長期畫像，不過也有一部分是行業(yè)特有的，手機(jī)流轉(zhuǎn)畫像和營銷節(jié)點畫像，主要刻畫手機(jī)市場的競爭關(guān)系和因應(yīng)手段。

在模型建設(shè)方面，我們采用了以下方法：

• 因果模型（Uplift）：用于刻畫營銷的邊際收益，并減少負(fù)向干預(yù)，用于換機(jī)預(yù)測。
• PU-learning方法：用于準(zhǔn)確找到干預(yù)的精準(zhǔn)人群，減少對用戶信息的干擾。
• 多模態(tài)理解：主要用于文本和圖像的預(yù)訓(xùn)練。
• PID方法：主要是一種自動控制能力，用于滿足大部分場景的自動約束需求。
• AIGC方法：通過Stable Diffusion模型的能力，輸出圖片素材。
• CTR和CVR：主要用于鏈路上點擊率和轉(zhuǎn)化率的預(yù)估。

這些模型和算法的應(yīng)用場景包括以下幾個方面：

• RTA和RTB：涉及廣告投放場景，包括域內(nèi)和域外的廣告投放。
• 社區(qū)和商城：指OPPO的自有平臺，是用戶運(yùn)營和手機(jī)自營的營銷核心渠道。
• 權(quán)益和Push：綜合干預(yù)渠道。

以上就是OPPO算法層面的整體架構(gòu)。

從工程層面，我們看下怎么解決智能改造的技術(shù)方案。最最側(cè)的智選模塊，完成算法場景的自動接入。手機(jī)增長涉及的鏈路很長，比如從新機(jī)賣點洞察、人群營銷洞察、新機(jī)預(yù)熱、首銷、促銷，并且每個鏈路的場景很多，智選主要滿足了場景快速接入的需求，并且解耦運(yùn)營、工程、算法，支撐算法專注在效果優(yōu)化上。營銷云主要用于素材生成、廣告投放管理、分析監(jiān)控。中間引擎模塊是推薦引擎，通過召回、粗排、精排、重排、策略算子的自由組合，滿足定制化需求。為了進(jìn)一步提升引擎的靈活性，我們對多樣性、多目標(biāo)、重排、策略模塊做了DSL改造，支撐團(tuán)隊的算法探索。另外由于機(jī)器成本的約束，上面的很多步驟在使用時都可以0成本的插拔，以降低延遲、提升吞吐。

上述算法架構(gòu)主要是基于OPPO的Andes智能云完成的。得益于智能云的基礎(chǔ)設(shè)施的靈活性和易用性，我們在協(xié)作方面，特別是跨團(tuán)隊、跨部門和跨系統(tǒng)的協(xié)作上擁有較好的解決方案。

三、應(yīng)用場景

接下來將分享4 個具體的應(yīng)用場景案例，第一個案例是基于 AIGC 的內(nèi)容供給；第二個案例是在商城中，基于多場景、多目標(biāo)、多模態(tài)的推薦；第三個案例是基于因果推斷的精準(zhǔn)人群定位；第四個案例是在手機(jī)行業(yè)里的廣告精準(zhǔn)營銷。

1、第一個應(yīng)用場景:基于AIGC的內(nèi)容供給

首先，我們意識到在非算法領(lǐng)域或傳統(tǒng)制造行業(yè)中，業(yè)務(wù)團(tuán)隊可能需要一些科普才能理解內(nèi)容供給的重要性。因此，我們與業(yè)務(wù)伙伴合作時采用了講道理和數(shù)據(jù)展示的方式，在一些小的場景中通過實驗驗證了擴(kuò)大內(nèi)容供給量的益處。我們觀察到，通過增加內(nèi)容供給量，可以顯著提高點擊率，獲得15%的點擊率提升，從而達(dá)成了共識。

另一個挑戰(zhàn)是供給效率和人力成本。最初，內(nèi)容供給的流程依賴于人工，即設(shè)計師輸出一些素材，經(jīng)過安全審核后投放到線上。這個過程相對低效。為此，我們團(tuán)隊進(jìn)行了第一次改造，采用工程模板制圖的方式。這樣，內(nèi)容供給的流程發(fā)生了改變：設(shè)計師集中精力在模板創(chuàng)作上，然后通過模板生成大量候選素材，經(jīng)過初審和安全審核后進(jìn)行投放。通過這次改造，每天初審的內(nèi)容數(shù)量顯著增加。然而，也出現(xiàn)了新的問題：模板的重復(fù)率較高，生成的候選素材信息量不足，容易讓用戶感到千篇一律。

目前，隨著AIGC技術(shù)的不斷成熟，我們調(diào)研了AIGC的相關(guān)方案，并發(fā)現(xiàn)該技術(shù)實際上可以增加模板的創(chuàng)作難度同時增加信息量。因此，我們與相關(guān)的團(tuán)隊合作，引入AIGC技術(shù)來增加素材創(chuàng)作的信息量，以提升用戶體驗。

目前，我們使用的AIGC模型主要是CLIP模型，它的主要思路是通過大量的圖像數(shù)據(jù)和文本數(shù)據(jù)進(jìn)行模型預(yù)訓(xùn)練，使模型能夠理解圖像和自然語言之間的對應(yīng)關(guān)系，從而實現(xiàn)跨模態(tài)的語義推理。為了實現(xiàn)這個目標(biāo)，我們生成模型的框架涉及兩個組件。第一個是圖像編碼器，基于Transformer架構(gòu)，將圖像特征轉(zhuǎn)化為Embedding向量。第二個是文本編碼器，基于VILT架構(gòu)，將自然語言轉(zhuǎn)化為特征向量?；谶@兩種向量，我們結(jié)合交叉熵學(xué)習(xí)和對比學(xué)習(xí)的方法，進(jìn)行模型的訓(xùn)練。在預(yù)訓(xùn)練階段，我們參考了一些開源數(shù)據(jù)和OPPO私有的圖像和文本數(shù)據(jù)，并在Andes智能云的GPU集群上進(jìn)行訓(xùn)練。

在生成部分，我們經(jīng)過了多次嘗試，以使AIGC輸出的內(nèi)容符合廣告投放的需求。目前發(fā)現(xiàn)，通過添加關(guān)鍵詞、賣點、營銷話術(shù)、圖文風(fēng)格、負(fù)面反饋以及圖像細(xì)節(jié)的提示，可以有助于生成素材。最右側(cè)的示例展示了結(jié)合素材和模板生成的最終結(jié)果，其中背景圖就是一個例子。

2、第二個應(yīng)用場景:多場景、多目標(biāo)的多模態(tài)推薦

如上圖所示，我們目前的業(yè)務(wù)場景主要是在商城界面進(jìn)行推薦。例如，在首頁的橫幅廣告部分、格子位、瀑布流推送以及積分、社區(qū)、優(yōu)惠券發(fā)放等場景中進(jìn)行推薦。

在算法接口方面，我們已經(jīng)接入了近幾百個業(yè)務(wù)場景，需要關(guān)注點擊率、轉(zhuǎn)化率、GMV等業(yè)務(wù)指標(biāo)。同時，手機(jī)行業(yè)內(nèi)存在人力約束，這對算法提出了不同的需求。

我們一開始就采用了跨場景多目標(biāo)的模型方案來進(jìn)行推薦，隨著場景的增加，我們不斷對模型進(jìn)行迭代優(yōu)化。后來，我們還增加了一些非產(chǎn)品內(nèi)容的推薦，例如社區(qū)、視頻等。此外，對于內(nèi)容素材的需求，我們也需要在多模態(tài)模型中引入一些新的能力。

經(jīng)過不斷迭代，我們的模型如上圖所示。左側(cè)部分是多模態(tài)的理解，模型主要基于ViLT的結(jié)構(gòu)。通過對比發(fā)現(xiàn)，經(jīng)過業(yè)務(wù)數(shù)據(jù)微調(diào)的ViLT模型比公開的ViIT模型效果更好。我們進(jìn)行了大量的分析，發(fā)現(xiàn)實際業(yè)務(wù)場景的數(shù)據(jù)與公開數(shù)據(jù)集存在較大差異，特別是在營銷話術(shù)等垂直領(lǐng)域方面。右側(cè)部分是推薦模型，該模型結(jié)構(gòu)融合了最新論文的進(jìn)展。底層模型主要基于歷史行為、上下文和候選物料三個部分。對于候選物料，我們目前采用對應(yīng)的多模態(tài)預(yù)訓(xùn)練特征。實時統(tǒng)計的行為會使用Encoding 的方法進(jìn)行向量化表示，而上下文內(nèi)容我們會額外區(qū)分場景和domain特征進(jìn)行向量化。

在多模態(tài)多感場景感知模塊中，我們主要使用Transformer和場景專屬的方法。在最上層，我們?yōu)槟繕?biāo)設(shè)置了專門的tower，最終得到目標(biāo)的比例結(jié)果。經(jīng)過測試對比，我們發(fā)現(xiàn)引入AITM的多目標(biāo)校準(zhǔn)方法可以獲得一定的收益。在多目標(biāo)層面，與傳統(tǒng)電商相比，我們會加入更多的目標(biāo)，這與行業(yè)特點有關(guān)。例如，在手機(jī)行業(yè)中，每個用戶可能需要兩三年才會更換手機(jī)，這導(dǎo)致轉(zhuǎn)化率很低。同時，換機(jī)用戶中復(fù)購的比例也較低。因此，為了準(zhǔn)確捕捉用戶當(dāng)前的換機(jī)意圖，我們需要增加其他目標(biāo)來輔助發(fā)現(xiàn)用戶的意圖，例如評論查看、時長相關(guān)和商險相關(guān)的目標(biāo)。得到這些目標(biāo)后，我們使用近似排序公式計算得分，該得分是各個目標(biāo)的連乘結(jié)果。同時，每個目標(biāo)受到三個超參數(shù)α、β、γ的約束，目前這些超參數(shù)通過離散超參模型學(xué)習(xí)得到。

經(jīng)過多次迭代，包括增加更多目標(biāo)、引入多模態(tài)、優(yōu)化超參數(shù)等措施，相較于原有模型，我們在轉(zhuǎn)化率（CVR）上取得了累計20%以上的收益。

3、第三個應(yīng)用場景:基于因果推斷的精準(zhǔn)人群

手機(jī)行業(yè)中的“精準(zhǔn)人群”概念與電商平臺的劃分有所不同，這是因為用戶購買手機(jī)的行為具有不一樣的特點。舉個例子，假設(shè)用戶A，他可能會選擇繼續(xù)購買當(dāng)前品牌的手機(jī)，也可能會換到其他品牌。對于已購買當(dāng)前品牌的用戶，他們可能有兩種行為，一種是自己使用手機(jī)（留存），另一種是贈送給他人。然而，由于線上和線下數(shù)據(jù)的隱私安全等問題，手機(jī)公司只能獲取到部分購買和換機(jī)的數(shù)據(jù)。手機(jī)行業(yè)的增長目標(biāo)是通過現(xiàn)有數(shù)據(jù)識別出購機(jī)和留存用戶，并通過營銷活動增加商品的粘性。這就是精準(zhǔn)人群的背景場景。

因此，在算法團(tuán)隊進(jìn)行人群建模時，主要關(guān)注兩個指標(biāo)：準(zhǔn)確率和召回率。通常情況下，我們很難獲取到完整準(zhǔn)確的營銷數(shù)據(jù)，因此在實踐中，我們會花費(fèi)更多時間進(jìn)行特征畫像和用戶分析，通過多種方法挖掘真實的購機(jī)用戶，并疊加相應(yīng)的模型方案，從而得到最終的精準(zhǔn)人群。

我們采用了多種方法，例如Look-Alike、PU-learning和Graph-learning等方法，來獲取相對精準(zhǔn)的人群。

在營銷中，只有精準(zhǔn)人群是不足夠的，因為對于營銷四象限圖中的B、C、D三個象限的人群進(jìn)行營銷可能效果甚微，不符合預(yù)期。我們的核心目標(biāo)仍然是針對A人群，因此這個問題實際上轉(zhuǎn)化為一種因果推斷的問題。

在算法層面上，在滿足一定條件的情況下，因果推斷可以等價于計算Uplift，這種模型通常有三種建模思路：

• Two-Model：分別建?；鶞?zhǔn)組、控制組的模型，兩者相減就是結(jié)果。缺點是兩個模型有誤差累積。
• Single-Model：參考推薦領(lǐng)域的多目標(biāo)模型，解決了模型誤差。
• Direct-Model：直接建模ITE。

在典型的推廣搜算法領(lǐng)域，假設(shè)訓(xùn)練數(shù)據(jù)和預(yù)測數(shù)據(jù)獨立同分布，能不斷產(chǎn)出很好的結(jié)果。在因果推斷上，由于一個人要么有干預(yù)、要么沒有干預(yù)，沒辦法在同一環(huán)境下同時觀察到基準(zhǔn)組、控制組的結(jié)果。因此需要使用因果模型來解決uplift建模問題。Uplift建模時有兩個挑戰(zhàn)：

• 由于業(yè)務(wù)需求，導(dǎo)致兩組數(shù)據(jù)的分布不同。
• 一般業(yè)務(wù)只會保留很小一部分用戶作為基準(zhǔn)組，樣本數(shù)量不均，也會給模型建模帶來困難。

我們嘗試了DESCN的論文思路，使用了干預(yù)組和控制組的全樣本，這樣的結(jié)構(gòu)相當(dāng)于使用了Single-Model的思路實現(xiàn)。這篇論文主要創(chuàng)新點在于使用了meta-learning的思想，引入一個網(wǎng)絡(luò)來學(xué)習(xí)中間變量treatment。

在深入迭代時我們還會遇到具體的業(yè)務(wù)問題，比如在t1時間段，業(yè)務(wù)需要干預(yù)左邊和右邊的人群，過了一段時間后在t2時刻，業(yè)務(wù)需要干預(yù)中間的人群，在t3時刻干預(yù)的人群又變了。這種業(yè)務(wù)人群變化劇烈的問題給因果推斷提出了更高的挑戰(zhàn)。

我們是這么來看待這個問題，這個問題本質(zhì)上屬于曝光選擇偏差的問題，需要對曝光bias給消除掉才能準(zhǔn)確建模。我們參考了EUEN（Explicit Uplift Effect Network 顯式提升效應(yīng)網(wǎng)絡(luò)）的論文方法，μt(X，最終的uplift) = μc(x, 控制組的轉(zhuǎn)化率) + ω(X， 曝光概率) · τe(X， 曝光組的uplift)?；跇颖臼欠衿毓獾男拚档蜆I(yè)務(wù)曝光選擇偏差導(dǎo)致的模型有偏。

由于因果推斷的反事實特性，上線驗證成本很高，所有的優(yōu)化都會優(yōu)先在離線驗證全部細(xì)節(jié)，離線保證了正確性，再開展線上實驗。在當(dāng)前的增量實驗里能看到和最初的監(jiān)督模型，在增量ROI上提升了11.3%。

4、第四個應(yīng)用場景:廣告精準(zhǔn)營銷

對于手機(jī)廠商來說，數(shù)據(jù)隱私是至關(guān)重要的，所有數(shù)據(jù)都必須保持在公司內(nèi)部，不允許泄露。因此，在進(jìn)行營銷活動時，我們首先考慮的是數(shù)據(jù)安全性，在域外投放或者在其他廣告平臺基于人群包投放的這類方法是行不通的。我們采用了一些更安全的方法來獲取流量，如實時API（RTA）和實時競價（RTB）的模式。基于RTA和RTB，我們還建立了內(nèi)部的營銷云平臺，用于整合不同渠道的流量，以提高迭代效率。

簡單介紹一下RTA和RTB。RTA代表實時API（Real Time API），它決定了我們是否選擇某個流量。RTB代表實時競價（Real Time Bidding），它決定了我們是否參與競價以及以何種價格參與競爭某個流量。

接下來介紹一些與廣告精準(zhǔn)營銷相關(guān)的獨特技術(shù)。

在RTB渠道的競價過程中，模型主要考慮三個目標(biāo)：競價成功率、點擊率和轉(zhuǎn)化率。競價成功率指的是在基礎(chǔ)出價下成功獲得流量的概率，該目標(biāo)用于后續(xù)的價格調(diào)整策略；轉(zhuǎn)化率指的是用戶點擊后進(jìn)行轉(zhuǎn)化的概率，該目標(biāo)也會影響出價策略的調(diào)整，并且在很大程度上決定了整體投放的投資回報率（ROI）。

模型的整體結(jié)構(gòu)與多任務(wù)多路輸出（MMOE）的結(jié)構(gòu)相似，我們額外增加了每個目標(biāo)單獨的輸出層。特征部分主要包括長期特征、實時特征和多模態(tài)特征。通過觀察發(fā)現(xiàn)，渠道的實時特征對ROI影響非常大，而多模態(tài)特征對于冷啟動問題非常有幫助。

我們發(fā)現(xiàn)，在RTB中，點擊率（CTR）預(yù)估的準(zhǔn)確性對于流量競價的投資回報率（ROI）有很大的影響。例如，如果CTR的預(yù)估值高于實際統(tǒng)計值，會導(dǎo)致競得的流量價值高于實際值，從而降低投放的ROI；而如果CTR的預(yù)估值低于實際統(tǒng)計值，則會導(dǎo)致競得率下降，無法獲得足夠的流量，無法充分利用預(yù)算。

我們的目標(biāo)是希望模型的預(yù)估值和后驗統(tǒng)計值能夠在相應(yīng)的水平線上，以準(zhǔn)確預(yù)估真實情況。通常情況下，原始模型和后驗?zāi)Ｐ椭g存在一定的差距，需要進(jìn)行調(diào)整。我們當(dāng)前的校準(zhǔn)策略是采用了特征敏感的樹模型的分箱策略，參考了一篇22年的公開論文。相對于原有的模型，經(jīng)過CTR分桶校準(zhǔn)后的模型，PCOC值會下降約44%。PCOC反映了預(yù)估值和真實值之間的偏差。PCOC值下降意味著模型更加準(zhǔn)確，相應(yīng)的ROI也會有較大提升。

下面介紹我們在投放時的出價策略。我們在RTB上采用了與業(yè)界常規(guī)不同的公式，考慮了更多因素。首先是素材的基礎(chǔ)出價，然后是素材的CTR打分。我們還會預(yù)估素材的流量價值，主要包括轉(zhuǎn)化率、用戶換機(jī)概率以及在換機(jī)時成為增量用戶的概率。此外，我們還會考慮預(yù)算和ROI的限制。同時，我們還會增加競得率因子。所有這些因素通過連乘計算。在實際應(yīng)用中，我們可能會對計算結(jié)果進(jìn)行排序或進(jìn)行截斷操作。

經(jīng)過多次迭代和實驗，我們發(fā)現(xiàn)，針對ROI的這些多因素考慮可以使其提升約25%。

四、總結(jié)和展望

在手機(jī)行業(yè)做增長的過程中，有一些方法論是必要的，其中最重要的是要確定一個北極星指標(biāo)，即定義出識別增長的核心指標(biāo)。我們大致梳理了一下，包括新機(jī)激活、老用戶留存、復(fù)購率、用戶流失以及干預(yù)的投資回報率（ROI）等宏觀指標(biāo)。這些宏觀指標(biāo)對于制造行業(yè)尤其重要，能夠顯著幫助我們凝聚數(shù)據(jù)業(yè)務(wù)邏輯的共識。除了北極星指標(biāo)外，我們在具體的鏈路上也制定了可量化的指標(biāo)?？偨Y(jié)來說，主要包括以下幾塊內(nèi)容：

首先是新機(jī)洞察，這是增長的源泉，通過深入了解其中的邏輯，能夠顯著提升業(yè)務(wù)。這部分主要包括行業(yè)特點的分析，如競品的賣點分析、同期市場的社會分析，以及可應(yīng)用于營銷的策略和首銷期用戶的反饋。

第二個是營銷敏感人群，我們關(guān)注的是一些算法指標(biāo)，包括準(zhǔn)確率、召回率、AUCC（Average Uplift in Conversion Rate）和AUUC（Average Uplift in User Conversion）。后兩個指標(biāo)與因果推斷相關(guān)。

接下來是從花錢的角度來看增長，大致可以分為免費(fèi)增長和付費(fèi)增長兩類。在免費(fèi)增長方面，我們注重通過提升現(xiàn)有流量的效率來實現(xiàn)增長，關(guān)注的指標(biāo)有很多，例如點擊率、競得率、轉(zhuǎn)化率、品類流轉(zhuǎn)和增量ROI等。這些指標(biāo)可能會隨著迭代的進(jìn)行而增加或剔除，以符合當(dāng)前的業(yè)務(wù)需求。

在付費(fèi)增長方面，我們主要關(guān)注預(yù)算分配等指標(biāo)。預(yù)算分配不僅限于廣告領(lǐng)域，還包括不同渠道和資源方之間的動態(tài)調(diào)度，比如京東和自營之間的動態(tài)分配，或者首周不同時間段的預(yù)算調(diào)度。我們總結(jié)發(fā)現(xiàn)，在不同時間段或跨渠道之間進(jìn)行資源分配對于投放ROI具有非常大的影響。

五、問答環(huán)節(jié)

Q1：在多目標(biāo)多估計部分，提到了超參數(shù)，對于超參數(shù)設(shè)定不同公司有不同的做法，就比如有的會采用CNN，或者有的會采用的實驗的方法去確定，您這里是怎么區(qū)學(xué)習(xí)得到超參數(shù)的？

A1：我們也試驗過多種方法，比如說最開始的時候是基于經(jīng)驗參數(shù)，但是后來隨著場景增多發(fā)現(xiàn)行不通，手工設(shè)定效率低且不科學(xué)，目前主是主要采用PSO 的方法，當(dāng)然我們也在探索用強(qiáng)化學(xué)習(xí)的思路，但我們也發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)對于收斂的要求很高，同時對數(shù)據(jù)量需求很大，在智能增長領(lǐng)域，我們的數(shù)據(jù)量是一大短板，我們不能像互聯(lián)網(wǎng)行業(yè)的APP那樣有豐富的日志數(shù)據(jù)，這也導(dǎo)致我們目前只能用 PSO 這種模型來去輸出離線指標(biāo)。

Q2：還是多目標(biāo)預(yù)估部分，增加一個模型目標(biāo)之后，那么線上應(yīng)該進(jìn)行怎么樣的適配？有沒有什么經(jīng)驗技巧？因為很多時候在排序時可能會有很多目標(biāo)，每增加一個目標(biāo)都可能會遇到各種各樣的一些問題。

A2：這是好問題。當(dāng)然不同的業(yè)務(wù)場景它需要調(diào)整細(xì)節(jié)是不一樣的。比如在我們這個行業(yè)里面，它因為它的候選集比較少，所以我們很少區(qū)做一些召回相關(guān)的東西。但是如果你們有很大的候選集的話，需要調(diào)整的東西有很多，比如從召回粗排可能一路都要調(diào)整。但對于我們這個行業(yè)來講，主要是調(diào)整的是比如說增加一個目標(biāo)以后，首先要做一些離線體驗證，看看原有的目標(biāo)有沒有受到影響，比如說他預(yù)估的偏差會不會隨著人群有分布的影響？如果去排查完離線沒問題以后，在線上部分我們主要是調(diào)整的首先是增加了目標(biāo)以后的融合公式，其次是在重排上的調(diào)整。當(dāng)然也要考慮應(yīng)用場景，如果是這個多目標(biāo)是在廣告投放場景的話，我們可能會更關(guān)心其他的指標(biāo)，比如以 RTB 為例，它可能是需要還要觀察我們競得率相關(guān)的實驗，我們也需要做這種適配。

Q3：在營銷增益的例子中，如果發(fā)現(xiàn)特征在整個周期內(nèi)分布差異較大的怎么辦？

A3：我們剛才也看到，在我們營銷的時間節(jié)點上，特征分布確實是很大，比如說機(jī)型的偏好，因為對于我們手機(jī)行業(yè)，今年有的時候打高端機(jī)，有的是打低端機(jī)，有的時候主打女性市場。所以我們對于曝光偏差也是參考很多業(yè)界內(nèi)的先進(jìn)經(jīng)驗，比如在曝光選擇上，還有我們也會基于PSM 進(jìn)行一些樣本的過濾，盡量讓同一個模型接受到的模樣本盡可能地來自同樣的一個分布。即使做這些調(diào)整以后，還是會面臨一些特征分布差異的問題，因為我們只能解決一些核心特征分布差異的問題，但是總會有一些細(xì)枝末節(jié)的特征是解決不了的。

因為在我們的場景里還會面臨一個大問題，就是手機(jī)的銷量分?jǐn)偟娇梢杂玫臉颖久刻齑蠹s只有幾千個，樣本量是很大的調(diào)整，受制于此很多方法我們?nèi)ナ褂谩?/span>

Q4：關(guān)于因果推斷，提到了control model和treatment model，還有一個uplift model，對于這部分建模的數(shù)據(jù)是A/B test的數(shù)據(jù)還是直接觀測的數(shù)據(jù)？

A4：模型所用的樣本是全樣本包含干預(yù)組和控制組，然后我們會用模型學(xué)習(xí)用戶被干預(yù)的概率，計算uplift。

Q5：所以說實際上是有干預(yù)實驗存在的嗎？是否是通過干預(yù)實驗去收集了數(shù)據(jù)訓(xùn)練的模型？

A5：是的，在這個實驗里面，控制組是永遠(yuǎn)都存在的，剩下對不同人群進(jìn)行干預(yù)得到數(shù)據(jù)。

Q6：關(guān)于曝光偏差，一篇文章講到了就是曝光偏差可能會有有害的和有利的部分，如果一味的去糾正偏差，效果會不會不一定是最好的，是否有考慮過這個問題？

A5：是個好問題，確實如果考慮特別多話，尤其在選擇樣本的時候進(jìn)行消偏，涉及到樣本過濾的時候，確實會我們會有很大的挑戰(zhàn)，所以我們也是比較謹(jǐn)慎。首先，我們原則是盡可能的能夠把樣本用起來。然后在這基礎(chǔ)上，然后會去看一些具體的指標(biāo)進(jìn)行評估，比如說我們會做大量實驗分析人群，在離線情況下，看AUUC 指標(biāo)，同事，我們會繼續(xù)去拆機(jī)型，拆人群、拆解維度，再分別去看指標(biāo)，然后才確定某種技術(shù)是否真的要采用。