因果推薦技術(shù)在營(yíng)銷和可解釋性上的應(yīng)用
一、Uplifit 增益敏感度預(yù)測(cè)
關(guān)于 Uplift 增益,通用的業(yè)務(wù)問(wèn)題可以總結(jié)為,在圈定的人群中,營(yíng)銷人員會(huì)想知道,新的營(yíng)銷動(dòng)作 T=1 相比較原始的營(yíng)銷動(dòng)作 T=0,能帶來(lái)多少的平均收益(lift,ATE,Average Treatment Effect)。大家會(huì)關(guān)注新的營(yíng)銷動(dòng)作是否比原來(lái)的更有效。
在保險(xiǎn)場(chǎng)景下,營(yíng)銷動(dòng)作主要指的是保險(xiǎn)的推薦,比如推薦模塊上透出的文案和產(chǎn)品,目標(biāo)是在各種營(yíng)銷動(dòng)作和約束條件限制下,找到因營(yíng)銷動(dòng)作而增益最多的群體,去做定向投放(Audience Targeting)。
先做一個(gè)比較理想且完美的假設(shè):對(duì)于每一個(gè)用戶 i ,都能知道他對(duì)營(yíng)銷動(dòng)作 t 是不是買賬。如果買賬,可以認(rèn)為公式中的 Di 為正,且 value 比較大;如果不買賬,且對(duì)營(yíng)銷動(dòng)作很反感,Di 可能就會(huì)比較小,甚至是負(fù)向的。這樣就能夠得到每個(gè)用戶個(gè)體對(duì)于 treatment 的效果。
關(guān)于人群劃分,可以看到上圖中的營(yíng)銷四象限,我們最關(guān)注的肯定是左上角 Persuadables 的人群。結(jié)合公式,該人群的特點(diǎn)是當(dāng)有一些營(yíng)銷動(dòng)作的時(shí)候,會(huì)很買賬,也就是 Yi > 0 ,且值比較大。如果對(duì)該人群不去做營(yíng)銷動(dòng)作則是負(fù)的,或者是比較小,等于 0,這樣的人群的 Di 就比較大。
再看另外兩個(gè)象限的人,Sure things,指無(wú)論是否營(yíng)銷,這些人都會(huì)買,那么營(yíng)銷投到這一人群上的收益率是比較低的。Sleeping dogs,是指去做營(yíng)銷反而會(huì)起到一些負(fù)面作用。這兩部分群體最好不要進(jìn)行營(yíng)銷投放。
但是這里也存在一個(gè)反事實(shí)的困境:Di 沒(méi)有那么完美。我們不可能同時(shí)知道一個(gè)用戶對(duì) treatment 是否感興趣,即無(wú)法知道同一用戶在同一時(shí)間對(duì)不同 treatment 下的反應(yīng)。
最通俗的一個(gè)例子是:假設(shè)有一個(gè)藥物,給 A 吃了之后,會(huì)得到 A 對(duì)藥物的反應(yīng)。但卻不知道,如果 A 不吃的結(jié)果,因?yàn)?A 已經(jīng)將藥吃下去了,這其實(shí)就是一個(gè)反事實(shí)的存在。
對(duì)于反事實(shí),我們進(jìn)行了近似的預(yù)估。ITE(Individual Treatment Effect )預(yù)估的方式,雖然找不到一個(gè)用戶,實(shí)驗(yàn)其對(duì)兩個(gè) treatment 的反應(yīng),但可以找到相同特征的用戶群來(lái)預(yù)估反應(yīng),比如具有相同 Xi 的兩個(gè)人,可以假設(shè)在同一特征空間下,近似等同為一個(gè)人。
這樣,Di 的預(yù)估分成了三塊:(1)Xi 在 T=1 的營(yíng)銷動(dòng)作下的轉(zhuǎn)化率;(2)Xi 在 T=0 的營(yíng)銷動(dòng)作下的轉(zhuǎn)化率;(3)lift 是一個(gè)差值,計(jì)算兩個(gè)條件概率下的差異。用戶群體的 lift 值越高,則說(shuō)明該人群更買賬。如何讓 lift 更高呢?在公式中,是將 Xi 在 T=1 的營(yíng)銷動(dòng)作下的轉(zhuǎn)化率變大,Xi 在 T=0 的營(yíng)銷動(dòng)作下的轉(zhuǎn)化率越小即可。
在建模方式上,結(jié)合上文的公式,做一些歸納:
(1)T 變量的數(shù)量,如果不只是一個(gè)營(yíng)銷動(dòng)作,而是有 n 個(gè)營(yíng)銷動(dòng)作,則為多變量 Uplift 建模,否則是單變量 Uplift 建模。
(2)條件概率 P 以及 lift 的預(yù)估方式:① 通過(guò)差分建模,預(yù)估 P 值,然后找到 lift 值,這是間接的建模。② 通過(guò)直接建模,比如標(biāo)簽轉(zhuǎn)化模型,或者是因果森林,比如 Tree base 、LR、 GBDT 或者一些深度模型。
二、增益敏感度的應(yīng)用
增益敏感度主要做了三方面的應(yīng)用:保險(xiǎn)產(chǎn)品的推薦,紅包推薦,以及文案的推薦。
首先來(lái)介紹一下,旅游保險(xiǎn)在飛豬上是什么樣的定位。旅游保險(xiǎn)是旅行商品中的一個(gè)種類,但它更多的是出現(xiàn)在主營(yíng)商品的搭售鏈路上。比如我們?nèi)ビ啓C(jī)票、酒店的時(shí)候,主要購(gòu)買意圖是:酒店、機(jī)票、火車票,這個(gè)時(shí)候 APP 會(huì)問(wèn)你要不要買一個(gè)保險(xiǎn)。所以保險(xiǎn)是屬于一個(gè)輔營(yíng)業(yè)務(wù),但是其目前已經(jīng)成為交通和住宿行業(yè)一個(gè)非常重要的商業(yè)性收入來(lái)源。
本文講的主要作用域在彈窗頁(yè):彈窗頁(yè)是飛豬 APP 下拉收銀臺(tái)的時(shí)候會(huì)彈出的一個(gè)頁(yè)面,這個(gè)頁(yè)面只會(huì)展示一種創(chuàng)意文案,只能展示一種保險(xiǎn)商品,這一點(diǎn)與前面詳情頁(yè)可以展示多個(gè)類型的商品,以及保險(xiǎn)的價(jià)格不同。所以這個(gè)頁(yè)面,會(huì)讓用戶的注意力足夠的聚焦在這里,并且可以做一些拉新促活,甚至是一些用戶教育培養(yǎng)的營(yíng)銷動(dòng)作。
目前遇到的業(yè)務(wù)問(wèn)題為:在彈窗頁(yè)面,我們需要去推薦一個(gè)最佳的保險(xiǎn)產(chǎn)品或者紅包,使得整體的轉(zhuǎn)化或者收益最大化。更具體的是去做一個(gè)拉新,或者是更高轉(zhuǎn)化的業(yè)務(wù)目標(biāo)。而業(yè)務(wù)收益目標(biāo)是在收益不降低的情況下,提高轉(zhuǎn)化率。
在以上的約束條件下,有幾個(gè)營(yíng)銷項(xiàng):(1)給用戶推薦一個(gè)入門級(jí)低價(jià)保險(xiǎn);(2)另外一個(gè) treatment,推薦一些紅包,主要是去做一些拉新的操作。而 Base 就是原價(jià)的保險(xiǎn)。
建模的時(shí)候,有一些假設(shè)的條件:條件獨(dú)立的假設(shè)。指 treatment 營(yíng)銷動(dòng)作,在建模 uplift 采集的時(shí)候,樣本服從假設(shè)條件獨(dú)立,用戶的各個(gè)特征是相互獨(dú)立的。比如發(fā)紅包,不能在年齡上有不同的分布,例如,在年輕人上少一點(diǎn),老年人上發(fā)的多一點(diǎn)。這個(gè)會(huì)導(dǎo)致樣本有偏。所以提出的解法是讓用戶隨機(jī)地去曝光商品。同樣的,也可以計(jì)算傾向性得分,得到同質(zhì)的用戶群,去做對(duì)比。
在實(shí)驗(yàn)設(shè)計(jì)上,AB 實(shí)驗(yàn):A 是按原來(lái)的策略去投放,可能是 40 塊錢的保險(xiǎn),也可能是運(yùn)營(yíng)來(lái)進(jìn)行保險(xiǎn)的定價(jià),或者原始模型的一個(gè)定價(jià)。B 桶,低價(jià)保險(xiǎn)投放。
Label :用戶是否轉(zhuǎn)化成交。
模型:T/S/X-learner 以及各類的這種 Meta 模型。
樣本構(gòu)造:訴求是要刻畫用戶到底對(duì)這種低價(jià)保險(xiǎn)是否更感興趣,就需要有足夠多的特征去刻畫用戶對(duì)價(jià)格的敏感性。但實(shí)際上像輔營(yíng)產(chǎn)品,沒(méi)有一個(gè)比較強(qiáng)的意圖性。所以我們很難從用戶的歷史瀏覽購(gòu)買記錄當(dāng)中,看到用戶到底喜歡多少塊錢的保險(xiǎn),或者是他會(huì)購(gòu)買多少錢的保險(xiǎn)。我們只能從主營(yíng)或者用戶流瀏覽的一些其他的飛豬 APP 域內(nèi)的數(shù)據(jù)上去看,也會(huì)看用戶紅包的使用頻率和紅包消費(fèi)比例,比如用戶會(huì)不會(huì)只有在發(fā)紅包的前幾天,才在飛豬上進(jìn)行轉(zhuǎn)化。
基于以上的特征樣本的構(gòu)造,同樣進(jìn)行特征重要性和可解釋性的分析。通過(guò) Tree base 模型可以看到,在一些時(shí)間、價(jià)格變量、年齡變量特征上是比較敏感的。
評(píng)估指標(biāo)的計(jì)算方式:Gini 和 Accumulated Gini。將 Uplift 分成 n 組,每一組去計(jì)算一個(gè) Gini 分,如上圖第一個(gè)公式所示,在該分組下得到用戶映射到 test 桶和 base 桶之后的轉(zhuǎn)化率,再去算 Gini。同理類推到 Uplift Gini,通過(guò)計(jì)算不同的閾值下的收益分,輔助我們?nèi)プ鲩撝档囊粋€(gè)判定。
通過(guò)離線可得,表現(xiàn)最好的模型是 LR+T-Learner,其實(shí)不太符合原始的預(yù)期。后來(lái)思考了這個(gè)問(wèn)題,也許問(wèn)題出在用戶對(duì)保險(xiǎn)相關(guān)的價(jià)格特征的構(gòu)建上,并不太足夠去刻畫。因?yàn)槲覀円踩プ隽艘恍┯脩粽{(diào)研,比如用戶的性格,對(duì)保險(xiǎn)的敏感程度,這種 APP 域內(nèi)的一些用戶畫像數(shù)據(jù),能看到用戶對(duì)一個(gè)無(wú)實(shí)物商品的感興趣程度。但最終,還是基于這樣的分?jǐn)?shù),去劃定人群做投放,線上的 base 桶相對(duì)提升 5.8%。
在紅包推薦上,我們也可以在 40 元的保險(xiǎn)的 base上,發(fā)一個(gè) 3/5/8/10 塊錢的保險(xiǎn)。
我們有一個(gè)業(yè)務(wù)目標(biāo)就是增量 ROI,公式定義是:test 桶的 GMV 減去 base 桶的 GMV,得到的增量 GMV,能不能 cover 掉在 test 桶的營(yíng)銷費(fèi)用。如果增量 ROI 大于1,就意味著營(yíng)銷是不虧的。所以在該場(chǎng)景下,我們的要求是不虧。在我們?cè)谟?Uplift 模型之前,運(yùn)營(yíng)同學(xué)會(huì)先去做一波投放,在他們的種子人群上,ROI 在 0.12-0.6 之間,所以對(duì)我們的一個(gè)要求就是要比這個(gè) ROI 高,且不虧本。
通過(guò)上述目標(biāo)的拆解,問(wèn)題最后又轉(zhuǎn)化為用戶的轉(zhuǎn)化率的預(yù)估以及 Uplift 預(yù)估,如上圖下面的公式所示。
最后經(jīng)過(guò)一系列的變化,實(shí)際上又回到了去求解 Uplift 值以及未購(gòu)概率。未購(gòu)概率是指用戶在不發(fā)券時(shí)候的轉(zhuǎn)化率,如果想使得剛剛提到的 ROI 越高,就意味著需要找到一個(gè)用戶群,P0 越小越好,且 Uplift 值越高越好。
第一版模型是半智能的決策模型:根據(jù)在不同券額下計(jì)算得到的 Uplift 值,再通過(guò)觀察 treatment 上線之后的效果,卡定閾值,每個(gè)卡定的閾值是為了能夠 cover 掉成本。
第二版是智能定價(jià)模型:借鑒了對(duì)偶問(wèn)題的求解,約束條件是發(fā)券要小于等于 1 即 Xij <=1,同時(shí)要符合發(fā)券時(shí)的最大預(yù)算。通過(guò)使用拉格朗日對(duì)偶問(wèn)題方法求解,得到 Lambda 。最后將 Lambda 帶入 argmax 公式計(jì)算,得到每個(gè)用戶 Xij 應(yīng)該是以什么樣的值去投放。
使用定價(jià)模型相比原來(lái)運(yùn)營(yíng)桶的紅包投放,增量 ROI 能達(dá)到 1.2。
在文案的推薦上,跟之前的產(chǎn)品推薦和紅包推薦有相似的思路。我們會(huì)發(fā)現(xiàn)一些用戶對(duì)不同風(fēng)格的文案有不同的偏好,所以將其結(jié)構(gòu)化出來(lái),比如溫馨類的“帶份平安保障”,或者一些提示風(fēng)險(xiǎn)。還會(huì)發(fā)現(xiàn),在不同細(xì)分人群上,存在比較大的明顯的差異,從特征重要性上來(lái)看,溫馨的語(yǔ)句,可能對(duì) 80 后或者是一些年紀(jì)偏長(zhǎng)的人有效,而偏理由性質(zhì)的文案,對(duì)年輕人會(huì)比較適用。從細(xì)分人群的特征重要性上,同時(shí)也做文案的個(gè)性化嘗試,有 5%~10% 的相對(duì)提升。
三、貝葉斯因果網(wǎng)絡(luò)
貝葉斯因果網(wǎng)絡(luò)主要是表征事務(wù)間因果關(guān)系,有向五環(huán)圖的結(jié)構(gòu)。先簡(jiǎn)單介紹一下為什么要使用貝葉斯網(wǎng)絡(luò)。在不同的推薦文案下,我們想知道用戶為什么對(duì)文案感興趣,或者說(shuō)為什么能轉(zhuǎn)化,其背后到底有哪些隱藏的變量。所以做可解釋性網(wǎng)絡(luò)的構(gòu)建,頂點(diǎn)主要是觀測(cè)變量,或者隱含變量;邊是指兩個(gè)頂點(diǎn)之間存在的因果關(guān)聯(lián),關(guān)聯(lián)可以通過(guò)節(jié)點(diǎn)之間的條件概率去計(jì)算。在貝葉斯網(wǎng)絡(luò)當(dāng)中,通過(guò)每個(gè)頂點(diǎn),在所有父節(jié)點(diǎn)條件之下的概率值相乘,得到最終的網(wǎng)絡(luò)結(jié)構(gòu)。
在網(wǎng)絡(luò)結(jié)構(gòu)中有 4 類模型學(xué)習(xí)的問(wèn)題:
① 結(jié)構(gòu)學(xué)習(xí):基于樣本,怎樣才能學(xué)習(xí)一個(gè)比較優(yōu)的貝葉斯網(wǎng)絡(luò),主要是基于后驗(yàn),如上圖公式,如果 structure 的概率值越高,則認(rèn)為網(wǎng)絡(luò)學(xué)的最優(yōu)。
② 得到結(jié)構(gòu)之后,怎樣知道網(wǎng)絡(luò)里節(jié)點(diǎn)上的條件概率值,以及它的參數(shù)。
③ 推斷:當(dāng)事件 A 發(fā)生的時(shí)候,事件 B 發(fā)生對(duì)概率。
④ 歸因:當(dāng)事件 A 發(fā)生的時(shí)候,導(dǎo)致 A 發(fā)生的原因有哪些。
四、畫像決策路徑構(gòu)建及可解釋性應(yīng)用
上文中提到,保險(xiǎn)推薦場(chǎng)景與搜索推薦不太一樣,保險(xiǎn)推薦是個(gè)輔營(yíng)業(yè)務(wù),用戶不帶有主觀,也就是在來(lái)到這個(gè)模塊之前,他在 APP 域內(nèi)的瀏覽記錄,跟用戶對(duì)什么樣的保險(xiǎn)或文案感興趣,沒(méi)有同質(zhì)的關(guān)聯(lián)性。而在搜索中,輸入親子酒店,就知道用戶對(duì)親子標(biāo)簽的酒店有需求。在輔營(yíng)場(chǎng)景,需要復(fù)雜的推理過(guò)程,才能知道什么樣的 Treatment 動(dòng)作是有效的。舉個(gè)例子,通過(guò)網(wǎng)絡(luò)挖掘會(huì)發(fā)現(xiàn),在天氣惡劣的情況下,可能延誤險(xiǎn)的銷量會(huì)比較好。
如何建模,把網(wǎng)絡(luò)里的節(jié)點(diǎn)和邊構(gòu)建成如下的幾種:
① 用戶節(jié)點(diǎn),將年齡、性別這種用戶畫像的基礎(chǔ)信息作為一個(gè)離散變量,成為一個(gè)節(jié)點(diǎn)。
② 事件節(jié)點(diǎn),因?yàn)楸kU(xiǎn)場(chǎng)景對(duì)事件的敏感性要高于很多其他的商品推薦,比如在天氣或者節(jié)日下,用戶可能會(huì)對(duì)延誤險(xiǎn),或者某些有特定屬性的保險(xiǎn)比較敏感。
③ 創(chuàng)意節(jié)點(diǎn),比如溫馨類引導(dǎo)性文案、動(dòng)態(tài)數(shù)字文案等都會(huì)有不同的效果。
基于以上三大類節(jié)點(diǎn),做條件概率計(jì)算,完成圖的構(gòu)建。
剛剛提到的用戶,通過(guò)構(gòu)建場(chǎng)景和事件的理解和創(chuàng)意理解。最后,把所有的節(jié)點(diǎn)類型都統(tǒng)一到如上圖所示的結(jié)構(gòu)中。
得到節(jié)點(diǎn)之后,進(jìn)行結(jié)構(gòu)學(xué)習(xí),使用 Hockman scoring function + grade search 。這個(gè)過(guò)程主要是在給定數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)之后,計(jì)算得到網(wǎng)絡(luò)的后驗(yàn)概率值,評(píng)估這個(gè)網(wǎng)絡(luò)到底有沒(méi)有效。
在做 Hockman scoring function 的時(shí)候,可能有多種變量,離散型或者連續(xù)型。在構(gòu)建時(shí)都變成一種離散變量,方便后續(xù)的解釋和建模。我們會(huì)假設(shè)每一個(gè)變量符合狄利克雷分布,施加于樣本上去做后驗(yàn)的更新,再計(jì)算每個(gè)節(jié)點(diǎn)的后驗(yàn)的值,把節(jié)點(diǎn)之間的概率相乘,得到結(jié)構(gòu)的打分。比較通用,大家如果有興趣,可以后面詳細(xì)了解下這個(gè)方法。由于網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜,所以在整個(gè)網(wǎng)絡(luò)中選用 greedy search 的方法。參數(shù)估計(jì)比較簡(jiǎn)單,根據(jù)樣本對(duì)節(jié)點(diǎn)的條件概率表做更新。
可解釋的應(yīng)用,基于結(jié)構(gòu)以及參數(shù)的更新,可以做兩部分的事情:
① 基于各類的 evidence 推斷用戶可能會(huì)做哪種決策,就像上文中提到的那些例子??梢允褂?Likelihood weighting 或者 Loopy Belief Propagation,這些是比較常見(jiàn)的一些方法。
② 歸因,上圖中里面顯示的是健康類的保險(xiǎn),比如意外險(xiǎn)突然熱銷,我們很想知道背后的原因,是因?yàn)橛腥讼矚g買,可能用戶的消費(fèi)力比較高,還是因?yàn)橛脩羰莻€(gè)新人以前不怎么坐飛機(jī),或者是用戶的目的地存在高原屬性,因?yàn)楹ε滦睦韺?dǎo)致購(gòu)買。
最后進(jìn)行一下總結(jié),因果推斷在保險(xiǎn)產(chǎn)品推薦、紅包和文案營(yíng)銷的人群和推薦策略中起到了很大的效果。同時(shí),結(jié)合貝葉斯因果圖的構(gòu)建和可視化的解釋,可以給業(yè)務(wù)提供一些比較有意義的決策,讓他們可以持續(xù)更新策略或者文案,或者進(jìn)行一些方向性的變更。通過(guò)貝葉斯因果圖,也為特征的選擇提供了新的思路。
五、問(wèn)答環(huán)節(jié)
Q1:飛豬保險(xiǎn)營(yíng)銷采取的 Uplift model 是否在落地后進(jìn)行過(guò)驗(yàn)證?在導(dǎo)入因果推斷模型前,飛書保險(xiǎn)營(yíng)銷采用的是什么技術(shù)?局限性在哪里?導(dǎo)入這個(gè)因果推斷模型后,最明顯的改善在什么地方?
A1:① 驗(yàn)證是有的,因?yàn)橐呀?jīng)在線上的 AB 上得到了效果提升。
② 在導(dǎo)入因果模型之前,舉個(gè)例子,在紅包場(chǎng)景最開(kāi)始的策略是轉(zhuǎn)化率預(yù)估。如果能預(yù)估到一個(gè)用戶群體,它本來(lái)是不轉(zhuǎn)化的,對(duì)他們進(jìn)行營(yíng)銷操作,可以保證的是,營(yíng)銷的成本是能被控制的。
③ 局限性,用戶的轉(zhuǎn)化率可能不高,意味著即使你給他紅包,他也會(huì)不轉(zhuǎn)化。所以是我們之前遇到的一些問(wèn)題。
④ 導(dǎo)入因果模型推斷之后,最明顯的改善在應(yīng)該是用戶彈性上。在使用因果推斷技術(shù)之后,可以對(duì)用戶有個(gè)更清晰的理解,對(duì)用戶群種子有更清晰的判斷。
Q2:因果推斷模型的特征怎么選擇?哪些特征在場(chǎng)景下是最重要的?
A2:第一步如果大量的特征進(jìn)行選擇,效果可能不太好。在初始選的時(shí)候,我們使用單變量,看變量和增益之間有沒(méi)有特別強(qiáng)的相關(guān)性,有才會(huì)把它放進(jìn)去。當(dāng)然,后面在樹(shù)模型上可以看到對(duì)特征進(jìn)行打分,然后篩選,是我們?nèi)ヅ袛嗟囊粋€(gè)依據(jù)。
Q3:差分建模時(shí)數(shù)據(jù)出現(xiàn) selection bias 嗎?T-Learner 是不能應(yīng)對(duì)這種問(wèn)題?評(píng)估時(shí)為什么沒(méi)有使用 AUUC ?貝葉斯因果網(wǎng)絡(luò)的隱變量是指什么?
A3:① 差分建模,它會(huì)導(dǎo)致一個(gè)誤差累積。
② T-learner 主要是通過(guò)離線的評(píng)估。這個(gè)問(wèn)題當(dāng)時(shí)我們也比較困惑,總結(jié)下,覺(jué)得可能是在特征上,沒(méi)有一個(gè)非常強(qiáng)的特征,直接對(duì)增益進(jìn)行刻畫。所以后面在一些傳統(tǒng)的模型上,得到的效果也不是很差。這里只是復(fù)雜模型和簡(jiǎn)單模型的一個(gè)評(píng)估,簡(jiǎn)單模型可能在魯棒性上會(huì)強(qiáng)一點(diǎn)。
③ AUUC 其實(shí)我們也有用到的,其實(shí)是差不太多。
④ 觀測(cè)變量可能是指數(shù)據(jù)上可觀測(cè)的變量,而隱藏變量是指我們?cè)谟^測(cè)到的數(shù)據(jù)上面可以去刻畫的隱含的變量。比如性格這種,當(dāng)然網(wǎng)絡(luò)里面還沒(méi)有用到。
Q4:在實(shí)踐中是否嘗試過(guò)使用 matching method 后跟隨一個(gè)回歸的方?如果有,效果如何?
A4:還沒(méi)有嘗試。
Q5:你們后續(xù)的探索是在什么方向?比如現(xiàn)在是在保險(xiǎn)的推薦探索的方向。
A5:因果推斷是我們?nèi)ツ甑囊粋€(gè)工作,今年主要是在創(chuàng)意文案的推薦上。