自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

如何在因果推斷中更好地利用數(shù)據(jù)?

人工智能 機(jī)器學(xué)習(xí)
本報(bào)告從兩個(gè)方面來(lái)介紹我們?nèi)绾卫酶嗟臄?shù)據(jù)來(lái)做好因果推斷,一個(gè)是利用歷史對(duì)照數(shù)據(jù)來(lái)顯式緩解混淆偏差,另一個(gè)是多源數(shù)據(jù)融合下的因果推斷。

導(dǎo)讀:本次分享題目為《如何在因果推斷中更好地利用數(shù)據(jù)?》,主要介紹團(tuán)隊(duì)近期在因果上已發(fā)表論文的相關(guān)工作。本報(bào)告從兩個(gè)方面來(lái)介紹我們?nèi)绾卫酶嗟臄?shù)據(jù)來(lái)做好因果推斷,一個(gè)是利用歷史對(duì)照數(shù)據(jù)來(lái)顯式緩解混淆偏差,另一個(gè)是多源數(shù)據(jù)融合下的因果推斷。

全文目錄:

  • 因果推斷背景
  • 糾偏因果樹(shù) GBCT
  • 因果數(shù)據(jù)融合
  • 在螞蟻的業(yè)務(wù)應(yīng)用

一、因果推斷背景

常見(jiàn)的機(jī)器學(xué)習(xí)預(yù)測(cè)問(wèn)題一般設(shè)置在同樣的系統(tǒng)里面,如通常會(huì)假設(shè)獨(dú)立同分布,比如預(yù)測(cè)吸煙的人中得肺癌的概率、圖片分類等預(yù)測(cè)問(wèn)題。而因果的問(wèn)題則關(guān)心的是數(shù)據(jù)背后的機(jī)制,常見(jiàn)的問(wèn)題如“吸煙是否導(dǎo)致肺癌”,類似的問(wèn)題則為因果的問(wèn)題。

在因果效應(yīng)估計(jì)問(wèn)題里有兩類很重要的數(shù)據(jù):一類是觀測(cè)數(shù)據(jù),另一類則為隨機(jī)對(duì)照實(shí)驗(yàn)產(chǎn)生的實(shí)驗(yàn)數(shù)據(jù)。

  • 觀測(cè)數(shù)據(jù)是我們實(shí)際生活或產(chǎn)品積累下來(lái)的數(shù)據(jù)。比如抽煙的數(shù)據(jù),有的人喜歡抽煙,觀察數(shù)據(jù)則是抽煙者的相關(guān)數(shù)據(jù),最終抽煙者中的一部分人得癌癥。機(jī)器學(xué)習(xí)預(yù)測(cè)問(wèn)題就是估計(jì)條件概率P(得肺癌|吸煙),即給定吸煙的條件下,觀察吸煙者得肺癌的概率。在上述的觀測(cè)數(shù)據(jù)中,抽煙的分配實(shí)際上并不是隨機(jī)的:每個(gè)人抽煙的偏好不同,同時(shí)也會(huì)受環(huán)境的影響。
  • 回答因果問(wèn)題最好的方式是進(jìn)行隨機(jī)對(duì)照實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)是通過(guò)隨機(jī)對(duì)照的實(shí)驗(yàn)得到的。在隨機(jī)對(duì)照實(shí)驗(yàn)中,treatment 的分配是隨機(jī)的。假設(shè)需要通過(guò)做實(shí)驗(yàn)的方式得到“吸煙是否會(huì)導(dǎo)致肺癌”的結(jié)論,首先需要找到足夠多的人,強(qiáng)制其中一半人抽煙,同時(shí)強(qiáng)制另一半人不抽煙,并觀察兩組人得肺癌的概率。雖然隨機(jī)對(duì)照試驗(yàn)在部分場(chǎng)景下受制于道德、政策等因素而不可實(shí)現(xiàn),在部分領(lǐng)域中隨機(jī)對(duì)照實(shí)驗(yàn)仍可進(jìn)行,比如在搜推廣中的 A/B test 等。

圖片

因果估計(jì)問(wèn)題 E(Y|do(X)) 問(wèn)題和傳統(tǒng)的預(yù)測(cè)或分類問(wèn)題 E(Y|X) 之間的主要區(qū)別在于:給定的條件中出現(xiàn)了 Judy Pearl 提出的干預(yù)表示符號(hào) do。通過(guò)干預(yù),強(qiáng)制將 X 變量設(shè)置為某個(gè)值。本次報(bào)告分享中的因果效應(yīng)估計(jì)主要指的是從觀測(cè)數(shù)據(jù)中估計(jì)因果效應(yīng)。

在因果推斷中如何更好地利用數(shù)據(jù)?本次報(bào)告將以兩個(gè)團(tuán)隊(duì)近期已發(fā)表論文為例子去介紹這樣一個(gè)話題。

  • 第一個(gè)工作是如何更好地利用歷史對(duì)照數(shù)據(jù)。比如在某個(gè)時(shí)間點(diǎn)舉行了一個(gè)營(yíng)銷大促的活動(dòng),在這個(gè)時(shí)間點(diǎn)之前的時(shí)間稱為“干預(yù)前”,在這個(gè)時(shí)間點(diǎn)之后的時(shí)間稱為“干預(yù)后”。我們希望在干預(yù)前就知道采取干預(yù)將帶來(lái)多少實(shí)際的效果,進(jìn)而輔助我們做下一步?jīng)Q策。在這次營(yíng)銷活動(dòng)開(kāi)始之前,我們擁有用戶的歷史表現(xiàn)數(shù)據(jù),第一個(gè)工作主要就是介紹如何利用好“干預(yù)前”的數(shù)據(jù),輔助數(shù)據(jù)糾偏工作以更好地評(píng)估干預(yù)的效果。
  • 第二個(gè)工作主要是介紹如何更好地利用多源異構(gòu)數(shù)據(jù)。機(jī)器學(xué)習(xí)中也經(jīng)常會(huì)涉及此類問(wèn)題,常見(jiàn)的問(wèn)題如 domain adaptation、transfer learning 等。在今天的報(bào)告中,將從因果的視角去考慮多源異構(gòu)數(shù)據(jù)的利用問(wèn)題,即假設(shè)在有多個(gè)數(shù)據(jù)源的情況下,如何更好地估計(jì)因果效應(yīng)。

二、糾偏因果樹(shù) GBCT

1、傳統(tǒng)的因果樹(shù)

樹(shù)算法主要由兩個(gè)模塊組成:

  • 分裂準(zhǔn)則:根據(jù)分裂準(zhǔn)則將一個(gè)節(jié)點(diǎn)分裂成兩個(gè)子節(jié)點(diǎn)
  • 參數(shù)估計(jì):分裂完成后,比如最終停止分裂,根據(jù)參數(shù)估計(jì)的方法在葉子節(jié)點(diǎn)上預(yù)測(cè)新樣本或群體的因果效應(yīng)

一些傳統(tǒng)因果樹(shù)算法是根據(jù)因果效應(yīng)的異質(zhì)性進(jìn)行分裂的,基本思想是希望分裂之后的左子節(jié)點(diǎn)和右子節(jié)點(diǎn)的因果效應(yīng)差異較大,通過(guò)分裂捕捉到不同數(shù)據(jù)分布的因果效應(yīng)異質(zhì)性。

傳統(tǒng)因果樹(shù)的分裂準(zhǔn)則,比如:

  • uplift tree 的分裂準(zhǔn)則為最大化左右子節(jié)點(diǎn)的因果效應(yīng)差異,差異的度量使用歐氏距離、KL 散度等距離度量;
  • causal tree 分裂準(zhǔn)則可直觀地解釋為最大化因果效應(yīng)的平方??赏ㄟ^(guò)數(shù)學(xué)證明,該分裂準(zhǔn)則等價(jià)于最大化葉子節(jié)點(diǎn)因果效應(yīng)方差。

常見(jiàn)的參數(shù)估計(jì)做法是直接在分裂后的葉子節(jié)點(diǎn)上將實(shí)驗(yàn)組的平均 outcome 減去對(duì)照組的平均 outcome,以此作為因果效應(yīng)的估計(jì)值。如果是隨機(jī)對(duì)照實(shí)驗(yàn),則 treatment 的分配機(jī)制是隨機(jī)的,由此計(jì)算得到的平均差值即為因果效應(yīng)。隨機(jī)分配機(jī)制保證實(shí)驗(yàn)組和對(duì)照組的數(shù)據(jù)分布是相同的,即稱之為同質(zhì)。

因果樹(shù)中分裂得到子節(jié)點(diǎn),可以保證分裂得到的左子節(jié)點(diǎn)和右子節(jié)點(diǎn)的分布是同質(zhì)的嗎?

2、糾偏因果樹(shù) GBCT

傳統(tǒng)的 causal tree、uplift tree 并不能保證分裂后的左子節(jié)點(diǎn)和右子節(jié)點(diǎn)的分布是同質(zhì)的。因此上一節(jié)提到的傳統(tǒng)估計(jì)圖片是有偏的。

圖片

我們的工作關(guān)注于去估計(jì)實(shí)驗(yàn)組(treatment組)上的平均因果效應(yīng) CATT。CATT 的定義為:

圖片

進(jìn)一步,可將傳統(tǒng)的因果效應(yīng)估計(jì)拆分成兩部分:

圖片

選擇偏倚(selection bias/confounding bias)可定義為:

圖片

其直觀含義為在實(shí)驗(yàn)組中 treatment=0 時(shí)的估計(jì)值,減去在對(duì)照組中 treatment=0 時(shí)的估計(jì)值。在傳統(tǒng)的因果樹(shù)中上述的 bias 是沒(méi)有被刻畫(huà)的,選擇偏倚可能會(huì)影響我們的估計(jì),從而導(dǎo)致最終的估計(jì)是有偏的。

我們的思路是利用產(chǎn)品或平臺(tái)上積累的歷史對(duì)照數(shù)據(jù),從而顯式地減少選擇偏倚。具體操作是基于兩個(gè)假設(shè):

  • 假設(shè)1:可觀測(cè)到干預(yù)之前實(shí)驗(yàn)組和對(duì)照組在 treatment=0 的狀態(tài)下的 outcome 的表現(xiàn)。以金融信貸產(chǎn)品中信用卡產(chǎn)品提額操作為例,在提額之前,我們可觀察到用戶平時(shí)的使用表現(xiàn),即實(shí)驗(yàn)組和對(duì)照組在不提額狀態(tài)下(treatment=0)的 outcome 的表現(xiàn)是可獲得的;
  • 假設(shè)2:假設(shè) outcome 的 y 在干預(yù)前后滿足一定的連續(xù)性。直觀理解為一個(gè)用戶或群體行為的變化在干預(yù)前后不會(huì)太劇烈。

圖片

具體的做法:

① 分裂準(zhǔn)則

  • 分裂準(zhǔn)則的第一部分與傳統(tǒng)因果樹(shù)類似,通過(guò)擬合歷史數(shù)據(jù)的 outcome 從而降低經(jīng)驗(yàn)損失。比如在不提額狀態(tài)下通過(guò)函數(shù)擬合用戶行為。
  • 分裂準(zhǔn)則的第二部分是使用混淆熵?;煜叵鄬?duì)于均方誤差而言,可以捕捉高階信息。公式:

圖片

的直觀含義是:在實(shí)驗(yàn)組中,使用對(duì)照組的模型進(jìn)行估計(jì);在對(duì)照組中,使用實(shí)驗(yàn)組的模型進(jìn)行估計(jì);使這兩部分的估計(jì)盡量接近,從而使得實(shí)驗(yàn)組和對(duì)照組的分布盡量接近一致?;煜氐氖褂檬俏覀冞@個(gè)工作的主要貢獻(xiàn)之一。

  • 最終損失為以上兩部分的加權(quán)和。注意到損失中主要使用的是干預(yù)前  的數(shù)據(jù)(經(jīng)驗(yàn)損失部分仍會(huì)使用干預(yù)后的數(shù)據(jù)來(lái)擬合),即用干預(yù)前的數(shù)據(jù)進(jìn)行輔助糾偏。

② 參數(shù)估計(jì)

  • 參數(shù)估計(jì)使用的是干預(yù)后(t≥τ)的數(shù)據(jù)進(jìn)行因果效應(yīng)的估計(jì)。主要使用干預(yù)前的數(shù)據(jù)糾偏學(xué)習(xí)得到一個(gè)樹(shù)結(jié)構(gòu),在葉子節(jié)點(diǎn)中使用干預(yù)后的數(shù)據(jù)進(jìn)行因果效應(yīng)的估計(jì),由于使用干預(yù)前的數(shù)據(jù)進(jìn)行了顯式地糾偏,因此在使用干預(yù)后的數(shù)據(jù)計(jì)算得到的估計(jì)會(huì)更加準(zhǔn)確。
  • (PPT 的右側(cè))由右圖所示,黃色的線代表實(shí)驗(yàn)組,藍(lán)色的組代表對(duì)照組。業(yè)務(wù)中的一些策略可能會(huì)導(dǎo)致實(shí)驗(yàn)組和對(duì)照組的分配不是隨機(jī)的,兩者的分布存在明顯的差異。經(jīng)過(guò) GBCT 糾偏后,葉子節(jié)點(diǎn)上干預(yù)前的實(shí)驗(yàn)組和對(duì)照組的數(shù)據(jù)分布基本是對(duì)齊的,從某種意義上達(dá)到了類似模擬隨機(jī)對(duì)照實(shí)驗(yàn)的效果,因此使用干預(yù)后的數(shù)據(jù)估計(jì)因果效應(yīng)(黃線下的面積減去藍(lán)線下的面積)會(huì)更加準(zhǔn)確。

圖片

傳統(tǒng)的樹(shù)模型的集成包括 bagging、boost 等方法。uplift forest 或 causal forest 使用的集成方法為 bagging 法,uplift forest 的集成為直接求和,而causal forest 的集成需要求解一個(gè)損失函數(shù)。

由于在 GBCT 中設(shè)計(jì)了顯式糾偏的模塊,從而 GBCT 支持使用 boosting方法進(jìn)行集成。基本思想與 boosting 類似:在第一棵樹(shù)糾偏完之后,第二棵樹(shù)進(jìn)行糾偏,第三棵樹(shù)進(jìn)行糾偏……

圖片

實(shí)驗(yàn)方面做了兩部分實(shí)驗(yàn):

① 仿真實(shí)驗(yàn)。在含有 ground truth 的仿真實(shí)驗(yàn)下,檢驗(yàn) GBCT 的方法是否能夠達(dá)到預(yù)期的效果。仿真實(shí)驗(yàn)的數(shù)據(jù)生成分為兩部分(表格中的第一列Φ表示選擇偏倚,Φ值越大,對(duì)應(yīng)的選擇偏倚就越強(qiáng);表格中的數(shù)值為 MAE,MAE 值越小表明方法越好):

  • 第一部分是混淆變量已觀測(cè)。在混淆變量都已觀測(cè)的情況下,檢驗(yàn) GBCT 的方法相對(duì)于傳統(tǒng)方法是否更加魯棒。由表中數(shù)據(jù)可得出結(jié)論,選擇偏倚越大,傳統(tǒng)方法(meta learner、causal forest 等)表現(xiàn)越差。
  • 第二部分是存在未觀測(cè)的混淆變量。此時(shí)很多傳統(tǒng)方法的效果會(huì)顯著地變差。對(duì) GBCT 而言,在存在未觀測(cè)混淆變量時(shí)表現(xiàn)比較穩(wěn)定,同時(shí)穩(wěn)定地比其他方法表現(xiàn)得好。
  • 表格中最后兩列(GBCT-ND, GBCT-B)是消融實(shí)驗(yàn),即去掉一些模塊的 GBCT 的弱化版本,進(jìn)而說(shuō)明我們提出的每個(gè)模塊都是有用的。

圖片

② 真實(shí)信用卡提額數(shù)據(jù)。進(jìn)行隨機(jī)對(duì)照的實(shí)驗(yàn),同時(shí)根據(jù)隨機(jī)對(duì)照實(shí)驗(yàn)構(gòu)造了有偏數(shù)據(jù)。在不同的設(shè)置下,GBCT 方法比傳統(tǒng)的方法穩(wěn)定地好,尤其是在有偏的數(shù)據(jù)上,顯著比傳統(tǒng)的方法表現(xiàn)得好。

三、因果數(shù)據(jù)融合

第二個(gè)工作是因果數(shù)據(jù)融合,即在擁有多個(gè)數(shù)據(jù)源的情況下,如何更好地估計(jì)因果效應(yīng)。

圖片

主要的符號(hào):是多個(gè)數(shù)據(jù)源,Y 是outcome,A 是treatment,X 是關(guān)注的協(xié)變量,Z 是除 X 了外每個(gè)數(shù)據(jù)源(域)的其他協(xié)變量,S 是域的indicator用于表示屬于哪個(gè)域,μ 是潛在結(jié)果的期望值。將outcome拆解成如下表達(dá)式:

圖片

target function δ 用于估計(jì)每個(gè)域上的因果效應(yīng),另外 nuisance functions 包括主效應(yīng)、傾向性評(píng)分、域傾向性評(píng)分、效應(yīng)的方差等。

圖片

一些傳統(tǒng)的方法,比如 meta learner 等都是假設(shè)數(shù)據(jù)是同源的,即分布是一致的。一些傳統(tǒng)的數(shù)據(jù)融合方法可以處理在跨域之間人群的異質(zhì)性,但是無(wú)法顯式地捕捉到干預(yù)結(jié)果跨域的異質(zhì)性以及因果作用跨域的異質(zhì)性。我們的工作主要是處理更復(fù)雜的跨域間的異質(zhì)性,包括干預(yù)結(jié)果跨域之間的異質(zhì)性以及因果作用跨域之間的異質(zhì)性。

圖片

WMDL 算法的框架圖如上圖所示。主要的模塊為:

  • propensity scores
  • outcome models
  • causal information-aware weighting module

三個(gè)模塊綜合起來(lái)就得到了最終的估計(jì)。WMDL 算法的三個(gè)亮點(diǎn)為:

  • 如何刻畫(huà)不同程度的跨域之間的異質(zhì)性
  • 如何設(shè)計(jì) weighting 的模塊以用上更多的信息
  • 如何得到一個(gè) doubly robust 的估計(jì)

圖片

在本次工作中不是通過(guò)估計(jì)實(shí)驗(yàn)組的 outcome 和對(duì)照組的 outcome,然后作差得到因果效應(yīng)的估計(jì),而是直接估計(jì)因果效應(yīng),即 Direct Learning。Direct Learning 的好處是可以避免實(shí)驗(yàn)組和對(duì)照組中較高頻的噪聲信號(hào)。

圖片

左邊部分假設(shè)了多個(gè)域之間因果效應(yīng)是一樣的,但其 outcome 可能存在異質(zhì)性;右邊部分假設(shè)每個(gè)域之間的因果效應(yīng)不一樣,即在不同的域之間,即使它的協(xié)變量一樣,其因果效應(yīng)也不同。

公式是根據(jù)拆解式推導(dǎo)得到的,outcome Y 減去 main effect 除以treatment,估計(jì)的是 I(X),得到的最優(yōu)解即為 δ(X)。圖片中的分子是后面將要提到的 causal information-aware weighting module,是我們本次工作的一個(gè)主要貢獻(xiàn)點(diǎn);分母則類似于 doubly robust 方法中的傾向性得分,只不過(guò)本次工作中同時(shí)考慮了域的信息。如果不同域之間的因果效應(yīng)不一樣,會(huì)同時(shí)考慮域的 indicator 信息。

本次工作三方面的優(yōu)勢(shì):

① 通過(guò)不同的設(shè)計(jì),不僅能處理干預(yù)結(jié)果的異質(zhì)性,同時(shí)可以處理因果作用之間的異質(zhì)性;

② 具有 doubly robustness 性質(zhì)。在論文中給出了證明,只要域的傾向性評(píng)分模型或主效應(yīng)模型兩者之一的估計(jì)是無(wú)偏的,最終得到的估計(jì)就是無(wú)偏的(實(shí)際情況略復(fù)雜一點(diǎn),細(xì)節(jié)見(jiàn)論文);

③ 本次工作主要設(shè)計(jì)了半?yún)⒛P涂蚣?。其中模型的每一個(gè)模塊都可以用任何機(jī)器學(xué)習(xí)的模型,甚至可以將整個(gè)模型設(shè)計(jì)進(jìn)神經(jīng)網(wǎng)絡(luò)中,實(shí)現(xiàn)端到端的學(xué)習(xí)。

圖片

Weighting 的模塊是從統(tǒng)計(jì)學(xué)中的 efficiency bound theory 推導(dǎo)得到的。主要包含兩方面信息:

① 圖片是域之間分布差異平衡轉(zhuǎn)換的模塊;圖片是因果相關(guān)的信息量模塊??赏ㄟ^(guò)左邊三幅圖來(lái)輔助理解:如果源域(source domain)和目標(biāo)域(target domain)之間分布的差異較大,則優(yōu)先給與目標(biāo)域(target domain)較接近的樣本以較大的權(quán)重;

② 通過(guò)分母上的傾向性評(píng)分函數(shù)的設(shè)計(jì),給實(shí)驗(yàn)組和對(duì)照組中存在重疊(overlap)的這部分樣本以較大的權(quán)重;

③ 通過(guò) V 刻畫(huà)數(shù)據(jù)中的噪聲。由于噪聲在分母上,噪聲小的樣本將得到較大的權(quán)重。

通過(guò)巧妙地將上述三部分結(jié)合在一起,可以將不同域之間的分布差異以及不同因果信息的表現(xiàn)映射到統(tǒng)一的域中。

圖片

不管在同質(zhì)的因果效應(yīng)還是異質(zhì)的因果效應(yīng)下,WMDL(Weighted Multi-domain Direct Learning)方法都有較好的效果。右圖則是對(duì) weighting 模塊進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)表明了 weighting 模塊的有效性。綜上所述,WMDL 方法穩(wěn)定地比其他方法效果好,估計(jì)的方差比較小。

四、在螞蟻的業(yè)務(wù)應(yīng)用

圖片

在金融信貸風(fēng)控場(chǎng)景中,干預(yù)的手段如提額、降價(jià)等,希望得到預(yù)期的效果如余額或風(fēng)險(xiǎn)的變化量。在一些實(shí)際的場(chǎng)景中,GBCT 的糾偏工作會(huì)利用提額前一段時(shí)間內(nèi)的歷史表現(xiàn)(實(shí)驗(yàn)組和對(duì)照組在不提額下的狀態(tài)可獲得),通過(guò)歷史的信息進(jìn)行顯式糾偏,使得干預(yù)后的估計(jì)會(huì)更加準(zhǔn)確。GBCT 分裂到一個(gè)子節(jié)點(diǎn),使得干預(yù)前行為對(duì)齊,則干預(yù)后的因果效應(yīng)就比較容易估計(jì)了。(糾偏后得到的)圖中紅色為提額組,藍(lán)色為不提額組,中間的灰色區(qū)域即為估計(jì)的因果效應(yīng)。GBCT 幫助我們更好地做出智能決策,控制信貸產(chǎn)品的余額及風(fēng)險(xiǎn)。

五、問(wèn)答環(huán)節(jié)

Q1:請(qǐng)問(wèn) GBCT 糾偏和雙重差分方法(DID)有何異同?

A1:GBCT 糾偏主要思想是利用歷史對(duì)照信息顯式地降低選擇偏倚,GBCT 的方法和 DID 雙重差分的方法有相似也有不同之處:

  • 相似的地方是二者都利用了歷史信息;
  • 不同的地方在于兩者對(duì)于歷史信息的處理方式。DID 假設(shè)歷史數(shù)據(jù)中的實(shí)驗(yàn)組和對(duì)照組之間存在固定常值的間隔(gap),在預(yù)測(cè)時(shí)減去間隔(gap)。由于選擇偏倚,實(shí)驗(yàn)組和對(duì)照組的分配不是隨機(jī)的,GBCT 通過(guò)糾偏的方式,將歷史的實(shí)驗(yàn)組和對(duì)照組進(jìn)行對(duì)齊。

Q2:GBCT 在未觀測(cè)混淆變量上會(huì)表現(xiàn)得更好,有什么比較直觀的解釋?

A2:如果所有的混淆變量已觀測(cè)的話,滿足可忽略性(Ignorability)假設(shè),某種程度上,雖然沒(méi)有顯式地降低選擇偏倚,實(shí)驗(yàn)組和對(duì)照組也有可能通過(guò)傳統(tǒng)的方法實(shí)現(xiàn)對(duì)齊,實(shí)驗(yàn)表明 GBCT 的表現(xiàn)要略勝一籌,通過(guò)顯式糾偏使得結(jié)果更穩(wěn)定一些。

假設(shè)存在一些未觀測(cè)到的混淆變量,此類場(chǎng)景在實(shí)際中是非常常見(jiàn)的,歷史的對(duì)照數(shù)據(jù)中也存在未觀測(cè)的混淆變量,比如在提額前,家庭情況、收入的變化等可能觀測(cè)不到,但是用戶的金融行為已經(jīng)通過(guò)歷史數(shù)據(jù)體現(xiàn)出來(lái)了。我們希望通過(guò)歷史的表現(xiàn)信息,以混淆熵等方式顯式降低選擇偏倚,使得在樹(shù)分裂時(shí),將混淆變量之間的異質(zhì)性刻畫(huà)到分裂的子節(jié)點(diǎn)中。在子節(jié)點(diǎn)中,使得未觀測(cè)的混淆變量有更大的概率是比較相近的,因此估計(jì)的因果效應(yīng)相對(duì)更準(zhǔn)確。

Q3:有將 GBCT 和 Double Machine Learning(DML)做過(guò)比較嗎?

A3:做過(guò)比較。Double Machine Learning 是一個(gè)半?yún)⒌姆椒?。我們這篇工作更關(guān)注于 tree-based 方法,所以選用的 base learner 都是一些 tree 或 forest 等相關(guān)的方法。表格中的 DML-RF 是 Double Machine Learning 版的 Random Forest。 

相比于 DML,GBCT 主要是在考慮如何利用歷史的對(duì)照數(shù)據(jù)。在對(duì)比方法中,會(huì)把歷史的 outcome 直接作為協(xié)變量處理,但這種處理方法顯然沒(méi)有把信息用得很好。

Q4:業(yè)務(wù)中可能會(huì)遇到的比較相似的問(wèn)題是,離線可能會(huì)有選擇偏倚。但是線上的偏倚可能會(huì)和離線的偏倚存在一些偏差。此時(shí)在離線做效果評(píng)估時(shí),可能沒(méi)有辦法非常準(zhǔn)確地對(duì)離線效果進(jìn)行估計(jì)。

A4:這個(gè)問(wèn)題在金融場(chǎng)景是一個(gè)非常本質(zhì)的問(wèn)題。在搜推廣中可以通過(guò)在線學(xué)習(xí)或者 A/B test 部分克服離線與在線之間的差異。在金融場(chǎng)景,受政策影響不能輕易地在線上做實(shí)驗(yàn);另外表現(xiàn)的觀測(cè)周期通常較長(zhǎng),如信貸產(chǎn)品觀察到用戶的反饋需要至少 1 個(gè)月的觀測(cè)時(shí)間。因此實(shí)際上很難完美地解決這個(gè)問(wèn)題。

我們一般采取如下方式:在離線評(píng)估時(shí)使用不同時(shí)期(OOT)的測(cè)試數(shù)據(jù)去做驗(yàn)證,觀察其表現(xiàn)的魯棒性。如果測(cè)試表現(xiàn)比較穩(wěn)定的,那么相對(duì)來(lái)說(shuō)更有理由相信其在線上的表現(xiàn)也是不錯(cuò)的。

責(zé)任編輯:姜華 來(lái)源: DataFunTalk
相關(guān)推薦

2012-09-25 13:32:31

大數(shù)據(jù)Hadoop

2024-10-14 14:47:58

2014-12-11 10:09:59

Java 8

2023-12-26 09:58:37

數(shù)據(jù)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)管理

2022-10-14 16:48:40

因果推斷數(shù)據(jù)預(yù)處理特征設(shè)計(jì)

2024-02-05 08:41:08

因果推斷快手短視頻應(yīng)用

2018-02-10 10:22:08

2022-01-10 15:34:03

云資源云計(jì)算

2024-01-26 08:31:49

2023-11-23 07:41:54

因果推斷大模型

2023-08-28 07:15:49

AIGC因果推斷

2024-06-26 19:54:36

2022-12-27 08:19:25

2013-12-24 10:47:31

虛擬化云計(jì)算平臺(tái)架構(gòu)

2018-10-11 09:40:53

前端JavaScript編程語(yǔ)言

2021-05-23 15:46:23

React代碼前端

2013-11-22 09:35:07

電信企業(yè)大數(shù)據(jù)

2018-07-25 11:19:02

AI工具谷歌

2024-09-11 19:36:24

2022-06-15 10:10:49

物聯(lián)網(wǎng)零信任
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)