本次分享主題是多任務學習在風控場景中的應用探索，主要探討什么是樣本選擇偏差問題，如何從多任務學習的角度解決樣本選擇偏差問題，什么是多任務學習，多任務學習有哪些優(yōu)點以及常見的解決思路。還會分享本團隊在撈回和文本兩個場景上的應用案例，并詳細介紹我們結合風控場景的特點如何定制化多任務學習方法解決樣本偏差的問題。今天的介紹會按照以下順序展開：

• 風控場景中的問題
• 多任務學習概況
• 應用案例
• 時序多任務學習方法

01 風控場景中的問題

1. 風控算法的瓶頸

影響風控模型效果的主要因素包括：樣本、標簽、特征和算法。長期以來，業(yè)務模型主要關注前三個因素：

• 如何選擇客群樣本使模型更加穩(wěn)定
• 根據(jù)業(yè)務逾期率要求設計標簽開發(fā)首期、三期模型
• 對數(shù)據(jù)進行特征工程，引入第三方數(shù)據(jù)等?

算法上XGBoost、LightGBM等主流樹模型是模型效果的標桿，深度模型往往難以超越樹模型。近幾年風控算法通過GNN圖神經網(wǎng)絡取得了一些突破，但在落地上還存在一些問題。面對這么多瓶頸，風控模型在算法上沒有提升空間了嗎？如果把風控模型局限在基于數(shù)值型結構化數(shù)據(jù)的分類任務上，可能確實難以提升了，但轉化一下思路，能否針對性的對風控場景存在的問題設計對應的解決方法來提高模型效果呢？答案在下文中揭曉。

2. 樣本選擇偏差

?

我們瞄準的問題是樣本選擇偏差。

在金融信貸中，用戶要先申請，再動支，最終有逾期表現(xiàn)，整個過程中，用戶逐步減少。一般來說，大部分用戶的申請都會被拒絕，通過的用戶有一小部分沒有發(fā)起動支，最終有逾期行為的用戶就更少了。常規(guī)建模方法只能用這很小一部分用戶去訓練模型，而模型在線上使用的時候，則是面對所有申請用戶。這樣造成了模型訓練空間與線上預測推理空間有明顯偏差。

3. 樣本選擇偏差的影響

模型擬合的是局部，本身便存在偏差，客群發(fā)生變化時，模型效果可能會發(fā)生衰減。

舉一個簡單的例子：如上圖所示，左邊是有偏樣本得到的模型，分類超平面將好人和壞人分開，左邊綠色是好人，右邊紅色是壞人，此時只有一個紅色樣本被分錯了。但放到右邊全樣本空間看，超平面左邊有大量的紅點被認為是好人，分類誤差很大，而更好的模型可能是右邊新增的超平面。在現(xiàn)實情況中，常規(guī)用的樹模型是一個非線性模型，是對空間更復雜的劃分，相對沒有示意圖這么極端，誤差相對較小。

樣本偏差在迭代過程中會不斷累積。有偏樣本導致模型本身有偏，用有偏模型去篩選用戶，下次用這些用戶再次建模，導致偏差不斷累積，最終通過的用戶越來越偏。

?

樣本選擇偏差還可能會導致建模樣本量太少，尤其是在某些新產品的冷啟動階段。我們以上圖中某一個風控產品為例（數(shù)據(jù)經過脫敏處理），申請用戶大概70多萬，經過授信審批和動支兩個階段后，最終有逾期表現(xiàn)的只有8萬多，在這個量級下還要分訓練集、驗證集、OOT等就很難得到穩(wěn)定有效的模型。

4. 解決樣本偏差的方法

傳統(tǒng)解決樣本選擇偏差的方法是拒絕推斷。例如硬截斷法、模糊展開法、雙評分卡法、self-training自訓練等，總結來說是通過不同方法得到拒絕樣本的逾期標簽，總體提升較為有限。本身這是一個無中生有的方法，用這些本來就沒有逾期標簽的樣本訓練，不管什么方法得到的標簽誤差都是比較大的。

有沒有方法不需要得到用戶的逾期標簽，就能解決樣本選擇偏差問題？我們想到了從多任務學習的視角去解決。拒絕用戶雖然沒有逾期標簽，但有通過和拒絕標簽，有動支標簽，這些標簽本身和風險是強相關的。如果利用這些標簽和逾期標簽一起訓練，則構成了多任務學習。且這些標簽覆蓋更全，偏差更小，用來輔助逾期模型的訓練，可以有效緩解樣本選擇偏差的問題。

02 多任務學習概況

1. 多任務學習定義

?

多任務學習，簡單來說是把多個相關任務放在一起學習，通過相互分享、補充領域相關知識，提高泛化效果。可以將多任務學習理解為知識遷移：單任務學習時，兩個任務獨立學習各自的模型參數(shù)；多任務模型之間會有部分參數(shù)共享，用來學習任務之間的公共部分，部分參數(shù)不共享，用來學習任務之間有差異的部分。圖中右側的多任務學習網(wǎng)絡參數(shù)共享方法是硬共享，所有任務直接共享公共部分。

2. 多任務學習優(yōu)勢

多任務學習優(yōu)勢在于一個模型可以解決多個任務，比如首期、三期、六期等風險預測建模都可以通過一個模型解決。此外，利用任務之間的差異可以增加泛化能力，防止過擬合于某個單一的任務。通過多任務模型還可以進行知識遷移，提高主任務的效果。多任務學習可以解決冷啟動問題與主任務訓練困難的問題，如之前所說主任務樣本少，有相關樣本量足夠的輔助任務，就可以解決主任務訓練困難的問題。

3. 多任務學習的常規(guī)方法

?

多任務學習的優(yōu)化有幾種，第一種是對共享層改進的MoE和MMoE方法。

相對前文所說的硬共享方法，圖中方法稱為軟共享，是指底層參數(shù)并非直接全部共享，而是增加了Expert和Gate兩個模塊，一般稱為專家模塊和門控結構。專家模塊是任務之間是共享的，但每個專家學習到的知識是有差異的，可以理解為每一個專家模塊學習到的是各自領域內的知識，通過門控結構對多個專家意見加權求和，得到綜合意見。門控結構可以理解為對專家模塊的信息過濾，假如Expert 0的權重大，則說明對這個專家意見保留較多。MoE和MMoE這兩種方法區(qū)別在于MoE是多個任務共享一個gate，而MMoE是每個任務都有自己的gate，思路上都是對共享層的控制。門控結構是通過注意力機制來訓練。

?

第二種優(yōu)化思路是對輸出層做改進，典型方法是ESMM。ESMM是阿里針對轉化率預估問題提出的，主要為了解決廣告推薦場景里樣本選擇偏差問題。簡單介紹一下轉化率預估問題：商品在展示后，用戶可能會發(fā)生點擊行為，在點擊之后，用戶可能會發(fā)生購買（轉化）行為。轉化是在點擊后發(fā)生的，廣告的點擊率一般較低，預估模型的樣本偏差是非常嚴重的。ESMM方法巧妙地把轉化預估轉為點擊且轉化預估。用戶的點擊是無偏的，但轉化是有偏的，引入點擊且轉化任務建模為點擊率*轉化率，通過訓練點擊和點擊且轉化任務，間接訓練轉化率預估任務，也就解決了轉化率預估的樣本偏差問題。最終帶入到損失函數(shù)中的是點擊和點擊且轉化這兩個任務，轉化率預估任務不直接放在損失函數(shù)里邊。

除了MMoE和ESMM兩個思路，還有一些多任務學習方法是對目標函數(shù)進行改進，不同任務在一起訓練任務分布、重要性、難度等都也不一樣，對loss直接相加是不合適的。人工trick，可以主任務給大權重，輔助任務給小權重；難任務給大權重，簡單任務小權重等。此外還有一些自適應動態(tài)調整權重的方法或者是給目標函數(shù)加約束的方法，這里就不多做介紹了。

03 應用案例

1. 多任務撈回模型

?

撈回模型是指在主模型拒絕的用戶上撈回部分用戶。

我們在常規(guī)實驗中發(fā)現(xiàn)，無論是用撈回用戶建模，還是主用戶和撈回用戶一起建模，實際模型都不太穩(wěn)定。我們思考原因，做了一個形象但不太嚴謹?shù)拿枋觯褐髂Ｐ途拖駡D中的藍色的圓，撈回模型是在此之外去尋找低風險的人，而外面空間太大了，沒有明確的方向性，能否利用主模型給撈回模型增加一些方向約束，使撈回模型大部分繼承主模型對于風險的判斷，同時擴散式的向外召回？

?

我們用多任務的思路設計了通過標簽和風險標簽這兩個標簽，通過標簽建模主模型的通過和拒絕，風險標簽建模用戶逾期表現(xiàn)。

我們用XGBoost模型的葉子節(jié)點作為特征，通過神經網(wǎng)絡訓練多任務模型，可以類比為XGBoost加LR的結構。

這種做法主要考慮神經網(wǎng)絡對于數(shù)值型的特征擬合并不好，通過xgb預訓練方式增強對風險標簽的擬合。中間是兩個任務共享的全連接神經網(wǎng)絡用來訓練多任務。這不是端對端的模型，是初期對做任務的一個探索，但最終取得的效果還是很不錯的。右邊是多任務撈回模型的線上效果圖，在上線一年時間里，常規(guī)模型效果衰減比較嚴重，多任務模型效果比較穩(wěn)定。

2. transformer多任務模型

?

我們第二個應用案例是基于文本數(shù)據(jù)的多任務模型。

此文本數(shù)據(jù)是一個非結構化的數(shù)據(jù)，定義了十個標簽，包含通過拒絕、借款間隔等。通過多任務學習可以對不同的任務目標進行組合，實現(xiàn)信息互補。具體實現(xiàn)是通過圖中的Transformer網(wǎng)絡，其中Encoder部分信息是共享的，Classifer部分是獨立的，相當于前問中的tower部分。最終經過實驗驗證，該Transformer分類模型能夠使這些標簽上Auc能提高2個點左右。

04 時序多任務學習方法

1. 多任務場景分析

?

接下來所講的是我們結合業(yè)務設計了什么方法去解決樣本選擇偏差問題。

首先風控業(yè)務中的場景分析包含申、請動支、風險表現(xiàn)三個階段。這三個階段是根據(jù)時間上的先后順序對場景做了一下簡化，事實在用戶動支之后還有動支審批、資方審批等階段。申請階段只有一個標簽，即通過或拒絕；動支階段可能有多個標簽，根據(jù)用戶動支時間和申請時間的間隔分為短間隔、中間隔、長間隔等。風險階段也有多個標簽，短期風險中期風險或者是長期風險。

有幾個關鍵問題是：風控建模預測的是風險，風險是主要任務，其他的通過、拒絕和動支作為輔助任務，但一般的多任務學習方法是沒有時序關系的，如何設計一種網(wǎng)絡結構可以有效利用任務之間的時序關系是個關鍵點。

2. 網(wǎng)絡結構

?

如圖所示，網(wǎng)絡結構從下往上分別是共享層，申請、動支、風險三個構成的時序tower層，最后是輸出層。與傳統(tǒng)的多任務學習一樣，共享層參數(shù)共享，tower層參數(shù)不共享。不同的是我們創(chuàng)新性的提出了info信息橋部分，用于建模階段間的順序依賴并進行信息傳遞。

3. 分層注意力

?

Info信息橋通過分層注意力實現(xiàn)，分層注意力分為兩步，第一步是階段內注意力，將動支間隔等內部任務標簽學到的表示向量進行聚合；第二步是階段間注意力，是對聚合之后的信息做過濾，在任務之間對有用信息進行有向傳遞，丟棄無用信息。

4. 半監(jiān)督損失函數(shù)

?

我們引入交叉熵正則損失函數(shù)進行半監(jiān)督學習。?

交叉熵正則是一種簡單有效的半監(jiān)督學習方式。目標函數(shù)中有標簽的用戶會計算交叉熵損失函數(shù)，沒有標簽的用戶計算交叉熵正則。最終的損失函數(shù)是三個階段的損失函數(shù)通過不同的權重求和。

5. 實驗效果

與主流的方法對比，本文提出的時序多任務風控建模方法MSIS的Auc增益在2%左右。

?

同時我們通過消融實驗證明了每個網(wǎng)絡中每個部分都是有效的。

?

最后我們做了參數(shù)敏感性實驗，在不同的參數(shù)下，本文提出的方法是較為穩(wěn)定有效的。

05 總結

總結來說，本文主要提出了幾種方法解決風控場景中的樣本偏差問題。

一是以樣本偏差小的任務輔助逾期任務訓練；二是通過設計網(wǎng)絡結構，實現(xiàn)多階段多標簽任務的共同訓練；三是設計信息連廊，通過分層注意力機制，實現(xiàn)信息聚合和有效傳遞。

06 Q&A

Q：用全部申請樣本在后標簽好壞定義時，沒有動支樣本的target是如何定義的？

A：沒有動支或者通過的樣本在風險階段是沒有好壞標簽的，本方法中也不需要給出好壞標簽。申請階段中的標簽是通過或者拒絕，用全量樣本訓練；在動支階段則只用通過樣本訓練，動支標簽是近多少天內是否動支；申請通過且動支的用戶才會進入風險階段，產生逾期表現(xiàn)，有好壞標簽。沒有標簽的用戶采用交叉熵正則作為補充算損失函數(shù)。

Q：在申請階段，用本文提出的神經網(wǎng)絡方法怎么去解釋模型？

A：LR和XGB樹模型等相對比較好解釋，神經網(wǎng)絡模型只能借助外部工具進行解釋。

Q：本文提出的模型和AITM模型的區(qū)別？

A：不同點有兩個地方：一是AITM的方法只是前后任務直接傳遞，每個階段只有一個標簽，而本文的方法的不同階段可以有多個標簽，引入多個標簽可以更好地輔助風險任務的訓練。二是交叉熵正則的損失函數(shù)有所區(qū)別。

Q：不同任務損失函數(shù)融合權重如何設計？

A：可以根據(jù)任務主次，比如主任務是逾期任務，其任務權重可以嘗試設大一些，輔助任務權重設小一些。第二個是根據(jù)任務難易，難任務可以設置大一些，比如申請動支的標簽易訓練，后兩個任務難訓練一些，可以把第一個階段權重設小一些，后面任務權重設大一些。

Q：能否詳細介紹一下交叉熵正則損失？

A：最終的損失函數(shù)是多個階段損失函數(shù)的加權融合，對每個階段損失函數(shù)展開，包括兩個部分——有標簽和無標簽。有標簽部分的損失采用交叉熵損失，無標簽部分是交叉熵正則損失。交叉熵損失計算公式中的P是真實標簽，而交叉熵正則的P是模型預測的打分。最終訓練的結果是讓模型對無標簽樣本的打分穩(wěn)定下來。

Q：在申請、動支、風險三個任務效果都有變好嗎？是否會有蹺蹺板效應？

A：蹺蹺板效應是指多任務學習中，某一任務效果變好了，有其他任務效果下降了。我們的主要任務是提高風險階段的AUC，風險階段的AUC較高，申請和動支的AUC稍弱一點我們是可以接受的。

今天的分享就到這里，謝謝大家。