騰訊劉黎春:社交數(shù)據在征信領域的應用探索
原創(chuàng)由51CTO舉辦的WOT”互聯(lián)網+”時代大數(shù)據技術峰會上,來自騰訊數(shù)據挖掘高級工程師劉黎春做了以《社交數(shù)據在征信領域的應用探索》為主題的演講,主要內容由社交征信背景、騰訊社交網絡數(shù)據、個體用戶畫像研究、社團圈子研究、模型建設及應用這五部分構成,下面我們就逐一為大家介紹各部分的內容。
社交征信背景
劉黎春表示,征信并不是一個簡單征信評分的模型,而是由數(shù)據公司、征信公司、征信使用方三部分組成。數(shù)據公司就是采集或做一些數(shù)據的初步挖掘,這類公司可能會有特殊的數(shù)據源,例如法院、公安等這些數(shù)據都是需要深入行業(yè)背景才能拿到。征信公司是有一個產權聯(lián)系,另外它也會向第三方一些數(shù)據公司去購買一些數(shù)據回來,豐富它數(shù)據的維度,并且基于這些數(shù)據去做一些征信的事情,提供一些征信級的解決方案。征信使用方就是征信的解決方案***給到誰來用。一般來說我們的理解就是銀行和P2P的貸款機構。這三部分綜合起來,就形成了一個整體的征信行業(yè)的產業(yè)鏈。
傳統(tǒng)征信相關機構
美國著名征信公司
國內征信發(fā)展歷程
綜合以上四圖的數(shù)據來看,如果社交數(shù)據可以用到征信中的話,是不是可以對央行的征信系統(tǒng)做一個很好的補充呢?劉黎春表示,這是騰訊在做社交征信項目時最開始思考的問題。社交數(shù)據非常龐大,但并不一定都是有效數(shù)據,還要看具體應用的業(yè)務場景是不是和數(shù)據有相關性,這些數(shù)據是不是真的能夠用到***的模型或者算法中去。這樣問題就接踵而來,社交數(shù)據與信用評級有關系嗎? 交易數(shù)據天然具備金融屬性,社交數(shù)據有嗎? 社交數(shù)據非結構化程度高,怎么挖掘并有效使用?
騰訊社交網絡數(shù)據
在談騰訊社交網絡數(shù)據構成之前,劉黎春先介紹了傳統(tǒng)征信的分析維度。其一是用戶的基礎信息,如年齡、性別、職業(yè)、收入、婚姻狀況,工作年限,工作狀況等基本上和每家銀行或者每個做征信的機構獲得的數(shù)據都差不多。其二是信貸情況,看用戶申請幾張信用卡,最近一個月的征信報告被查詢的次數(shù),因為我們大家都知道征信報告被查詢的次數(shù)可以直接代表最近有沒有比較頻繁地做貸款的申請或者信用卡申請。如果最近的次數(shù)特別多,那說明這個人最近非常缺錢,可能就會影響信用,直接影響授信額度。
上圖是騰訊的數(shù)據現(xiàn)狀,包含了很多維度的數(shù)據,覆蓋的用戶數(shù)相對來說更加全面一些。
騰訊社交征信SWOT分析
上圖為騰訊社交征信SWOT分析,優(yōu)勢、劣勢、機會、風險一目了然。有了這樣詳細的分析,做個人征信是必然的事情,但做征信之前要清楚的知道征信對象是什么樣子,所以開始著手做個體用戶畫像的研究。
個體用戶畫像研究
劉黎春表示,做個體用戶畫像研究遇到的挑戰(zhàn)主要有如下三方面:其一,如何充分利用騰訊各種豐富的數(shù)據資源及之間的聯(lián)系?其二,如何使用戶畫像適應各種不同的應用場景?其三,如何高效的處理海量的用戶數(shù)據(超過10億的QQ用戶, 超過千億級別的各類日志數(shù)據) ?面對這些挑戰(zhàn),劉黎春給出來相應的解決方案如下:
- 針對不同的底層數(shù)據類型設計特定的挖掘算法,挖掘用戶的行為特征,形成底 層標簽。綜合考慮不同數(shù)據來源的,形成更上層的抽象用戶標簽
- 建立完善的用戶畫像標簽體系結構,從不同維度、粒度對用戶進行描述。
- 搭建用戶畫像挖掘系統(tǒng),基于大規(guī)模存儲和機器學習計算平臺,定期對全 量用戶數(shù)據進行計算和挖掘,并提供用戶標簽的使用和查詢服務。
用戶畫像系統(tǒng)架構
用戶畫像文本挖掘系統(tǒng)
用戶畫像行業(yè)挖掘
用戶畫像挖掘結果
個人用戶畫像研究的結果就是把結構化數(shù)據,文本分類,LBS數(shù)據,社交網絡傳播擴散這些挖掘之后形成一個比較完整的畫像,比如說人口的一些基礎屬性如年齡、家鄉(xiāng)、興趣等。同時也會對用戶婚姻狀況來做一個判斷。有了這些數(shù)據之后,就可以基于這些用戶數(shù)據去做很多社交征信工作。
社團圈子研究
這里說到的社團圈子其實就是QQ圈子,劉黎春表示,在2012年有一個社交網絡的成果非常有影響力,那就是把挖掘出來的結果作用到整個前端的QQ用戶。具體案例就是如用戶的某個同事,你們并不是直接的好友關系,但騰訊會知道這期間的潛在關系,或自動分到同事分組并同時加上備注。這個結果在當時引起了很大爭議有人覺得對于他們找到一些潛在好友提供便利,但有些人覺得觸碰了他們的隱私。
QQ圈子除了它自己本身之外,也會把它作用到很多場其他景里去,比如說用它來挖掘學歷的信息,基于QQ圈子好友的備注,如說很多人把這個用戶備注成一個本科同學,那系統(tǒng)可能會判斷我的學歷是本科學歷。這樣的數(shù)據騰訊是拿一些真實的數(shù)據做過驗證,數(shù)據覆蓋率大概能覆蓋74%,準確到90%以上。
社交網絡拓撲的應用
社交網絡拓撲的應用無外乎有兩種,其一是是判斷拓撲的類型,其二是研究這些類型在這個關系鏈里的影響力。比較有標志性的拓撲類型有三角形和心型兩種結構。
模型建設及應用
那么要如何把個體用戶畫像和社團圈子的研究,用到模型中去呢?劉黎春表示,首先要做的事情就是先建立一個社交模型,但在建模之前要做一些基本假設,如兩個QQ號碼是屬于同一個人的話有一些比較明顯的特征,***個他會經常在同一個設備里面登陸,或者在同樣的IP里面登陸,或者它有其他特征的表現(xiàn)等等。***把這些特征用來建立模型,去判斷說某幾個QQ號碼背后對應的到底是不是同樣一個人,這個的準確率大概是85%,覆蓋率是75%左右。
變量衍生與模型結果
模型整體效果
微粒貸應用
***劉黎春介紹征信模型運用到微粒貸中的具體應用流程,上圖為產品截圖。打開QQ如果能夠看到微粒貸入口,說明是在騰訊篩選出的白名單里面。只要你點擊了申請開通,它會馬上給你算一個額度出來,如果你要借款,這個也是非常快,只要你綁定了你的銀行卡,應該在兩分鐘之內會把你的借款打到你的賬上。其實這個相對于去傳統(tǒng)銀行借款的話,它這個效率是有一個質的飛躍。但其前臺產品表現(xiàn)得越簡單,它背后的技術可能是越復雜的技術。征信模型作為微粒貸背后技術就是為了篩選具有良好信用的用戶,為這些用戶提供貸款服務。
【講師簡介】
劉黎春,騰訊數(shù)據挖掘高級工程師,社交網絡事業(yè)群數(shù)據挖掘團隊負責人,***代QQ音樂推薦系統(tǒng)架構師,騰訊客戶生命周期管理體系搭建者。多年致力于 數(shù)據挖掘技術與業(yè)務結合,在大數(shù)據分析和挖掘、互聯(lián)網征信等領域有著豐富的實戰(zhàn)經驗和項目管理心得。目前專注于互聯(lián)網征信、用戶基礎畫像、推薦系統(tǒng)和文本 挖掘。