【51CTO.com原創(chuàng)稿件】隨著移動互聯(lián)網(wǎng)時代的來臨，從電子商務(wù)到互聯(lián)網(wǎng)金融，人們在網(wǎng)絡(luò)上產(chǎn)生的數(shù)據(jù)越來越多，大數(shù)據(jù)已經(jīng)成為當前金融機構(gòu)加強風險控制的重要補充手段,大數(shù)據(jù)技術(shù)的應(yīng)用也越來越廣泛。

在銀行風控管理中，通過大數(shù)據(jù)圖形分析與流處理技術(shù)，能夠?qū)v史數(shù)據(jù)、一段時間窗口的信息流和觸發(fā)計算的事件進行快速統(tǒng)計，并且與模型匹配，在毫秒級別內(nèi)進行響應(yīng)作出判斷；大數(shù)據(jù)能夠處理非結(jié)構(gòu)化數(shù)據(jù)，能夠整合圖像、語音、文本、網(wǎng)頁、JSON、XML 等非結(jié)構(gòu)化數(shù)據(jù)，轉(zhuǎn)化成結(jié)構(gòu)化字段等。

在實際應(yīng)用方面,許多銀行基于Hadoop打造了面向全行的開放共享大數(shù)據(jù)平臺，并且推出了金融貸款產(chǎn)品和個人消費貸款產(chǎn)品；也有銀行利用大數(shù)據(jù)分析進行精準營銷，比如，對客戶的購物、上網(wǎng)習慣等進行精準細分，推出針對某類用戶的銀行卡等等。政府、金融等不同領(lǐng)域大數(shù)據(jù)項目，底層是否相通？哪些領(lǐng)域需要做特別定制化？

如下內(nèi)容是東方金信聯(lián)合創(chuàng)始人、CTO石棋玲博士針對大數(shù)據(jù)風險分析與控制應(yīng)用的詳盡分析，希望能給大家?guī)硪恍┬滤悸贰?/span>

[[205020]]

大數(shù)據(jù)風險分析的國內(nèi)外發(fā)展現(xiàn)狀

國內(nèi)：從技術(shù)趨勢發(fā)展來說，整個IT行業(yè)已經(jīng)跨過了功能完善的時期，已經(jīng)從功能建設(shè)時期轉(zhuǎn)為數(shù)據(jù)建設(shè)時期，整個行業(yè)開始轉(zhuǎn)型，所以云計算和大數(shù)據(jù)必然成為國家發(fā)展的一個重要布局。目前大數(shù)據(jù)在國內(nèi)發(fā)展迅速，在數(shù)字經(jīng)濟面前，數(shù)據(jù)成為社會進步的***驅(qū)動力，是推動社會發(fā)展的重要因素，大數(shù)據(jù)技術(shù)成為國家戰(zhàn)略已經(jīng)是一個趨勢。

在風險分析方面，國內(nèi)處于一個迅速發(fā)展的階段，個人業(yè)務(wù)包括個人征信、芝麻信用；銀行應(yīng)用，各大行推出的風險評估產(chǎn)品都數(shù)據(jù)風險分析的案例。但是國內(nèi)的數(shù)據(jù)和國外特別是歐美國家相比，數(shù)據(jù)質(zhì)量還是參差不齊的，相較于歐美國家很早就開放數(shù)據(jù)接口，發(fā)布數(shù)據(jù)開放標準，中國的數(shù)據(jù)標準和接口起步都比較晚，給大數(shù)據(jù)風險分析也帶來一定的困難。

國外：當前，許多國家的政府和國際組織都認識到了大數(shù)據(jù)的重要作用，紛紛將開發(fā)利用大數(shù)據(jù)作為奪取新一輪競爭制高點的重要抓手，實施大數(shù)據(jù)戰(zhàn)略。

美國政府將大數(shù)據(jù)視為強化美國競爭力的關(guān)鍵因素之一，把大數(shù)據(jù)研究和生產(chǎn)計劃提高到國家戰(zhàn)略層面。其他國家也在相繼布局，迎頭趕上。

在風險分析方面，因為歐美有著較早數(shù)據(jù)體系、完善的法律法規(guī)和行業(yè)指導(dǎo)規(guī)范，他們的數(shù)據(jù)使用也是比較規(guī)范的，這也使得在所謂的大數(shù)據(jù)風控方面，西方國家已經(jīng)有了很多數(shù)據(jù)應(yīng)用。在技術(shù)方面，有大量的公司專注于做技術(shù)底層，基礎(chǔ)建設(shè)這一層；有些純技術(shù)公司做上層應(yīng)用開放，統(tǒng)計分析軟件的；甚至還有大量機構(gòu)和公司專注于開源技術(shù)系統(tǒng)搭建，所以國外在技術(shù)上也是相對成熟的。

大數(shù)據(jù)風險分析國內(nèi)外發(fā)展歷程對比

國內(nèi)外的大數(shù)據(jù)基本都是以下四個階段發(fā)展的：學術(shù)研究--政府推動—大數(shù)據(jù)價值—數(shù)據(jù)技術(shù)—風險分析與控制應(yīng)用

最初，大數(shù)據(jù)概念被提出，隨著2011年麥肯錫正式定義了大數(shù)據(jù)的概念，大家對大數(shù)據(jù)也有了越來越多的學術(shù)研究。隨著美國德國等國家相繼實行大數(shù)據(jù)戰(zhàn)略，中國工信部也把信息處理技術(shù)作為四項關(guān)鍵技術(shù)創(chuàng)新工程之一，其中包括了海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析等大數(shù)據(jù)重要組成部分。慢慢地，大家對大數(shù)據(jù)能產(chǎn)生的價值有了越來越深的了解，銀行、政府、互聯(lián)網(wǎng)巨頭紛紛發(fā)布機器學習產(chǎn)品，目前，大數(shù)據(jù)技術(shù)（hadoop、機器學習、人工智能等）已經(jīng)被廣泛使用。隨著大數(shù)據(jù)技術(shù)的不斷成熟，大數(shù)據(jù)已經(jīng)成為當前金融機構(gòu)加強風險控制的重要補充手段,大數(shù)據(jù)技術(shù)的應(yīng)用也越來越廣泛。

大數(shù)據(jù)風險分析的未來趨勢

但隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，整個社會大力提速，數(shù)據(jù)的標準的建立，傳統(tǒng)的風險分析方式已逐漸不能支撐機構(gòu)的業(yè)務(wù)擴展；而大數(shù)據(jù)對多維度、大量數(shù)據(jù)的智能處理，批量標準化的執(zhí)行流程，更能貼合信息發(fā)展時代風控業(yè)務(wù)的發(fā)展要求，未來大數(shù)據(jù)風險分析將會更多的應(yīng)用在各行各業(yè)，越來越精確的分析行業(yè)存在的風險，防患于未然。

大數(shù)據(jù)風險分析的應(yīng)用領(lǐng)域

從各個行業(yè)對大數(shù)據(jù)調(diào)研的參與程度其實已經(jīng)可以反映出各行業(yè)對大數(shù)據(jù)的關(guān)注程度，比如：能源/制造行業(yè)對于市場行情的數(shù)據(jù)更為敏感，歷史的商品行情對于未來的產(chǎn)品設(shè)計、風險評估以及市場導(dǎo)向都有較強的參考意義；而隨著政府與公共事業(yè)的服務(wù)意識的強加與轉(zhuǎn)變，以及更智慧的執(zhí)政與管理理念的帶動，對于數(shù)據(jù)的管理與分析的需求也在日益加強；在金融與保險行業(yè)，則是傳統(tǒng)的數(shù)據(jù)量大戶，而在新時代更好更快的發(fā)現(xiàn)客戶金融習慣，將是金融與保險行業(yè)未來競爭必須要做的事情，此外，大數(shù)據(jù)分析也能為金融和保險行業(yè)分析出潛在的危險，提前做好防范。

大數(shù)據(jù)風險管理

大數(shù)據(jù)風風險管理當前熱點技術(shù)有：預(yù)測分析、NoSQL數(shù)據(jù)庫、流式分析、內(nèi)存數(shù)據(jù)結(jié)構(gòu)、分布式存儲系統(tǒng)、數(shù)據(jù)可視化、數(shù)據(jù)整合、數(shù)據(jù)預(yù)處理、數(shù)據(jù)校驗、機器學習等。

從技術(shù)角度看，傳統(tǒng)企業(yè)和外企的差異：

1）在美國或者說全球大數(shù)據(jù)市場已經(jīng)有非常多的公司，領(lǐng)域內(nèi)的分布更加細化，分工更加明確。今天中國的大數(shù)據(jù)市場，到目前為止，還沒有分工的那么明確，細分領(lǐng)域相對還沒那么多。

2）數(shù)據(jù)的部分，整個中國的數(shù)據(jù)環(huán)境和西方的非常不一樣。在以前，中國對數(shù)據(jù)的使用并不多。而在西方國家，尤其是發(fā)達國家，比如德國，在十年前就開放數(shù)據(jù)接口，發(fā)布數(shù)據(jù)開放標準，在1977年就已經(jīng)頒布了本國聯(lián)邦數(shù)據(jù)保護法律。因為西方國家比較完善的法律法規(guī)和行業(yè)指導(dǎo)規(guī)范，他們的數(shù)據(jù)使用也是比較規(guī)范的，這也使得在所謂的大數(shù)據(jù)到來之前，西方國家已經(jīng)有了很多數(shù)據(jù)應(yīng)用，比如在金融領(lǐng)域的風控與征信。

3）從技術(shù)角度來講，中國公司跟西方公司區(qū)別也很大。西方的公司在技術(shù)領(lǐng)域里是用技術(shù)的分層來去分析的，有些公司專注于做技術(shù)底層，基礎(chǔ)建設(shè)這一層；有些純技術(shù)公司做上層應(yīng)用開放，統(tǒng)計分析軟件的；甚至還有大量機構(gòu)和公司專注于開源技術(shù)系統(tǒng)搭建。在中國，大家通常做一家科技公司，更多的***件事情先是復(fù)制美國的某一個公司或者復(fù)制美國的某一個業(yè)務(wù)，這樣的話很容易被資本市場認可。這也導(dǎo)致中國沒有***層的核心技術(shù)公司，至少在早期是沒有的。包括今天，大家都覺得中國的純技術(shù)公司也有，但是很少，比如說東方金信。

通過算法控制風險的流程以及***挑戰(zhàn)的環(huán)節(jié)

金融領(lǐng)域中有兩大風險，一種是歷史風險，一種是未來風險。

歷史風險是從企業(yè)或者個人的歷史數(shù)據(jù)判斷客戶過去的表現(xiàn)；未來風險，是各式各樣未來具有不確定性的因素造成損失的風險。對這兩種風險，大數(shù)據(jù)的識別能力并不相同。“畫歷史易知未來難”，就歷史風險而言，大數(shù)據(jù)可以使得歷史畫像越來越清晰。通過不斷拓寬歷史信息的收集整理，再利用大數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)技術(shù)、深度學習技術(shù)，個人或企業(yè)的畫像逐步逼近個人或企業(yè)真實的歷史表現(xiàn)是可能的。從理論上講，隨著數(shù)據(jù)信息量增大、計算機算力提升、深度學習能力不斷提高，對個人和企業(yè)的畫像會越來越清晰，逐步逼近真實情況。

但對于未來風險，依據(jù)大數(shù)據(jù)得到的未來畫像，其可靠性卻不容樂觀。歷史是靜態(tài)的信息，在刻畫歷史畫像時，變量為空，就可以不予考慮，憑借有值變量即可刻畫客戶。即使我們有1000個數(shù)據(jù)采集變量，對一個客戶來說，可能只需幾百個，甚至幾十個有值變量即可刻畫歷史畫像。而對于未來畫像的刻畫，需要考慮的變量則要要多出很多。

在集群規(guī)模方面，隨著科技發(fā)展，智能硬件的迭代更新，產(chǎn)生的數(shù)據(jù)成指數(shù)級增長，數(shù)據(jù)量的增長也要求集群處理數(shù)據(jù)的能力不斷變高，集群規(guī)模與數(shù)據(jù)量之間的平衡、如何靈活擴展，也是公司發(fā)展實際存在的挑戰(zhàn)；此外，如何從龐大的數(shù)據(jù)中甄別有價值的數(shù)據(jù)，并從這些數(shù)據(jù)中挖掘到更深層次有用的信息也是需要技術(shù)人員考慮的問題。

案例深度解析 -- 某省政務(wù)大數(shù)據(jù)平臺風險管理

客戶需求痛點：政務(wù)大數(shù)據(jù)是一個極其復(fù)雜的系統(tǒng)工程，傳統(tǒng)的數(shù)據(jù)統(tǒng)計、分析方式已經(jīng)不能夠支撐這一系列復(fù)雜的工程，政府業(yè)務(wù)流程的復(fù)雜度要遠遠超過金融和運營商，原來的大數(shù)據(jù)大多都圍繞一個主線，產(chǎn)生周邊的大數(shù)據(jù)營銷、大數(shù)據(jù)風險、大數(shù)據(jù)管理等，而在政務(wù)大數(shù)據(jù)中，業(yè)務(wù)會涉及幾十個部門，同時也涉及多個行業(yè)，如何把眾多復(fù)雜的數(shù)據(jù)變成有用的價值，為民服務(wù)，是目前的一個挑戰(zhàn)。

解決方案：首先，大數(shù)據(jù)技術(shù)會把數(shù)據(jù)從各個業(yè)務(wù)系統(tǒng)整合起來，實現(xiàn)了數(shù)據(jù)模型與分類；其次，這種數(shù)據(jù)整合將推動傳統(tǒng)業(yè)務(wù)升級，并協(xié)助政府各個委辦局去高效完成新的業(yè)務(wù)。整個過程涉及多個環(huán)節(jié)，包括數(shù)據(jù)共享平臺、交換平臺和大數(shù)據(jù)計算平臺等，它們都起到非常關(guān)鍵的作用。目前，政府也在大力推廣數(shù)據(jù)的互聯(lián)互通，多次發(fā)文來推動數(shù)據(jù)建設(shè)和發(fā)展，使大數(shù)據(jù)產(chǎn)業(yè)快速地在政府行業(yè)做大。

底層技術(shù)架構(gòu)

    基于海盒大數(shù)據(jù)平臺，支持強大的可擴展能力，可以隨數(shù)據(jù)量增長而平滑擴容；可以實現(xiàn)更靈活的分布式資源管理能力；基于Hadoop流處理技術(shù)，提供實時數(shù)據(jù)分布式處理能力。

    數(shù)據(jù)統(tǒng)一采集、存儲、整合、共享?；跀?shù)據(jù)透明訪問模塊提供數(shù)據(jù)統(tǒng)一訪問管理，實現(xiàn)應(yīng)用與數(shù)據(jù)解耦，同時增強數(shù)據(jù)安全管控能力，提升用戶隱私保護能力。

    整合數(shù)據(jù)挖掘模型，構(gòu)建運營商統(tǒng)一的商業(yè)洞察與網(wǎng)絡(luò)洞察組建或模型庫，提供統(tǒng)一的能力服務(wù)，快速部署應(yīng)用。

涉及關(guān)鍵技術(shù)

某省政務(wù)大數(shù)據(jù)公共服務(wù)平臺主要由數(shù)據(jù)源層、數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)中心層、大數(shù)據(jù)基礎(chǔ)支撐層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)開放層、數(shù)據(jù)應(yīng)用層八部分組成，并制定相應(yīng)數(shù)據(jù)標準、應(yīng)用規(guī)范及數(shù)據(jù)安全管理體系。利用海盒大數(shù)據(jù)平臺對數(shù)據(jù)進行統(tǒng)一收集、存儲和管理，

對數(shù)據(jù)進行分析挖掘、高效檢索、實時分析、即席查詢等步驟，建立起整個政務(wù)平臺。

問題與優(yōu)化

政務(wù)大數(shù)據(jù)是一個極其復(fù)雜的系統(tǒng)工程，在了解客戶業(yè)務(wù)流程和痛點的前提下，不僅僅要有傳統(tǒng)的IT技能，更要擁有強大的數(shù)據(jù)基礎(chǔ)技能。此外，政務(wù)大數(shù)據(jù)存在孤島效應(yīng)，必須打破原有信息孤島，實現(xiàn)了數(shù)據(jù)的互聯(lián)互通，數(shù)據(jù)價值才可以全面釋放。因此東方金信通過建立多層次的資源池的方法，實現(xiàn)數(shù)據(jù)的匯聚，充分挖掘數(shù)據(jù)價值。

經(jīng)驗總結(jié)

通過某省政務(wù)大數(shù)據(jù)平臺項目，可以深刻感受到政府行業(yè)大規(guī)模的使用大數(shù)據(jù)技術(shù)是近兩年才剛剛開始，雖然政府業(yè)務(wù)流程的復(fù)雜度要遠遠超過金融和運營商，而且政務(wù)大數(shù)據(jù)中的業(yè)務(wù)會涉及幾十個部門，同時也涉及多個行業(yè)，但潛藏在其中的潛力也是巨大的，帶來挑戰(zhàn)的的同時也給我我們帶來了機遇，我們應(yīng)在一次次的項目中積累經(jīng)驗，不斷強大自己，抓住這其中的機遇。

【簡介】石棋玲博士，畢業(yè)于美國中佛羅里達大學，是國內(nèi)最早開展高強度超級圖形方法大規(guī)模風險分析的數(shù)據(jù)科學家。曾就職美國銀行總部，開發(fā)許多算法控制風險、打擊欺詐?，F(xiàn)為北京東方金信科技有限公司聯(lián)合創(chuàng)始人、CTO。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】