平安人壽數(shù)據(jù)管理實踐與展望
隨著人工智能和大模型在金融行業(yè)不斷應用,傳統(tǒng)數(shù)據(jù)治理面臨著新的挑戰(zhàn),建立高效的企業(yè)級數(shù)據(jù)管理體系,適應新的數(shù)據(jù)需求,全面展現(xiàn)數(shù)據(jù)治理工作的價值,成為金融行業(yè)和大型企業(yè)的熱點話題。我們特別邀請來自平安人壽的王勁松老師為我們分享《平安人壽數(shù)據(jù)管理實踐與期望》,王老師服務平安人壽 17 年,先后從事數(shù)據(jù)報表開發(fā)、IT 運維、數(shù)據(jù)管理、項目管理,目前主要負責公司數(shù)據(jù)治理工作,他將主要介紹平安人壽這一保險行業(yè)龍頭企業(yè)是如何開展數(shù)據(jù)管理。
一、平安人壽數(shù)據(jù)管理背景與挑戰(zhàn)
首先來介紹平安人壽推進數(shù)據(jù)管理的背景以及面臨的挑戰(zhàn)。
1. 數(shù)據(jù)管理的外部要求和內部訴求
平安人壽作為金融企業(yè),需服從國家金融監(jiān)督管理總局、人民銀行等部門的相關準則和監(jiān)管規(guī)定,其中《銀行保險機構公司治理準則》關注董事會對公司的數(shù)據(jù)治理,《銀行業(yè)保險業(yè)數(shù)字化轉型的指導意見》指導銀行和保險業(yè)基于數(shù)據(jù)資產(chǎn)和數(shù)字化技術的金融創(chuàng)新,《銀行保險監(jiān)管統(tǒng)計管理辦法》在銀行業(yè)執(zhí)行的是 EAST 5.0 標準,保險業(yè)也已經(jīng)是 EAST 2.0 標準,對數(shù)據(jù)質量和數(shù)據(jù)管理的要求非常高,監(jiān)管通過 EAST 報送數(shù)據(jù)發(fā)現(xiàn)企業(yè)經(jīng)營的問題,如果發(fā)現(xiàn)問題,會引發(fā)處罰。
與此同時,企業(yè)內部也需要數(shù)據(jù)質量更高、更可信的數(shù)據(jù),業(yè)務部門對數(shù)據(jù)的時效性、數(shù)據(jù)報表的上線速度要求越來越高。在成立 30 多年的平安人壽,業(yè)務團隊更替頻繁,新加入的業(yè)務人員希望更快學習和了解公司的業(yè)務,這就需要更便捷和更易用的數(shù)據(jù)服務體系。
2. 企業(yè)數(shù)據(jù)管理面臨的問題
在數(shù)據(jù)應用和管理實踐中,由于我們積累了成百上千的報表,業(yè)務人員經(jīng)常會遇到數(shù)據(jù)找不到、數(shù)據(jù)口徑不一致的情況,業(yè)務、技術的溝通成本相當高。在沒有建立成熟的數(shù)據(jù)管理體系之前,面對“有什么數(shù)據(jù)、有多少數(shù)據(jù)”這樣的問題,無法形成統(tǒng)一、有效的答案,我們往往只能回答一個量級(如 10 PB),或者覆蓋銷售渠道、保單、財務、人事、投資等領域。平安人壽的科技團隊包括業(yè)務系統(tǒng)開發(fā)、數(shù)據(jù)系統(tǒng)開發(fā)、AI 技術開發(fā),這就需要明確團隊的邊界、職責和協(xié)作關系。數(shù)據(jù)具有流動的特點,可能在不同的系統(tǒng)中有著相同的拷貝,某一個環(huán)節(jié)出現(xiàn)問題時,經(jīng)常不知道應該找誰來解決。
3. 數(shù)據(jù)治理與數(shù)據(jù)管理的關系
關于數(shù)據(jù)治理與數(shù)據(jù)管理的區(qū)別,可以通過如下關系圖來理解。數(shù)據(jù)開發(fā)是數(shù)據(jù)生產(chǎn)端,如個人 APP、保單承保系統(tǒng),而數(shù)據(jù)應用則是數(shù)據(jù)消費端,包括大數(shù)據(jù)平臺、數(shù)據(jù)倉庫、BI 報表等。當應用發(fā)現(xiàn)原始數(shù)據(jù)質量有問題,或者要求源系統(tǒng)改進質量、提升效率,或者要求打通數(shù)據(jù)權限,這就需要通過數(shù)據(jù)管理機制打通開發(fā)到應用的鏈路,類似制造業(yè)的生產(chǎn)線管理、庫存管理、質量管理等。
當數(shù)據(jù)管理的機制無法推進,就需要通過數(shù)據(jù)治理的介入。數(shù)據(jù)治理的核心作用包括企業(yè)級建章建制、企業(yè)頂層設計、打通各部門壁壘、推動流程優(yōu)化,從而建立公司的數(shù)據(jù)管理能力。
4. 數(shù)據(jù)治理面臨的挑戰(zhàn)
在 2020 年接手數(shù)據(jù)治理時,我們面臨諸多挑戰(zhàn)。
第一,系統(tǒng)和數(shù)據(jù)庫近千個,數(shù)據(jù)表十萬級,數(shù)據(jù)字段千萬級,我們需要進行全面的數(shù)據(jù)盤點,識別資產(chǎn),明確質量、安全(分級分類)的要求,可以預見工作量巨大。
第二,面對增量數(shù)據(jù)問題,不管是業(yè)務還是開發(fā),都會積極去彌補,而面對歷史數(shù)據(jù)問題,相關的責任方因為各種主客觀原因很難全力以赴。如果涉及監(jiān)管報表的數(shù)據(jù)問題得不到及時解決,公司將面臨監(jiān)管部門處罰,團隊壓力巨大。此外,隨著 AI、大模型技術發(fā)展,非結構化和半結構化數(shù)據(jù)相關的應用越來越多,對這部分數(shù)據(jù)的價值亟需啟動研究。
第三,面向業(yè)務交付,會涉及到很多干系人,我們發(fā)現(xiàn)問題,無論是通過點狀治理,還是通過典型問題推動全面的治理,都無法保證未來不再出現(xiàn)同類問題,治標不治本。
第四,數(shù)據(jù)治理和數(shù)據(jù)工具的工具相對而言是底層工具,在降本的壓力之下,難以得到預算支持。缺乏工具,推進治理工作將面臨非常大的阻力。
第五,意識問題是推動數(shù)據(jù)治理面臨的最大挑戰(zhàn),如果崗位職責沒有約定,團隊普遍缺乏認領數(shù)據(jù)責任的勇氣和主動性。因為數(shù)據(jù)是技術開發(fā)、系統(tǒng)里產(chǎn)生,所以業(yè)務人員更容易形成的理解是數(shù)據(jù)應該由技術團隊負責。
下面,將全面介紹平安人壽的數(shù)據(jù)管理實踐。
二、平安人壽數(shù)據(jù)管理實踐
1. 數(shù)據(jù)管理框架
我們參考中國信通院編制的《數(shù)據(jù)資產(chǎn)管理實踐白皮書》6.0 版本、國標的 DCMM 數(shù)據(jù)管理能力成熟度評估模型、國際上通行的 DAMA 知識體系等三個理論建立了平安人壽的數(shù)據(jù)管理框架。數(shù)據(jù)管理實施規(guī)劃的目標是建立數(shù)據(jù)資產(chǎn)管理體系,提升數(shù)據(jù)管理能力,滿足公司數(shù)字化轉型和監(jiān)管的要求,圍繞這個目標,我們開展多項工作,如大家熟悉的元數(shù)據(jù)、數(shù)據(jù)標準、數(shù)據(jù)質量等管理活動,并建立健全企業(yè)各項保障機制,共涉及 16 項活動。
在推進落實的過程中,我們數(shù)據(jù)治理團隊是常態(tài)化治理的主責單位,將治理融入業(yè)務和技術部門的日常工作中。同時,我們也會推進重點專項治理,以便迅速產(chǎn)出成果。
2. 數(shù)據(jù)管理活動分類
前面提到的 16 項管理活動,我們將其分為結果類(如數(shù)據(jù)質量、數(shù)據(jù)安全和數(shù)據(jù)價值)、過程類(元數(shù)據(jù)、數(shù)據(jù)標準等)和基礎類(保障類活動),這些活動的協(xié)同,可以讓數(shù)據(jù)工作開展起來更容易抓住重點、區(qū)分主次。
3. 數(shù)據(jù)管理組織架構
如果大家看過 DAMA,都知道數(shù)據(jù)治理是一把手工程,涉及部門眾多。我們在組織層面成立了數(shù)據(jù)治理委員會,將公司高層全部納入,整體工作向他們匯報,請他們指導。監(jiān)管部門的要求則是要求董事會給予指導,那么在保險行業(yè)推動這個委員會的設立更加順理成章。
數(shù)據(jù)治理委員會下設數(shù)據(jù)治理工作組,總部業(yè)務團隊有五個中心(事業(yè)部),大約 60 多個部門,而科技有八個團隊,為了提高工作效率,由各部門出代表組建工作組,每個代表至少是團隊長級別或部門經(jīng)理級別,借助他們的力量才能將相應工作往下推。執(zhí)行團隊中業(yè)務和技術都要參與,每個部門至少配置一名資深員工和分組經(jīng)理,總共 200 多名執(zhí)行層成員。
4. 數(shù)據(jù)管理工作模式
組織建立后,要保障組織的運作,需要明確運作模式。DAMA 理論上提出了集中式、聯(lián)邦式(或網(wǎng)絡式)、混合式等,我們選擇了“網(wǎng)絡式”,這是因為監(jiān)管要求我們業(yè)務、數(shù)據(jù)和安全都要落實到人,每個部門要承擔自己的數(shù)據(jù)管理工作。那么如何來保障這個虛擬組織的有效運作呢?我們通過會議或者督辦機制來推進,設立了面向高層領導的年度匯報、工作組執(zhí)行的雙月匯報和不定期匯報的三級會議機制。
此外,需要注意的是,在保險公司有很多存在交叉的類似虛擬組織,如信息安全委員會、個人信息保護委員會、企業(yè)架構治理委員會等,我們需要將邊界和協(xié)作關系理順。
5. 數(shù)據(jù)管理角色
我們設計了三類角色來保障數(shù)據(jù)管理工作的有效推動:
- 運動員:各業(yè)務和技術部門就是“運動員”,負責提升本部門的數(shù)據(jù)管理能力;
- 教練員:研究行業(yè)最佳實踐,結合本公司特點,思考有效的實施方案和路徑,提出要求并指導“運動員”開展工作;
- 裁判員:監(jiān)督各部門落實情況,針對各部門管理工作進行考核評價。
6. 數(shù)據(jù)管理制度
在保險這樣的傳統(tǒng)行業(yè),特別是平安集團,對制度非常看重。沒有制度約束,部門就沒有執(zhí)行的標準,各部門容易相互推諉。制度的建立也有助于新人學習和掌握公司的要求。我們建立了覆蓋六大域(基礎治理、數(shù)據(jù)質量、數(shù)據(jù)安全、數(shù)據(jù)開發(fā)、數(shù)據(jù)價值、監(jiān)管報送)的四層管理制度體系,分別是:
- 政策:企業(yè)的頂層設計,類似憲法;
- 制度:分領域建立一些通用的要求和規(guī)則;
- 辦法:各領域或各部門根據(jù)自身管理要求,基于上層制度去制定的具體的實施流程和要求;
- 規(guī)范:類似開發(fā)規(guī)范、命名規(guī)范和操作指引這樣的實施指南。
7. 數(shù)據(jù)確權認責
前面我們提到意識問題,要解決這個問題,就需要將數(shù)據(jù)的責任分配給對應的業(yè)務和技術。在平安人壽,我們設計了一個認責三角形,分別是數(shù)據(jù)屬主、數(shù)據(jù)消費者和數(shù)據(jù)管家。這里八個經(jīng)驗值得分享:
- 業(yè)務與科技角色:業(yè)務是屬主和消費者,科技是類似物業(yè)的管家。
- 業(yè)務和科技的協(xié)作角色:數(shù)據(jù)生產(chǎn)部門是屬主,而類似企劃這樣的分析部門就是消費者;一個部門分析出指標數(shù)據(jù),他們是屬主,但是同時也是其他數(shù)據(jù)(如交易明細)的消費者;科技團隊之間也同樣存在這樣的協(xié)作關系,如源系統(tǒng)是屬主、下游是消費者。
- 歷史數(shù)據(jù)和增量數(shù)據(jù)認責:面對十萬級別的數(shù)據(jù)表,千萬級別的數(shù)據(jù)字段,針對歷史數(shù)據(jù)和增量數(shù)據(jù),需要采取不同的方法。
- 統(tǒng)一認責原則與方法:建立統(tǒng)一的認責方法,然后快速處理,避免簡單要求執(zhí)行部門去個性化判斷。
- 對數(shù)據(jù)進行分類。
- 統(tǒng)一識別、分步確認。
- 充分利用組織和高層,推動快速決策。
8. 元數(shù)據(jù)管理
成功的元數(shù)據(jù)管理關鍵在于理念,首先要實現(xiàn)集中管理,避免在元數(shù)據(jù)上出現(xiàn)“煙囪”。其次,要積極完善缺失的元數(shù)據(jù),包括監(jiān)管要求的分類分級信息,同時要考慮將元數(shù)據(jù)與主數(shù)據(jù)(產(chǎn)品、客戶等)、指標業(yè)務定義等拉通。在“用”這個環(huán)節(jié),元數(shù)據(jù)對應用的支撐意義重大,特別是 ChatBI 這樣的 AI 應用,要將業(yè)務自然語言轉換為 SQL 去執(zhí)行,很大程度上依賴于元數(shù)據(jù)是否準確。
9. 數(shù)據(jù)質量管理
質量管理的方法非常成熟,需要注意的是,改進質量的責任在源頭、在屬主,消費者是數(shù)據(jù)質量的受害者,同時也是數(shù)據(jù)質量的受益者。當屬主沒有動力去改進質量時,可以通過行政命令、制度約束等第三方監(jiān)督來驅動,不僅要治標,還要關注治本,要推動責任部門將檢視機制完善,成為日常習慣。這個案例是通過一個專項來提升質量,可以聚焦重點、有價值的數(shù)據(jù)去保障質量,不是必須對所有的數(shù)據(jù)同等對待。
10. 數(shù)據(jù)安全管理
數(shù)據(jù)安全管理是一項基礎工作,平安人壽的這項工作是在平安的信息安全組織下來保障安全。我們將數(shù)據(jù)資產(chǎn)盤點出來,并做好分類分級,利用結果執(zhí)行加密脫敏,最終在應用數(shù)據(jù)時,要能夠輔助業(yè)務和科技判斷數(shù)據(jù)的安全等級、控制策略。平安有個基本要求,就是敏感信息不出平安,這就是分類分級的一個標簽。
11. 數(shù)據(jù)能力體系
有效的數(shù)據(jù)管理,可以將所有數(shù)據(jù)都開發(fā)成企業(yè)的數(shù)據(jù)能力,最終賦能給業(yè)務。
12. 數(shù)據(jù)管理機制加工具
數(shù)據(jù)管理工作中,機制與工具都很重要。如果單有工具,沒有機制,沒有意識,效果不會很好,阻力也很大,數(shù)據(jù)管理成效無法凸顯。從科技團隊角度,技術很先進,但是在業(yè)務應用卻看不到效果,無法落實。在數(shù)據(jù)治理初期,機制比工具更重要,先把機制、管理職責、能力強化之后,再配套相應的工具。當大家都接受數(shù)據(jù)管理的理念后,再輔以工具提升效率,推進的阻力就沒有那么大。
13. 第三方評估
平安人壽從 2020 年開始先推進自我評級,通過幾年的建設,我們 2023 年通過第三方評估獲得 DCMM 4 認證,后續(xù)我們的目標是通過第 5 級。第三方能力評級有助于客觀檢驗我們的數(shù)據(jù)管理工作的優(yōu)劣,發(fā)現(xiàn)短板并及時彌補。
14. 數(shù)據(jù)中臺專項治理
我們通過一些專項治理不斷提升數(shù)據(jù)中臺的能力,下圖是我們設計的評估指標。
我們用事前、事中、事后三個角色指導整體工作開展。
我們在大的框架下針對中臺去完善第三層辦法、第四層規(guī)范。
做好制度之后,我們秉承平安“制度建在流程上,流程建在工具上”這一文化,將制度和流程落實在工具上,要求大家執(zhí)行。
最后,我們也會針對中臺的數(shù)據(jù),使用 6V 模型進行質量評估,如發(fā)現(xiàn)部分質量有問題,會通過專項去提升諸如客戶信息、客戶標簽等公司最核心的指標的質量。
三、平安人壽數(shù)據(jù)管理展望
1. 非結構化/半結構化數(shù)據(jù)管理的持續(xù)探索
我們前面提到了大量的非結構化、半結構化數(shù)據(jù),如何去管理,如何去用好,還需要持續(xù)探索。最近頭條上的大模型訓練數(shù)據(jù)被實習生“投毒”事件引發(fā)的損失據(jù)說很大,今后大模型應用的數(shù)據(jù)集如何去管理,需要我們高度重視,逐漸完善。
2. 數(shù)據(jù)資產(chǎn)化
國家已經(jīng)提出了數(shù)據(jù)資產(chǎn)入表,目前我們還是在數(shù)據(jù)資源化到資產(chǎn)化的階段,未來要走到資本化,讓我們的數(shù)據(jù)變成企業(yè)的數(shù)據(jù)資產(chǎn),這也是我們后面的目標。
3. 心得分享
最后分享一些心得。治理一定要先行,這是打基礎的工作,即便領導層目前看不到,我們也需要默默地做好,逐步在數(shù)據(jù)價值上體現(xiàn),以質量更高、更準地數(shù)據(jù)促進企業(yè)地工作更有效。數(shù)據(jù)治理是個長期復雜的工程,建議大家高處著眼、做好規(guī)劃,細處用功、指導相關責任方尋找突破點,最后不惜代價解決問題、實處用力。
四、Q&A
Q1:如何形成方案來推動數(shù)據(jù)治理委員會的成立?
A1:我們去推動成立數(shù)據(jù)治理組織的時候,強調如下價值點,以便讓領導認為成立組織有必要性:
第一個是外部的要求,如我們金融保險行業(yè)有監(jiān)管的要求,公司必須組建立健全數(shù)據(jù)治理體系;
第二個是尋找內部能讓領導有感覺的數(shù)據(jù)問題,如高層領導看到的指標,有業(yè)務領導認為指標口徑不一致。
Q2:認責或者認權的過程中,各部門包括戰(zhàn)略、企劃或者其他角色去配合,IT 部門和他們具體是如何配合的?
A2:雖然身在科技,但是我做的事情,但是實際上以公正、第三方的角度去做,不是純 IT 的思想。首先,確立統(tǒng)一的認責方法和原則,然后利用一些專家評判,如果覺得可以操作,就利用這個組織(如我提到的工作組)將要求下達執(zhí)行。
Q3:處于創(chuàng)業(yè)階段的公司,暫時做不到從架構和制度上自上而下做一個頂層設計,目前是從需求和業(yè)務側去做一些點狀的治理,還是更適合從第三方去才買一個成熟的治理平臺來指引數(shù)據(jù)治理工作?
A3:首先關注科技和業(yè)務的配合程度、數(shù)據(jù)問題牽涉的廣度,如果只是一個科技和業(yè)務或者幾個業(yè)務溝通就可以解決,這就沒有必要使用復雜的平臺,但是如果已經(jīng)成為普遍現(xiàn)象,就需要去考慮。
其次,完善相關機制,明確利益相關者,比如該監(jiān)控的必須監(jiān)控、源頭要做校驗、歷史數(shù)據(jù)修復策略等等。
此外,關于工具,取決于大家是否接受這個工具,如果你和業(yè)務配合很到位,很多問題可以直接快速處理,不一定非要使用復雜流程和工具。平安很大,我們有 50 多個部門,有 10 個開發(fā)團隊,且監(jiān)管對流程要求也比較高,所以使用工具來運行流程、監(jiān)督流程才有可能提高效率。