金融數(shù)據(jù)治理實踐與思考
導(dǎo)讀:結(jié)合當(dāng)前業(yè)界數(shù)據(jù)治理的現(xiàn)狀、背景、框架,我們可能希望了解一個從 0~1的數(shù)據(jù)治理架構(gòu)體系怎么做。也有朋友會有疑問:數(shù)據(jù)治理的管理、域間組合和協(xié)同,他們是什么樣的一個關(guān)系,該怎么樣去開展?另外,在這幾年的金融行業(yè)的數(shù)據(jù)治理過程中,有哪些具體的實踐?為了幫助大家解決這些困擾,本文將對金融數(shù)據(jù)治理的實踐與思考,做一個梳理和總結(jié)。
今天的介紹主要分為 4 個部分:
- 金融數(shù)據(jù)治理背景
- 數(shù)據(jù)治理架構(gòu)體系
- 數(shù)據(jù)治理管理域間組合與協(xié)同
- 數(shù)據(jù)治理新實踐和思考
一、金融數(shù)據(jù)治理背景
首先和大家分享下金融數(shù)據(jù)治理的背景。
金融行業(yè)在整個數(shù)據(jù)治理領(lǐng)域里,跟政企一樣,其數(shù)據(jù)治理比較領(lǐng)先。原因在于兩個必不可少的因素:外驅(qū)和內(nèi)驅(qū)。
1、外驅(qū)
第一個因素就是外驅(qū),外部是如何要求的。
首先在國家層面:涉及數(shù)據(jù)安全、個人信息保護法、網(wǎng)絡(luò)安全。除此之外,整個國家把它提升到數(shù)據(jù)安全和數(shù)據(jù)流動的高度,包括現(xiàn)在的數(shù)據(jù)交易所,我們可以看到越來越多的數(shù)據(jù)治理相關(guān)方在數(shù)據(jù)使用、數(shù)據(jù)價值的參與,那國家也希望在數(shù)據(jù)安全得到保護的情況下,盡可能地釋放數(shù)據(jù)的流通。另外是行業(yè)層面,在上述外部環(huán)境之下,銀行業(yè)和證券業(yè)有自己獨特的一些特性。
在銀行業(yè)而言,近期它有三個比較大的變化,或者叫衍生路線:
- 一是從縱向轉(zhuǎn)為橫向的拓展:在數(shù)據(jù)治理的領(lǐng)域,從一個專業(yè)的領(lǐng)域,不斷地上升到對體系化的要求。
- 二是在業(yè)務(wù)領(lǐng)域的范圍的拓寬:從原來的風(fēng)險領(lǐng)域,不斷擴展到對業(yè)務(wù)領(lǐng)域的要求。
- 三是罰單展現(xiàn)重要性。通過這些罰單可以看到:數(shù)據(jù)治理是監(jiān)管工作的基礎(chǔ)。
那么對于證券業(yè)而言,它會聚焦在兩個點:
- 全面風(fēng)險管理。
- 2021年發(fā)布的《證券期貨業(yè)科技發(fā)展“十四五”規(guī)劃》:它明確將數(shù)據(jù)治理納入了八大重點任務(wù)之一。
可以看到,這里不再是一個單方面的跟其他金融科技發(fā)展不相關(guān)的事情,而是一個十分重要的任務(wù)底座。
2、內(nèi)驅(qū)
對于內(nèi)部而言,有什么樣的驅(qū)動力去做數(shù)據(jù)治理呢?本文主要分以下三點來闡述。
- 數(shù)字化轉(zhuǎn)型基礎(chǔ)
- 業(yè)務(wù)發(fā)展需要
- 數(shù)據(jù)疑點和痛點
(1)數(shù)字化轉(zhuǎn)型基礎(chǔ)
在十四五規(guī)劃提出來之后,數(shù)據(jù)要素站上了這個歷史的舞臺。
(2)業(yè)務(wù)發(fā)展需要
對于企業(yè)內(nèi)部而言,也有業(yè)務(wù)發(fā)展的需求:
一是提升客戶的這個體驗度和滿意度,比如說打通堵點,提前發(fā)掘客戶的一些需求。
二是在風(fēng)險的預(yù)警和識別上,包括貫穿整個業(yè)務(wù)和客戶全生命周期的風(fēng)險管理。
三是在效益上,希望通過數(shù)據(jù)和智能化來輔助經(jīng)營決策。最終的目標(biāo)是希望通過數(shù)字,把數(shù)據(jù)治理作為數(shù)字化轉(zhuǎn)型的基礎(chǔ)去構(gòu)建。
(3)數(shù)據(jù)的難點和痛點
我們所面對的數(shù)據(jù)相關(guān)的一些難點和痛點也驅(qū)動著我們?nèi)プ鰯?shù)據(jù)治理,主要包括:
一是數(shù)據(jù)孤島,它阻礙了數(shù)據(jù)的內(nèi)部共享。
二是數(shù)據(jù)質(zhì)量難以去輔佐和支撐業(yè)務(wù)的發(fā)展。
三是如何平衡數(shù)據(jù)的流通和數(shù)據(jù)的安全,如何去落地。
四是如何多方協(xié)同治理。現(xiàn)在很多金融企業(yè)在做數(shù)據(jù)治理,把它當(dāng)作一次性的工作和數(shù)據(jù)資產(chǎn),難以持續(xù)化的運營?,F(xiàn)狀是金融行業(yè)數(shù)據(jù)治理需要多方參與,每一個企業(yè)都需要進行數(shù)字化轉(zhuǎn)型,每個企業(yè)的數(shù)字化轉(zhuǎn)型要求各不相同,如何把他們共同協(xié)同起來,共同建設(shè)數(shù)據(jù)治理的基礎(chǔ),這也是金融行業(yè)所面臨的一個痛點和難點。
二、數(shù)據(jù)治理架構(gòu)體系
在上述背景之下,接下來看一下如何從 0 到 1 構(gòu)建數(shù)據(jù)治理的架構(gòu)。主要分以下 2 點來闡述。
- 數(shù)據(jù)治理的理念、目標(biāo)和實施路徑
- 實施支撐
(1)數(shù)據(jù)治理的理念、目標(biāo)和實施路徑
凡事要先立,也就是是數(shù)據(jù)治理的理念目標(biāo)和實施路徑,要非常明確。
數(shù)據(jù)治理的目標(biāo)有三個“化”:首先是資產(chǎn)化,第二是價值化,第三是智能化。
- 數(shù)據(jù)治理的資產(chǎn)化
將原有的數(shù)據(jù)資源進行資產(chǎn)化,即將企業(yè)的數(shù)據(jù)資產(chǎn)進行盤點,對企業(yè)的數(shù)據(jù)資源目錄進行整合,然后形成以數(shù)據(jù)資產(chǎn)為核心的數(shù)據(jù)治理的活動。
- 數(shù)據(jù)治理的價值化
基于前面已經(jīng)資產(chǎn)化的內(nèi)容,把一些良好的資產(chǎn)進行價值的輸出,比如說讓數(shù)據(jù)資產(chǎn)進行流通。其釋放了流通價值,數(shù)據(jù)資產(chǎn)在反哺業(yè)務(wù),形成了數(shù)據(jù)資產(chǎn)的二次價值。所以數(shù)據(jù)資產(chǎn)其實是可以釋放多重價值。
- 數(shù)據(jù)治理數(shù)據(jù)的智能化
構(gòu)建智能化的數(shù)據(jù)生態(tài),提升企業(yè)的整體競爭力,包括構(gòu)建全鏈接全場景全智能的數(shù)字世界——這是對于各個行業(yè)而言,都希望最終能達到的目標(biāo)。
在以上目標(biāo)之下,實施路徑包括三個核心點:
第一點是逐步推進,分階段有重點,抓住主要矛盾,集中資源去貼近業(yè)務(wù),尋找數(shù)據(jù)治理的突破口。
第二點是以始為終,像我們?nèi)ダ斫膺@個OKR一樣,需要以結(jié)果去反推過程,以目標(biāo)為導(dǎo)向去開展實施。
第三點是機制的系統(tǒng)化。數(shù)據(jù)治理不是一次性的工作,需要根據(jù)企業(yè)的現(xiàn)狀進行機制的系統(tǒng)化和落地。這部分后面再詳細(xì)講一下具體的機制化系統(tǒng)化是如何去落地的。
(2)實施支撐
具體在實操過程中,實施支撐應(yīng)該怎么樣去做呢?整體是自上而下地規(guī)劃。首先一定要去明確企業(yè)的藍圖綱領(lǐng)是什么意思,就是我們最終做數(shù)據(jù)治理這項工作對企業(yè)而言意味著什么?可以說,每個企業(yè)的期望,在大的層面是相同的,小的層面是不同的,所以需要以綱領(lǐng)去指導(dǎo)整個制度方面和方針層面的一些工作思路,并對制度進行細(xì)化,再落到流程上去約束和指導(dǎo)實操。最終要實踐這個流程,需要落地到平臺支撐上。
- 制度:方針
從制度和方針看,這里著重說三點:
第一點是在整個制度的建設(shè)上,有了藍圖和綱領(lǐng),內(nèi)容也需要持續(xù)的跟蹤。
第二點是需要去建立量化的評價指標(biāo)。
第三個是關(guān)鍵的一點,在最開始做這個工作的時候,要建立權(quán)責(zé)機制。
接下來,流程實踐需要哪些對應(yīng)的保障措施呢?
第一點是治理文化。這包括培訓(xùn)、公眾號,也包括我們經(jīng)常講到要讓我們的業(yè)務(wù)員和技術(shù)人員有滿足感,建立自己的數(shù)據(jù)技能的梯隊。
第二點是在組織保障,即三層組織架構(gòu)管理,戰(zhàn)略、管理、執(zhí)行。在這個過程中運用好核心是要把握住我們的柔性組織,建立全方位、跨部門、跨層級的組織柔性組織,并且把成員的優(yōu)化和成員的定位及時告知每一個角色,讓大家各司其職。
第三點就是考核與激勵。從制度層面看,大部分的金融企業(yè)在考核層面有一定的難度,但考核與激勵是保障整個數(shù)據(jù)認(rèn)責(zé)體系的有效執(zhí)行,以及數(shù)據(jù)治理各個管理域的工作落實到位的核心手段。
- 平臺工具支撐
從平臺支撐方面看,有核心的兩點需要去注意:
第一點:標(biāo)準(zhǔn)化與定制化的落地關(guān)系
很多金融原生企業(yè),之前也采購過一些平臺,現(xiàn)在它無法跟其他數(shù)據(jù)管理域進行連接。這種情況,應(yīng)該怎么做?數(shù)據(jù)治理平臺工具支撐,它其實不是光選擇標(biāo)準(zhǔn)化的治理模塊就可以解決的問題,核心是要把定制化流程進行落地。我們把這套機制設(shè)計出來之后,要在沒有人干預(yù)的情況下有效地落實。其實核心靠的就是平臺自己自動化地把我們這部分的治理思路進行落地。
第二點:平臺內(nèi)容建設(shè)的需求與供給
我們可能也經(jīng)常會被財務(wù)問:為什么我們平臺建設(shè)花了這么多錢之后,數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)這一層面沒有還沒有形成有效的價值輸出?
平臺建設(shè)完之后,它的內(nèi)容建設(shè)也極其關(guān)鍵。內(nèi)容建設(shè)方面,是需求側(cè)和供給側(cè)的雙輪驅(qū)動。在供給側(cè),平臺建設(shè)團隊會以產(chǎn)品的思維提出建設(shè)方向;在需求側(cè),是以用處置提供融合的場景去填充我們平臺的內(nèi)容。
以上,是實施支撐方面。
三、數(shù)據(jù)治理管理域間組合與協(xié)同
數(shù)據(jù)治理的各個管理域之間,會產(chǎn)生一種協(xié)同力量。三個模塊可以建,而單個模塊建完則效果不佳,核心是因為各個模塊之間有相關(guān)能力的組合。DAMA 的 10 個領(lǐng)域的規(guī)劃,是有一定目的的,包括企業(yè)在從 0 到 1 搭建數(shù)據(jù)治理體系時,哪些模塊要選,哪些模塊不選,這個時候我們要貼合我們的企業(yè)去定制化地選擇模塊,并且把它們打造成一種能產(chǎn)生組合力的、協(xié)同的、數(shù)據(jù)治理領(lǐng)域的工作。
這里面有個關(guān)鍵點,根據(jù)當(dāng)前工作經(jīng)歷的啟示,模型設(shè)計、元數(shù)據(jù)管理、研發(fā)實施、質(zhì)量監(jiān)控、安全管理、數(shù)據(jù)服務(wù)等數(shù)據(jù)全生命周期的實施,需要一個可以實現(xiàn)端流程的端到端的一體化管控平臺。
上圖展示了各數(shù)據(jù)管理域之間的關(guān)系。
- 數(shù)據(jù)標(biāo)準(zhǔn)如何落地?
把數(shù)據(jù)資源進行清洗和加工,資產(chǎn)化之后,會形成基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)、標(biāo)簽數(shù)據(jù)標(biāo)準(zhǔn)。
在數(shù)據(jù)標(biāo)準(zhǔn)之下,如何把它進行落地?需要落在元數(shù)據(jù)上,包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)等。
如果一個新的項目來,要新注冊元數(shù)據(jù)。通過鏈接的過程將元數(shù)據(jù)與數(shù)據(jù)標(biāo)準(zhǔn)進行關(guān)聯(lián),這個過程就是數(shù)據(jù)標(biāo)準(zhǔn)落地。
- 如何保障數(shù)據(jù)標(biāo)準(zhǔn)有效落地?
數(shù)據(jù)質(zhì)量規(guī)則的依據(jù)來源核心是數(shù)據(jù)標(biāo)準(zhǔn)。如何保障數(shù)據(jù)標(biāo)準(zhǔn)被落地以及被執(zhí)行呢?通過數(shù)據(jù)質(zhì)量的情況進行一個檢查,這就是數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)以及數(shù)據(jù)質(zhì)量之間的關(guān)系。數(shù)據(jù)質(zhì)量的每一條核驗規(guī)則寫到每一個字段上、每一條元數(shù)據(jù)上。關(guān)于數(shù)據(jù)標(biāo)準(zhǔn)、存量的元數(shù)據(jù)的治理,對于新增的這部分,我們怎么樣從源頭上能保證我們數(shù)據(jù)標(biāo)準(zhǔn)的被有效的執(zhí)行呢?
常用的一種手段叫數(shù)據(jù)模型,包括物理模型與數(shù)據(jù)標(biāo)準(zhǔn)的過程鏈接和落地,從而保證數(shù)據(jù)模型是可以從源頭上進行管理的。數(shù)據(jù)標(biāo)準(zhǔn)同時又作為一種輸出,支撐數(shù)據(jù)模型。
- 數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn)跟數(shù)據(jù)安全是什么關(guān)系?
關(guān)于數(shù)據(jù)標(biāo)準(zhǔn),我們經(jīng)常會講的一個核心理念就是數(shù)據(jù)的分類分級。對進行數(shù)據(jù)分類,進行數(shù)據(jù)分析,把分類規(guī)則輸出給數(shù)據(jù)安全。
在數(shù)據(jù)安全之外,經(jīng)常有一部分企業(yè)在最開始開展數(shù)據(jù)治理時,是通過元數(shù)據(jù)、主數(shù)據(jù)的治理來開展。主數(shù)據(jù)是什么?有些核心的高價值的數(shù)據(jù)會形成主數(shù)據(jù),數(shù)據(jù)標(biāo)準(zhǔn)會通過體系的支撐給到主數(shù)據(jù)。同時因為主數(shù)據(jù)在實際應(yīng)用的規(guī)程中,對數(shù)據(jù)標(biāo)準(zhǔn)的使用進行反饋和優(yōu)化。
關(guān)于數(shù)據(jù)架構(gòu)管理。輸出一些數(shù)據(jù)的技術(shù)標(biāo)準(zhǔn)給到數(shù)據(jù)模型,同時數(shù)據(jù)模型會把高價值的數(shù)據(jù)資產(chǎn)輸出給數(shù)據(jù)架構(gòu)管理,這就是數(shù)據(jù)治理與數(shù)據(jù)管理域的關(guān)系。
- 數(shù)據(jù)應(yīng)用與服務(wù)
把數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全這些建好之后,接下來要進行能力的輸出。能力的輸出是給到數(shù)據(jù)應(yīng)用、數(shù)據(jù)服務(wù)。
數(shù)據(jù)應(yīng)用里面的第一個抓手是數(shù)據(jù)需求管理:一是為了更好地促進數(shù)據(jù)共享;二是明確數(shù)據(jù)服務(wù)規(guī)范,數(shù)據(jù)需求不斷地遵循和適應(yīng)規(guī)范,同時數(shù)據(jù)服務(wù)要反向適應(yīng)需求——這是一個不斷的循環(huán)的過程。而最終目標(biāo)是進行出口的統(tǒng)一管理。
前面講了從上層戰(zhàn)略到底層平臺的支撐,接下來從元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用與服務(wù)幾方面來總結(jié)一下各大管理域落地的核心點。
- 元數(shù)據(jù)的落地核心點
元數(shù)據(jù)落地的目標(biāo)是建立元數(shù)據(jù)的數(shù)據(jù)倉庫和產(chǎn)品化。核心關(guān)鍵點是域間管理的核心抓手,需要業(yè)務(wù)和技術(shù)協(xié)同完成。
- 數(shù)據(jù)標(biāo)準(zhǔn)的落地核心點
目標(biāo)是統(tǒng)一數(shù)據(jù)語言,統(tǒng)一約束。
核心關(guān)鍵點有三個。
一是高優(yōu)先級:例如一部分金融企業(yè)可能只做了數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量,他們認(rèn)為數(shù)據(jù)標(biāo)準(zhǔn)是開展數(shù)據(jù)治理活動的核心的前提。
二是獨立性:可以只做數(shù)據(jù)標(biāo)準(zhǔn)。把口徑搞清楚,把一些關(guān)鍵的語言統(tǒng)一出來,就可以。
三是關(guān)聯(lián)性:前面聊到了跟數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量等有非常多的關(guān)聯(lián)關(guān)系,如果把關(guān)聯(lián)關(guān)系同時打通,共同協(xié)作去做,它可發(fā)揮的價值遠遠不是第一層只做出標(biāo)準(zhǔn)所發(fā)揮出的價值。
- 數(shù)據(jù)質(zhì)量的落地核心點
數(shù)據(jù)質(zhì)量是保證為數(shù)據(jù)分析業(yè)務(wù)決策提供高質(zhì)量的數(shù)據(jù),保證數(shù)據(jù)的有效性。
落地的核心關(guān)鍵點包括:
一是建立數(shù)據(jù)質(zhì)量的評分卡。
二是進行源頭治理。如果僅僅是在數(shù)倉內(nèi)對處理完的數(shù)據(jù)進行治理,比如數(shù)據(jù)質(zhì)量的提升僅在倉內(nèi)開展,這是遠遠不夠的。本質(zhì)上數(shù)據(jù)從業(yè)務(wù)端開始,從系統(tǒng)端開始,它的數(shù)據(jù)還是有問題的,沒有本質(zhì)去解決問題,所以源頭治理也是核心關(guān)鍵點。
三是數(shù)據(jù)質(zhì)量的分級處置:根據(jù)不同的數(shù)據(jù)問題,不同的數(shù)據(jù)的重要性,設(shè)置對應(yīng)的數(shù)據(jù)質(zhì)量處理方案。
四是認(rèn)責(zé)機制。其實這也是整個數(shù)據(jù)治理工作開展的核心,可以保障質(zhì)量問題的發(fā)現(xiàn)追蹤和解決。
- 數(shù)據(jù)模型的落地核心點
目標(biāo):提供這個數(shù)據(jù)使用的交換效率和業(yè)務(wù)的可理解性。
核心關(guān)鍵:對證券行業(yè)而言,有發(fā)布的證券期貨Store模型,大部分的企業(yè)都在對store模型進行各種各樣的本地化。
- 數(shù)據(jù)安全的落地核心點
目標(biāo):有效的保護和合法利用,釋放數(shù)據(jù)流動所產(chǎn)生的價值。
核心關(guān)鍵點:數(shù)據(jù)治理應(yīng)該做的工作,包括數(shù)據(jù)的分類分級、數(shù)據(jù)的權(quán)限審批、數(shù)據(jù)的隔離和數(shù)據(jù)脫敏。
- 數(shù)據(jù)應(yīng)用與服務(wù)的落地核心點
緊貼業(yè)務(wù)價值,需要進行數(shù)據(jù)資源的資產(chǎn)化,通過數(shù)據(jù)資產(chǎn)去支撐更多的業(yè)務(wù)場景。
這里羅列了 5個經(jīng)常遇到的問題。
1、元數(shù)據(jù)可不可以不做?
剛才講到一部分企業(yè)其實只做數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量,好像元數(shù)據(jù)從來都是IT 的活。數(shù)據(jù)似乎可有可無,但元數(shù)據(jù)是承載一切的,包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量,還有數(shù)據(jù)模型、數(shù)據(jù)安全全部承載在上面。如果不做元數(shù)據(jù),就一定無法看到協(xié)同組合所發(fā)揮的效能,也無法去落地和推動跟蹤,會感覺到無法持續(xù)運營一些核心關(guān)鍵。
所以我的觀點是要做元數(shù)據(jù),當(dāng)然也要基于企業(yè)的實際情況。
2、數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容建設(shè)如何鋪開,如何進行落標(biāo)?
(1)數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容建設(shè)如何鋪開?
金融行業(yè)有比較簡單的數(shù)據(jù)標(biāo)準(zhǔn)的來源:一是外部的監(jiān)管,二是把一些內(nèi)部的核心的報表進行拆解,形成指標(biāo)標(biāo)準(zhǔn);三是基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn),可以去快速落地的。
(2)如何開展落標(biāo)?
這個問題在被大家廣泛探討,似乎實踐下來沒有一個通用的模板。
我們應(yīng)該明確的核心想法是:落標(biāo)并不是為了把原有系統(tǒng)全部推翻,而是應(yīng)該以對現(xiàn)有系統(tǒng)影響最小的原則去進行落地和落標(biāo)。核心有4點:
第一點,數(shù)據(jù)標(biāo)準(zhǔn)的目標(biāo)情況的分析,包括評估數(shù)據(jù)標(biāo)準(zhǔn)的矛盾,或者混淆的情況,包括對歷史的數(shù)據(jù)標(biāo)準(zhǔn)的合理性和對現(xiàn)存數(shù)據(jù)情況的適用度進行分析。
第二點,更新數(shù)據(jù)標(biāo)準(zhǔn)對當(dāng)前數(shù)據(jù)的影響的分析,包括上下游的影響,以及兼容性分析等。
第三點,尋找最大公約數(shù)。就是在不同的版本或者不同部門間的數(shù)據(jù)標(biāo)準(zhǔn)里面去尋找一個最大公約數(shù),在力求提升數(shù)據(jù)質(zhì)量和對現(xiàn)在的數(shù)據(jù)情況取得最大適用的情況下,去更新歷史的數(shù)據(jù)標(biāo)準(zhǔn),以減少整個數(shù)據(jù)轉(zhuǎn)化的成本,保障整個系統(tǒng)集成以及資源的共享。
第四點,扎實的落實規(guī)范。什么意思?在做了這么多工作之外,我們需要建立好數(shù)據(jù)標(biāo)準(zhǔn)的更新機制,配套的組織、配套的流程、配套的管理辦法,來保證落標(biāo)是為有效地執(zhí)行。
3、除了外部監(jiān)管的要求,數(shù)據(jù)質(zhì)量的規(guī)則來源可能有哪些?
第一個就是業(yè)務(wù)方或者項目組方使用和或者是開發(fā)的過程中,沉淀的數(shù)據(jù)質(zhì)量的規(guī)則。
第二個是通過元數(shù)據(jù)或者數(shù)據(jù)模型對數(shù)據(jù)標(biāo)準(zhǔn)的引用形成的數(shù)據(jù)質(zhì)量檢核規(guī)則。
第三個是對數(shù)據(jù)的聚類分析,建立同類字段的檢核規(guī)則的復(fù)用,包括地址類的聯(lián)系方式類的金額類等等,明白一個類型的數(shù)據(jù)質(zhì)量的規(guī)則,可能就可以衍生出很多個數(shù)據(jù)質(zhì)量的規(guī)則。
4、數(shù)據(jù)的分類分級如何落地,如何去實現(xiàn)數(shù)據(jù)的分類分級?
核心是要落在元數(shù)據(jù)上。要進行具體的分類和分析,并且要結(jié)合機器學(xué)習(xí),再把它應(yīng)用到我們的數(shù)據(jù)服務(wù)的權(quán)限矩陣。
5、對于部分企業(yè)而言,數(shù)據(jù)治理的組織在it里面,業(yè)務(wù)的參與度極低,怎么能避免不讓它變成it人的自嗨呢?
讓業(yè)務(wù)心甘情愿的參與數(shù)據(jù)的工作,有兩點是需要考慮的。
第一點就是我們前面一直講到的,如何讓數(shù)據(jù)資產(chǎn)發(fā)揮它的價值。
第二點是要把數(shù)據(jù)服務(wù)的應(yīng)用和數(shù)據(jù)治理進行結(jié)合,才能快速的破圈。我覺得核心是不能把治理當(dāng)作最終目的,不能為了治理而去治理,當(dāng)有良好的資產(chǎn),為數(shù)據(jù)分析和數(shù)據(jù)挖掘帶來了價值,這才能產(chǎn)生正向反饋。
四、數(shù)據(jù)治理新實踐和思考
最后介紹一下我們團隊在數(shù)據(jù)治理上的一些實踐和思考。
1、識別關(guān)鍵數(shù)據(jù)元素,并且視為戰(zhàn)略資源進行的量化管理
把數(shù)據(jù)資產(chǎn)進行等級劃分。比如哪部分?jǐn)?shù)據(jù)資源應(yīng)該優(yōu)先被資產(chǎn)化,哪些重要資產(chǎn)的質(zhì)量處置等級應(yīng)該是高優(yōu)先級的。
一個企業(yè)從 0~1 去搭建數(shù)據(jù)治理的時候,分階段數(shù)據(jù)治理需要進行評定,哪部分?jǐn)?shù)據(jù)資產(chǎn)要首先發(fā)揮價值進行資產(chǎn)化,那么核心就是以這些已經(jīng)建立的等級劃分做依據(jù)。
可以看到當(dāng)前這個量化管理的等級有一些核心的考慮點,包括我們的業(yè)務(wù)重要性評價,包括數(shù)據(jù)的訪問熱度,包括使用頻率,包括下游的類型等等,深度鏈數(shù)據(jù)鏈路的深度和數(shù)據(jù)的層級。
在各個項目中我們都可能會進行分類:對一些新增的元數(shù)據(jù)進行注冊的時候,要進行價值模型評估;對于存量而言,一樣要進行圈定。這樣我們才能劃分優(yōu)先級,去估算我們數(shù)據(jù)治理的成本,按照不同的分類有階段地推進數(shù)據(jù)治理的工作開展,這樣在長期的投入和收益上才能達到一個平衡。
2.“以用促治”,貫穿整個數(shù)據(jù)生命周期的策略和流程動作,實現(xiàn)端到端管理,縱向全管理域?qū)嵺`
(1)“用”的定義是什么?
我認(rèn)為用的定義就是在我們實際的項目開展過程中去做治理,對一些核心系統(tǒng),還有經(jīng)營和管理直接相關(guān)的這部分系統(tǒng),要貼著我們的項目和實用主義,貼著重要的資產(chǎn)進行資產(chǎn)化。
(2)全生命周期
全生命周期的核心觀點是,在整個的項目流程過程中,不管是數(shù)據(jù)標(biāo)準(zhǔn),還是元數(shù)據(jù)注冊、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全,都要把流程做實。從全生命周期的開始到結(jié)束,全程貫徹管理理念,以及,要將流程化本地化。把它作為個性化的流程進行設(shè)定之后,需要去提煉和總結(jié),形成通用化的流程,再把這部分內(nèi)容作為企業(yè)級的標(biāo)準(zhǔn)流程。
這樣既有了數(shù)據(jù)質(zhì)量和數(shù)據(jù)治理整個過程的實踐,又有了提煉出來的通用成果,也更容易獲得高層的支持。
(3)縱向事件
再有精力和資源的企業(yè),也不會一做數(shù)據(jù)治理就全面鋪開。一定是在某個縱向領(lǐng)域上,比如某一個業(yè)務(wù)領(lǐng)域,把數(shù)據(jù)治理的各個管理域的模塊摸清楚再進行實踐,而不是全面性的鋪開,因為資源總是有限的。
一個縱向領(lǐng)域的成功,會給數(shù)據(jù)治理相關(guān)人員帶來階段性的信心,再將這種信心移植到其他業(yè)務(wù),這樣未來工作也可以得到更好的支撐。
3. 讓業(yè)務(wù)用戶深度參與治理過程,提升治理效率,利用AI提升參與過程智能化體驗
讓業(yè)務(wù)深度參與數(shù)據(jù)治理的過程,要提升效率,利用AI去提升整個過程的智能化體驗。整個數(shù)據(jù)治理過程,需要整個平臺依據(jù)定制化需求去開展數(shù)據(jù)治理,這一定不是一個通用模塊,而是定制化的。隨著我們管理思路的變化,這個平臺也是要變化的。對一部分重復(fù)的數(shù)據(jù)治理工作,比如元數(shù)據(jù),在元數(shù)據(jù)注冊的時候,翻譯、業(yè)務(wù)含義的智能填充,以及元數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)的對標(biāo)等都要考慮智能化。
前面講到了定制化整個平臺,除此之外,我們需要把自己的數(shù)據(jù)和AI能力建設(shè)進行融合,要把這種重復(fù)性的工作,不斷地剝離出來,然后將一些可以明確的規(guī)則,作為訓(xùn)練集去訓(xùn)練其他想要做的事情,讓它自動化、智能化地完成我們想要做的事情。
4. 分類分級權(quán)限矩陣,強化數(shù)據(jù)安全的智能化管控
分類分級權(quán)限矩陣,需要去強化數(shù)據(jù)安全的智能化管控。這就是前面講的平臺與 AI 的結(jié)合。
(1)根據(jù)行業(yè)分類分級指引,把現(xiàn)有已知的元數(shù)據(jù)根據(jù)標(biāo)準(zhǔn)進行分類和分級,作為基礎(chǔ)訓(xùn)練集;訓(xùn)練出模型算法后,運用到其他元數(shù)據(jù)上,實現(xiàn)對元數(shù)據(jù)的自動化的分類和目錄掛載;最后,再對根據(jù)算法自動分類結(jié)果進行人工核驗,不斷校正優(yōu)化算法。
首先,在證券行業(yè)有一個分類分級的指引,這個指引會提供一個參考清單。有了這個清單,我們可以把現(xiàn)有的技術(shù)數(shù)據(jù)標(biāo)準(zhǔn)進行分類和分級?,F(xiàn)在數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)大概有4000多個,分類分級之后,將他們作為訓(xùn)練集進行訓(xùn)練,然后把這套算法得出的結(jié)果,運用到其他的元數(shù)據(jù)上面,再進行自動化的分類和目錄掛載;分完類之后,再通過人工核驗去看結(jié)果是否準(zhǔn)確,不斷的去優(yōu)化整個算法,以達到自動化將所有數(shù)據(jù)進行分類和分級的效果。
(2)敏感數(shù)據(jù)的自動化識別和定級
接下來要做的就是敏感數(shù)據(jù)的自動化識別和定級,包括敏感數(shù)據(jù)的策略的靜態(tài)脫敏,以及如何執(zhí)行動態(tài)脫敏。
當(dāng)然這個有的平臺自己就具備。郭憶老師講到過網(wǎng)易數(shù)帆平臺會提供自動化的敏感數(shù)據(jù)的識別。
(3)數(shù)據(jù)服務(wù)和審批流程
接下來是如何在安全上進行分類分級的應(yīng)用。
核心落在了數(shù)據(jù)的服務(wù)的審批流程上。不同的數(shù)據(jù)分類,不同的數(shù)據(jù)等級,以及是否是敏感數(shù)據(jù),在數(shù)據(jù)服務(wù)的這個審批流程中它會走向不同的節(jié)點。比如數(shù)據(jù)訪問、離線數(shù)據(jù)導(dǎo)出,跨系統(tǒng)之間數(shù)據(jù)請求,都會跟這些核心審核點去進行判定,走不同的審批流程。
(4)AI:數(shù)據(jù)異常訪問監(jiān)控與預(yù)警
最后還有一個就是數(shù)據(jù)的異常訪問,比如包括一些高頻的下載行為,需要去進行監(jiān)控和預(yù)警,需要通過建立AI模型去完成。
以上 4 點就是我們在數(shù)據(jù)治理的過程中的一些實踐和思考。
五、問答環(huán)節(jié)
Q1:數(shù)據(jù)質(zhì)量規(guī)則的來源有哪些?規(guī)則明確以后如何去實現(xiàn)閉環(huán)的一個管理?
A1:(1)數(shù)據(jù)質(zhì)量的規(guī)則從哪里來?
第一個是通過業(yè)務(wù)方或者項目方在使用過程中或者是開發(fā)過程中去沉淀的數(shù)據(jù)質(zhì)量的規(guī)則。
第二個是通過元數(shù)據(jù),以及數(shù)據(jù)模型對數(shù)據(jù)標(biāo)準(zhǔn)的引用對標(biāo),我們可以生成數(shù)據(jù)的檢核規(guī)則。
第三個是通過數(shù)據(jù)的聚類分析,包括建立同一類型字段的管理與復(fù)用,例如地址和聯(lián)系方式等。
另外再補充說明數(shù)據(jù)質(zhì)量的規(guī)則。對 IT 人員而言,他只知道技術(shù)角度,比如一些數(shù)據(jù)類型對不對,但核心的業(yè)務(wù)質(zhì)量問題是難以發(fā)現(xiàn)的?;蛘哒f,大部分被監(jiān)管處罰的數(shù)據(jù)質(zhì)量問題都是在業(yè)務(wù)方角度,所以數(shù)據(jù)治理中數(shù)據(jù)質(zhì)量有一個核心的內(nèi)容,就是需要業(yè)務(wù)方的深度參與給拉進來,達到質(zhì)量檢核的業(yè)務(wù)規(guī)則與技術(shù)規(guī)則聯(lián)通與統(tǒng)一。
(2)規(guī)則明確后如何進行閉環(huán)管理?
這個在數(shù)據(jù)治理這個圈子算是比較有一個基本的套路,就是事前、事中、事后管理。
事前:我們明確這部分規(guī)則并把它作為預(yù)警的依據(jù)。
事中:就是在監(jiān)測過程中它是否有問題發(fā)生。
事后:就是發(fā)生了問題之后,如何處置。我們剛才講到了數(shù)據(jù)質(zhì)量的分級處置??梢钥焖侔褑栴}解決掉,那解決掉之后我們以這個規(guī)則再去優(yōu)化。比如說這個數(shù)據(jù)質(zhì)量的規(guī)則核心是出現(xiàn)了亂碼,那么是不是能在前臺的頁面之中,在前端這個級別就可以解決這個問題,或者是在這個數(shù)據(jù)寫入數(shù)據(jù)庫的時候就可以解決這個問題。所以數(shù)據(jù)質(zhì)量的核心問題,不是說表面上我們把當(dāng)下這個問題解決了,而是由這個問題去引發(fā)了我們更多的思考,促進我們從源頭解決。
Q2:如何平衡數(shù)據(jù)安全和數(shù)據(jù)開發(fā)的一個效率?
A2:其實我覺得這個課題不光是數(shù)據(jù)治理的一個課題,這是一個特別大的課題,我認(rèn)為應(yīng)該盡可能的把數(shù)據(jù)安全的邊界劃分清楚,盡可能的讓數(shù)據(jù)開發(fā)的效率不被數(shù)據(jù)安全所影響。
什么意思呢?如果這個邊界不清晰,做的過程中就可能不斷說這個不可以那個不可以,那不如在一開始就將這個安全的邊界劃清楚,達成一致的規(guī)范或指引,哪些可做,哪些不可做,哪些通過審批是可以完成的——從最開始就避免去影響整個開發(fā)效率。第二個就是有了邊界之后,我們在開發(fā)的過程中,需要考慮怎么樣運用數(shù)據(jù)資產(chǎn)的效能,怎么樣從數(shù)據(jù)模型的角度提升數(shù)據(jù)開發(fā)效率。我覺得核心是要把數(shù)據(jù)資產(chǎn)建設(shè)好。
Q3:如何對數(shù)據(jù)質(zhì)量的效果進行評估和考核?
A3:其實這個也是一個挺大課題。數(shù)據(jù)治理的效果,為什么總說長效機制呢,因為它的效果并不會那么快地凸顯。那么我認(rèn)為從一些核心的需要建立一些核心的指標(biāo),在一個企業(yè)剛開始做數(shù)據(jù)治理的時候,不要去考慮它所謂的投入產(chǎn)出比。當(dāng)我們在數(shù)據(jù)治理成熟度達到大概三四級之后,就要考慮這個問題,也就是數(shù)據(jù)治理的運營成本。
那么如何評估?我認(rèn)為首先要建立動態(tài)化的監(jiān)控指標(biāo),包括數(shù)據(jù)指標(biāo)。資源是有限的,如何把這部分資源投放到各個部門中去進行指標(biāo)的擬定,以實現(xiàn)帕累托最優(yōu);擬定了考核指標(biāo),又如何把它體現(xiàn)在我們的運營報表;以及,如何在考核和激勵中去運用這些指標(biāo)——這些是需要貼近這個企業(yè)去制定的。
Q4:如何建設(shè)數(shù)據(jù)治理的柔性組織和人才的梯隊?
A4:(1)柔性組織。我認(rèn)為應(yīng)需而生,問題導(dǎo)向,一定是包含很多業(yè)務(wù)同事的,加上我們技術(shù)的人員去構(gòu)建的柔性組織。一個沒有業(yè)務(wù)人員參與的數(shù)據(jù)治理的柔性組織,只是技術(shù)人的自嗨。
(2)人才梯隊。我認(rèn)為是核心是要有一些專業(yè)的技能,包括剛才郭憶老師講的數(shù)據(jù)分析的大賽,這個也是我們后面會去做的事情,但當(dāng)下我們要做的事情是沉淀足夠多的數(shù)據(jù)資產(chǎn),用這些數(shù)據(jù)資產(chǎn)再結(jié)合我們數(shù)據(jù)內(nèi)容本身的業(yè)務(wù)價值,才能去做我們數(shù)據(jù)價值的挖掘,進而從業(yè)務(wù)角度去培養(yǎng)業(yè)務(wù)人員的數(shù)據(jù)技能。那對于我們專業(yè)的數(shù)據(jù)技術(shù)人員,他們需要進一步去挖掘他們的業(yè)務(wù)深度,包括剛才一直講到這個 AI的結(jié)合,包括如何去從數(shù)據(jù)開發(fā)的效能上去跟數(shù)據(jù)治理結(jié)合等等,這是我的看法。