一、序言

美團(tuán)住宿數(shù)據(jù)治理團(tuán)隊(duì)通過多年數(shù)倉建設(shè)及數(shù)據(jù)治理的經(jīng)驗(yàn)沉淀，并結(jié)合業(yè)務(wù)發(fā)展階段對(duì)于數(shù)據(jù)治理的訴求，將治理的思路逐步從專項(xiàng)、表象、問題驅(qū)動(dòng)的治理，轉(zhuǎn)變?yōu)樽詣?dòng)化、體系化的治理，并從標(biāo)準(zhǔn)化、數(shù)字化、系統(tǒng)化三個(gè)方向進(jìn)行了落地與實(shí)踐。

二、背景介紹

美團(tuán)住宿業(yè)務(wù)從2014年上線之后發(fā)展多年，歷經(jīng)探索期、進(jìn)攻期，發(fā)展期，并逐步由發(fā)展期向變革期過渡。業(yè)務(wù)從之前的快速擴(kuò)張階段進(jìn)入相對(duì)穩(wěn)定的發(fā)展階段，運(yùn)營手段轉(zhuǎn)變?yōu)榫?xì)化運(yùn)營，同時(shí)對(duì)數(shù)據(jù)的成本、效率、安全、價(jià)值等方向的要求也越來越高，這些都對(duì)數(shù)據(jù)治理提出了新的要求。

圖1 住宿業(yè)務(wù)發(fā)展階段

另一方面，住宿數(shù)據(jù)組所屬的數(shù)據(jù)中心內(nèi)部有住宿、門票度假等多條業(yè)務(wù)線，各業(yè)務(wù)線業(yè)務(wù)模式不同，所處業(yè)務(wù)生命周期階段不同，在數(shù)據(jù)治理上的認(rèn)知及經(jīng)驗(yàn)積累也不同。如何能將數(shù)據(jù)治理經(jīng)驗(yàn)及能力高效復(fù)用，使數(shù)據(jù)中心各業(yè)務(wù)線在數(shù)據(jù)治理的效率和效果上都能穩(wěn)步提升，避免踩坑，這就需要數(shù)據(jù)治理更加標(biāo)準(zhǔn)化、體系化、自動(dòng)化。

此前，我們在數(shù)據(jù)治理上已經(jīng)有了一些積累和沉淀，前一階段主要從單點(diǎn)、被動(dòng)的治理轉(zhuǎn)變?yōu)橹鲃?dòng)、專項(xiàng)的治理，治理動(dòng)作有意識(shí)、有規(guī)劃，也有一定的針對(duì)性，且取得了一定的成果，但總的來說仍以問題驅(qū)動(dòng)治理、憑經(jīng)驗(yàn)治理為主。面對(duì)新的數(shù)據(jù)治理責(zé)任及要求，過往的方式存在著一些問題，主要包括以下幾個(gè)方面。

1.治理認(rèn)知差異大

認(rèn)知不一致，思路不統(tǒng)一：治理缺乏通用的體系指引，不同的治理人對(duì)于數(shù)據(jù)治理的認(rèn)知深度、問題拆解的方式、治理的思路步驟、采取的方法及其效果追蹤等方面，都存在較大的差異。

• 重復(fù)治理、信息不通：治理不徹底、治理經(jīng)驗(yàn)缺乏沉淀，同樣的治理，不同的人反復(fù)實(shí)行。
• 范圍交叉、邊界不清、效果難評(píng)估：不同的人針對(duì)不同的問題成立不同的專項(xiàng)進(jìn)行治理，問題的底層邏輯有交叉。有的治理沒做什么動(dòng)作，反而收到了較好的結(jié)果，有的治理對(duì)于結(jié)果說不清。

2.治理方法不標(biāo)準(zhǔn)

• 流程規(guī)范缺失：對(duì)于每個(gè)方向、每類問題的治理缺少理論指導(dǎo)，治理的方法、動(dòng)作、流程、步驟依賴治理人的經(jīng)驗(yàn)和判斷。
• 問題難度量追蹤：治理的問題缺少衡量標(biāo)準(zhǔn)，更多靠人為來進(jìn)行判斷，治理效果缺少評(píng)估體系。
• 解決方案難落地：解決方案存在于文檔中，需要治理人查找理解，缺少工具支撐，成本較高。

3.治理效率低、效果差

• 治理線上化程度低：治理依賴的資產(chǎn)信息、治理動(dòng)作都分散于多個(gè)系統(tǒng)中，信息碎片化，執(zhí)行效率低。
• 過程無法標(biāo)準(zhǔn)化，結(jié)果無保障：治理過程需要治理人來“人為保障”，存在理解偏差和執(zhí)行偏差。

4.數(shù)據(jù)管治缺乏體系化

• 缺乏整體頂層治理方案設(shè)計(jì)：業(yè)務(wù)及數(shù)據(jù)中心對(duì)于數(shù)據(jù)治理的要求，需要治理更全面、更精細(xì)、更有效，需要治理的體系化，需要從宏觀角度進(jìn)行思考，層層拆解，需要從整體、從頂層來做方案設(shè)計(jì)。
• 問題越來越復(fù)雜，單點(diǎn)難解決：過往更多的是從表象去解決問題，從表面來看衡量指標(biāo)有改善，實(shí)際是“頭痛醫(yī)頭、腳痛醫(yī)腳”，并沒有從根本上解決問題?；蛘叨鄠€(gè)問題具有共性，根本問題是一致的。比如查詢資源緊張的根本，可能是分析主題模型建設(shè)不足或運(yùn)營不夠。
• 不同問題的優(yōu)先級(jí)無法確定：不同問題的優(yōu)先級(jí)缺乏衡量標(biāo)準(zhǔn)和方法，主要靠人為判斷。
• 治理不符合MECE原則：每個(gè)治理方向由哪些問題組成，哪些最重要，哪些的ROI最高，哪些問題和治理動(dòng)作可以合并，同一問題在數(shù)倉不同主題、不同分層的衡量標(biāo)準(zhǔn)和治理方法應(yīng)該有哪些差異，都需要在體系化治理中進(jìn)行考慮。

三、治理體系化思考

從上述背景中不難看出，我們面臨著不同業(yè)務(wù)生命周期階段對(duì)數(shù)據(jù)建設(shè)和治理不同的要求及挑戰(zhàn)，同時(shí)過往更多的以被動(dòng)治理、問題驅(qū)動(dòng)的專項(xiàng)治理方式方法也比較落后，這直接導(dǎo)致技術(shù)團(tuán)隊(duì)很難滿足業(yè)務(wù)方對(duì)于財(cái)務(wù)、業(yè)務(wù)支持等方面的要求。

通過不斷的汲取教訓(xùn)和總結(jié)經(jīng)驗(yàn)，我們開始意識(shí)到數(shù)據(jù)管治是一個(gè)非常復(fù)雜的綜合性問題，只有構(gòu)建出一套標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)管治體系，才能確保數(shù)據(jù)治理在現(xiàn)狀評(píng)估、目標(biāo)制定、流程規(guī)范建設(shè)、治理監(jiān)控管理、能力建設(shè)、執(zhí)行效率、效果評(píng)價(jià)等各環(huán)節(jié)有效落地。下面介紹一下我們在治理體系化層面的理解和思考。

1、什么是數(shù)據(jù)治理體系化？

針對(duì)數(shù)據(jù)管理和治理，我們期望搭建一套集管理體系、方法體系、評(píng)價(jià)體系、標(biāo)準(zhǔn)體系、工具體系等核心能力的組合，持續(xù)服務(wù)于數(shù)據(jù)管治實(shí)施?？梢灶惐纫话愕碾娚坦?，如果需要運(yùn)轉(zhuǎn)并服務(wù)好顧客，它首先必須搭建起來一套銷售體系、產(chǎn)品體系、供給體系、物流體系、人力體系等等，只有這樣才可以相互配合，實(shí)現(xiàn)服務(wù)好用戶這一大目標(biāo)。

圖2 數(shù)據(jù)治理體系思考

2、數(shù)據(jù)治理體系化如何解決目前治理存在的問題？

1）方式方法上

先做頂層治理框架設(shè)計(jì)，從團(tuán)隊(duì)整體視角定義和規(guī)劃好治理的范圍、人員、職責(zé)、目標(biāo)、方法、工具等必須部分，再進(jìn)行落地。更關(guān)注整體策略的普適性及有效性，而非深陷某個(gè)具體問題解決方案開始治理。

2）技術(shù)手段上

以完善的技術(shù)研發(fā)規(guī)范為基礎(chǔ)，以元數(shù)據(jù)及指標(biāo)體系為核心，對(duì)業(yè)務(wù)數(shù)倉和數(shù)據(jù)應(yīng)用進(jìn)行全面評(píng)價(jià)和監(jiān)控，同時(shí)配套治理系統(tǒng)工具，幫助治理同學(xué)落地治理策略和解決數(shù)據(jù)開發(fā)同學(xué)治理效率低問題。

3）運(yùn)營策略上

通過對(duì)待治理問題進(jìn)行影響范圍、收益情況進(jìn)行評(píng)估，確定待治理問題的重要度，從管理者視角以及問題責(zé)任人視角2個(gè)途徑推動(dòng)不同重要程度的治理問題解決。

3、業(yè)務(wù)數(shù)據(jù)管治體系框架如何建設(shè)？

我們的建設(shè)思路是：以團(tuán)隊(duì)數(shù)據(jù)治理目標(biāo)為核心導(dǎo)向，設(shè)計(jì)實(shí)現(xiàn)目標(biāo)需要的相關(guān)能力組合，并根據(jù)組織要求，實(shí)施過程的問題反饋，持續(xù)不斷地迭代完善，最終實(shí)現(xiàn)數(shù)據(jù)治理的愿景。

體系框架主要包含以下內(nèi)容：

• 管理層

立法，制定相關(guān)的組織保障流程規(guī)范、職責(zé)設(shè)計(jì)、獎(jiǎng)懲措施，指導(dǎo)和保障數(shù)據(jù)治理順利進(jìn)行，這是數(shù)據(jù)治理能夠成功啟動(dòng)運(yùn)轉(zhuǎn)的關(guān)鍵因素。

• 標(biāo)準(zhǔn)層

設(shè)標(biāo)準(zhǔn)，制定各類研發(fā)標(biāo)準(zhǔn)規(guī)范、解決方案標(biāo)準(zhǔn)SOP等數(shù)據(jù)治理過程中需要的各類技術(shù)規(guī)范和解決方案，這是所有技術(shù)問題正確與否的重要依據(jù)，也是治理中事前解決方案必不可少的一部分。完善的標(biāo)準(zhǔn)規(guī)范和良好的落地效果，可很好地降低數(shù)據(jù)故障問題的發(fā)生量。

• 能力層

完善能力，主要是基于元數(shù)據(jù)的問題度量的數(shù)字化能力，以及問題工具化檢測和解決的系統(tǒng)化能力。數(shù)字化和系統(tǒng)化能力是數(shù)據(jù)治理實(shí)施的科學(xué)性、實(shí)施的質(zhì)量及效率的重要保障。

• 執(zhí)行層

設(shè)定動(dòng)作，結(jié)合要達(dá)成的具體目標(biāo)，對(duì)各治理域問題，按照事前約束、事中監(jiān)控、事后治理的思路進(jìn)行解決。目標(biāo)的達(dá)成，需要拆分到7大治理域相關(guān)的具體問題中去落地。因此，一個(gè)治理目標(biāo)的達(dá)成，很依賴治理域?qū)栴}描述的全面性及深度。

• 評(píng)價(jià)層

給出評(píng)價(jià)，基于指標(biāo)的問題監(jiān)控，健康度評(píng)價(jià)體系，專項(xiàng)評(píng)估報(bào)告，評(píng)價(jià)治理收益及效果，這是實(shí)施治理推進(jìn)過程監(jiān)控，結(jié)果檢驗(yàn)的重要抓手。

• 愿景

長期治理目標(biāo)，指導(dǎo)數(shù)據(jù)管治有方向地不斷朝著最終目標(biāo)前進(jìn)。

圖3 數(shù)據(jù)治理體系概覽

體系框架建設(shè)成果：業(yè)務(wù)數(shù)據(jù)治理體系框架是針對(duì)數(shù)據(jù)治理工作整體做的頂層方案設(shè)計(jì)，框架定義好了業(yè)務(wù)線數(shù)據(jù)治理是什么、怎么做、做什么、用什么工具以及達(dá)成什么目標(biāo)。拉齊各方對(duì)業(yè)務(wù)數(shù)據(jù)治理的認(rèn)知，標(biāo)準(zhǔn)化治理路徑方法和組成部分，指導(dǎo)數(shù)據(jù)治理有序、有效地進(jìn)行。

圖4 數(shù)據(jù)治理體系框架

4、體系框架如何落地實(shí)施？

參照業(yè)務(wù)線數(shù)據(jù)標(biāo)準(zhǔn)化管治體系框架各組成部分特點(diǎn)，我們具體通過標(biāo)準(zhǔn)化、數(shù)據(jù)化、系統(tǒng)化3大部分能力建設(shè)及運(yùn)營，來實(shí)現(xiàn)數(shù)據(jù)管治體系框架的落地，并應(yīng)用在數(shù)據(jù)治理問題的解決中，最終拿到可量化的結(jié)果。

圖5 數(shù)據(jù)治理體系化落地思路

四、治理體系化實(shí)踐

1、標(biāo)準(zhǔn)化

數(shù)據(jù)治理標(biāo)準(zhǔn)化是企業(yè)進(jìn)行數(shù)據(jù)資產(chǎn)管理的關(guān)鍵突破口和重要手段，一系列政策、法規(guī)、規(guī)劃需要轉(zhuǎn)化為標(biāo)準(zhǔn)和制度才能有效落地。數(shù)據(jù)治理標(biāo)準(zhǔn)化既有利于建立健全各種數(shù)據(jù)管理工作機(jī)制、完善業(yè)務(wù)流程，又有利于提升數(shù)據(jù)質(zhì)量，保障數(shù)據(jù)安全合規(guī)使用，釋放數(shù)據(jù)價(jià)值。但在數(shù)據(jù)治理標(biāo)準(zhǔn)化建設(shè)過程中，我們經(jīng)常會(huì)面臨以下三個(gè)問題：

• 流程規(guī)范缺失：各個(gè)環(huán)節(jié)缺少標(biāo)準(zhǔn)和約束來指導(dǎo)規(guī)范化操作，無法有效杜絕問題的發(fā)生、解決。
• 落地條件差：規(guī)范標(biāo)準(zhǔn)、SOP等不具備落地條件，靠主觀意愿，無法有效落地，效果差。
• 建設(shè)方法不合理：規(guī)范建設(shè)Case by Case，缺少體系化建設(shè)思路導(dǎo)致“一直建、一直缺”。

針對(duì)上述三個(gè)問題，我們從解決問題的視角出發(fā)，劃分?jǐn)?shù)據(jù)開發(fā)流程，通過事前約束、事中監(jiān)控、事后分析評(píng)估的思路，整理補(bǔ)齊缺失的流程規(guī)范，從而實(shí)現(xiàn)標(biāo)準(zhǔn)流程規(guī)范在數(shù)據(jù)管治各環(huán)節(jié)全覆蓋，并建設(shè)系統(tǒng)化工具來保障標(biāo)準(zhǔn)規(guī)范的落地實(shí)施。下文將分別從規(guī)范建設(shè)及工具保障兩方面來介紹我們在數(shù)據(jù)治理標(biāo)準(zhǔn)化過程中是如何解決上述問題的。

圖6 數(shù)據(jù)治理標(biāo)準(zhǔn)化思路

1）規(guī)范建設(shè)

規(guī)范是數(shù)據(jù)治理建章立制的基礎(chǔ)，針對(duì)標(biāo)準(zhǔn)規(guī)范建設(shè)不合理及流程規(guī)范缺失的問題，我們用體系化的建設(shè)思路從整體架構(gòu)上對(duì)數(shù)據(jù)開發(fā)流程及數(shù)據(jù)治理流程進(jìn)行劃分，并針對(duì)全流程數(shù)據(jù)管治各個(gè)環(huán)節(jié)建設(shè)相應(yīng)規(guī)范：

• 數(shù)據(jù)治理管理規(guī)范

明確數(shù)據(jù)治理組織職責(zé)以及人員構(gòu)成，確定數(shù)據(jù)治理實(shí)施流程及治理問題運(yùn)維流程，以保障數(shù)據(jù)治理過程順利進(jìn)行。

• 數(shù)據(jù)研發(fā)規(guī)范

明確數(shù)據(jù)開發(fā)各個(gè)環(huán)節(jié)需要遵守的規(guī)范要求，從問題產(chǎn)生的源頭，通過建設(shè)完善的研發(fā)規(guī)范，指導(dǎo)研發(fā)工作按標(biāo)準(zhǔn)進(jìn)行，一定程度上可減少問題發(fā)生。

• 數(shù)據(jù)標(biāo)準(zhǔn)化治理SOP

明確各個(gè)治理問題治理動(dòng)作，確保治理動(dòng)作是標(biāo)準(zhǔn)且可實(shí)施。

• 數(shù)據(jù)健康度評(píng)估規(guī)范

明確治理效果的評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)數(shù)據(jù)體系做到長期，穩(wěn)定及指標(biāo)化的衡量。

圖7 數(shù)據(jù)治理規(guī)范化建設(shè)成果

2）工具保障

① 標(biāo)準(zhǔn)規(guī)范可視化-知識(shí)中心

在標(biāo)準(zhǔn)規(guī)范的共享方面，以往技術(shù)團(tuán)隊(duì)在實(shí)際規(guī)范落地過程中可能存在以下問題：

• 規(guī)范找不著：重要規(guī)范文檔散落在各個(gè)Wiki空間，導(dǎo)致使用時(shí)無法快速查找，效率低下。
• 規(guī)范質(zhì)量差：文檔沒有統(tǒng)一進(jìn)行維護(hù)，無法持續(xù)進(jìn)行迭代和完善，不能隨著業(yè)務(wù)及技術(shù)的發(fā)展更新。
• 規(guī)范沒權(quán)限：文檔散落在各個(gè)成員的私人空間內(nèi)部，未對(duì)所有人開通權(quán)限，優(yōu)質(zhì)內(nèi)容無法及時(shí)共享。

針對(duì)上述問題，我們重新收集整理已有規(guī)范文檔并進(jìn)行分類，補(bǔ)充缺失文檔，優(yōu)化文檔內(nèi)容，并新增知識(shí)中心模塊，將知識(shí)體系框架產(chǎn)品化，在產(chǎn)品層面維護(hù)統(tǒng)一的入口及權(quán)限管理，同時(shí)嚴(yán)格控制發(fā)布流程，解決了標(biāo)準(zhǔn)規(guī)范在實(shí)際落地時(shí)“找不著”、“質(zhì)量差”、“沒權(quán)限”等問題。

圖8 知識(shí)中心及文檔發(fā)布流程

② 測試規(guī)范工具化-八卦爐

在數(shù)據(jù)測試規(guī)范落地方面，以往數(shù)據(jù)測試規(guī)范都是通過Wiki維護(hù)，無法約束大家實(shí)際執(zhí)行過程，導(dǎo)致數(shù)據(jù)質(zhì)量較差，容易出現(xiàn)數(shù)據(jù)故障。為減少數(shù)據(jù)開發(fā)過程中由于測試不規(guī)范而導(dǎo)致數(shù)據(jù)故障的情況，提升數(shù)據(jù)質(zhì)量及業(yè)務(wù)滿意度，我們利用數(shù)據(jù)中心與數(shù)據(jù)平臺(tái)工具組合作共建的ETL測試工具（美團(tuán)內(nèi)部工具-八卦爐）來保障測試規(guī)范SOP落地執(zhí)行，要求大家在不影響測試驗(yàn)數(shù)效率情況下充分測試，實(shí)現(xiàn)數(shù)據(jù)治理問題在事前約束，減少事后問題量，保障數(shù)據(jù)質(zhì)量，工具建設(shè)如下圖所示：

圖9 測試規(guī)范工具化-美團(tuán)八卦爐架構(gòu)圖

③ 治理提效保質(zhì)工具-SOP自動(dòng)化工具

在日常數(shù)據(jù)開發(fā)工作中，數(shù)據(jù)工程師會(huì)承擔(dān)一部分?jǐn)?shù)據(jù)治理工作，以往都是通過執(zhí)行數(shù)據(jù)治理SOP中每個(gè)步驟對(duì)問題進(jìn)行治理，但經(jīng)常會(huì)面臨以下幾個(gè)問題：

• 治理效率低：需要根據(jù)SOP中治理經(jīng)驗(yàn)，去各個(gè)平臺(tái)分別執(zhí)行相應(yīng)治理動(dòng)作，對(duì)于一些步驟較為復(fù)雜的SOP，需要跳轉(zhuǎn)多個(gè)平臺(tái)操作，治理效率較低。
• 治理過程無法約束：治理經(jīng)驗(yàn)浮于文字，無法約束數(shù)據(jù)工程師的執(zhí)行動(dòng)作，導(dǎo)致部分問題治理不徹底。

基于上述問題，我們開發(fā)了治理提效工具-SOP自動(dòng)化工具，匯總多個(gè)平臺(tái)治理工具，將數(shù)據(jù)治理標(biāo)準(zhǔn)化SOP的各個(gè)執(zhí)行步驟通過工具落地，實(shí)現(xiàn)在一個(gè)工具內(nèi)一站式治理能力，約束工程師的治理動(dòng)作，確保整個(gè)治理過程是標(biāo)準(zhǔn)的，效果是可監(jiān)控的，從而提升了治理效率及治理質(zhì)量。

比如無效任務(wù)的治理，首先需要調(diào)研問題治理經(jīng)驗(yàn)并沉淀至SOP文檔，然后將SOP文檔中各個(gè)執(zhí)行步驟依次通過自動(dòng)化的工具進(jìn)行配置。數(shù)據(jù)工程師在治理時(shí)只需要在一個(gè)界面內(nèi)即可實(shí)現(xiàn)全部的治理動(dòng)作，下圖是無效任務(wù)治理SOP及美團(tuán)的自動(dòng)化工具：

圖10 無效任務(wù)治理SOP及美團(tuán)的自動(dòng)化工具

3）標(biāo)準(zhǔn)化收益及建設(shè)經(jīng)驗(yàn)

通過數(shù)據(jù)治理標(biāo)準(zhǔn)化建設(shè)，我們解決了團(tuán)隊(duì)在數(shù)據(jù)治理規(guī)范方面若干問題，取得了明顯效果：

• 實(shí)現(xiàn)了數(shù)據(jù)開發(fā)、數(shù)據(jù)治理的標(biāo)準(zhǔn)化，解決了團(tuán)隊(duì)內(nèi)各小組之間在開發(fā)、管理、運(yùn)維方面流程方法標(biāo)準(zhǔn)不一致的問題。
• 通過測試工具對(duì)標(biāo)準(zhǔn)化測試規(guī)范進(jìn)行落地，在事前阻塞問題發(fā)生，提升數(shù)據(jù)質(zhì)量，減少故障發(fā)生。
• 通過SOP自動(dòng)化工具，有效保障治理過程的標(biāo)準(zhǔn)化，解決了治理效果差的問題。

同時(shí)，我們在實(shí)際建設(shè)的過程中，也總結(jié)了一些標(biāo)準(zhǔn)化的建設(shè)經(jīng)驗(yàn)：

• 標(biāo)準(zhǔn)規(guī)范如何落地，需成為標(biāo)準(zhǔn)流程規(guī)范建設(shè)的一部分，最好有交付物。
• 標(biāo)準(zhǔn)規(guī)范的制定，除常規(guī)內(nèi)容外，需要綜合考慮組織目標(biāo)、組織特點(diǎn)、已有工具、歷史情況、用戶反饋等因素，否則會(huì)給人“不接地氣”的感覺。
• 標(biāo)準(zhǔn)規(guī)范的制定要優(yōu)先考慮利用和適配已有工具能力，借助工具落地，而非讓工具適配流程規(guī)范。

2、數(shù)字化

以往大家在開展數(shù)據(jù)治理工作時(shí)主要依賴經(jīng)驗(yàn)判斷，缺乏科學(xué)可量化的抓手，對(duì)治理問題的嚴(yán)重程度無法準(zhǔn)確感知，同時(shí)對(duì)治理收益的回收也不能準(zhǔn)確評(píng)估。因此我們開展了數(shù)字化的工作，將大家數(shù)據(jù)開發(fā)工作用數(shù)據(jù)描述，構(gòu)建整個(gè)數(shù)據(jù)開發(fā)工作的準(zhǔn)確視圖。

1）數(shù)字化架構(gòu)設(shè)計(jì)方案

建設(shè)思路：通過對(duì)數(shù)據(jù)生命周期各環(huán)節(jié)進(jìn)行類比業(yè)務(wù)數(shù)倉建設(shè)中抽象和描述業(yè)務(wù)對(duì)象方式，進(jìn)行元數(shù)據(jù)對(duì)象的抽象和描述，并建設(shè)成元數(shù)據(jù)數(shù)倉和治理指標(biāo)體系，應(yīng)用在數(shù)據(jù)管治場景。

框架主要包含元數(shù)據(jù)倉庫、指標(biāo)體系、數(shù)據(jù)資產(chǎn)等級(jí)以及基于元數(shù)倉基礎(chǔ)上建立的各個(gè)數(shù)據(jù)應(yīng)用，利用元數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)治理及日常團(tuán)隊(duì)管理，避免過多依賴經(jīng)驗(yàn)解決問題，更好地服務(wù)業(yè)務(wù)。下邊幾個(gè)章節(jié)將分別介紹數(shù)字化框架最核心的數(shù)據(jù)內(nèi)容：元數(shù)據(jù)倉庫、指標(biāo)體系、數(shù)據(jù)資產(chǎn)等級(jí)。

圖11 數(shù)字化框架

2）元數(shù)據(jù)倉庫建設(shè)

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，包含數(shù)據(jù)資產(chǎn)種類、數(shù)據(jù)存儲(chǔ)大小、數(shù)據(jù)流血緣關(guān)系、數(shù)據(jù)生產(chǎn)過程等信息，存在信息種類多，分布零散，信息不完整的特點(diǎn)。豐富的元數(shù)據(jù)有助于我們快速了解團(tuán)隊(duì)數(shù)據(jù)資產(chǎn)，讓數(shù)據(jù)資產(chǎn)更加精準(zhǔn)，透明。為數(shù)據(jù)使用和價(jià)值釋放提供支撐。

我們的建設(shè)思路，采取數(shù)據(jù)業(yè)務(wù)化、業(yè)務(wù)數(shù)字化、數(shù)字應(yīng)用化的思路來搭建元數(shù)據(jù)倉庫。

• 數(shù)據(jù)業(yè)務(wù)化：即將數(shù)據(jù)工程師日常數(shù)據(jù)開發(fā)工作業(yè)務(wù)化描述，抽象多個(gè)業(yè)務(wù)過程，如需求提出、任務(wù)開發(fā)、數(shù)據(jù)表產(chǎn)出、數(shù)據(jù)應(yīng)用、需求交付。
• 業(yè)務(wù)數(shù)字化：用建設(shè)業(yè)務(wù)數(shù)倉的思路和方法，對(duì)數(shù)據(jù)業(yè)務(wù)化之后的各個(gè)業(yè)務(wù)過程及主題，搭建元數(shù)據(jù)數(shù)倉及指標(biāo)衡量體系，并通過元數(shù)據(jù)場景化應(yīng)用提升易用性及豐富度。
• 數(shù)字應(yīng)用化：在元數(shù)據(jù)倉庫基礎(chǔ)上開發(fā)數(shù)據(jù)產(chǎn)品，驅(qū)動(dòng)數(shù)據(jù)管治實(shí)施。

圖12 數(shù)據(jù)業(yè)務(wù)化思路

通過數(shù)據(jù)業(yè)務(wù)化思路，我們抽象業(yè)務(wù)域、管理域、技術(shù)域等3大主題域來描述元數(shù)倉對(duì)象，并對(duì)每個(gè)主題域進(jìn)行細(xì)分，劃分多個(gè)主題：

• 業(yè)務(wù)元數(shù)據(jù)：基于具體業(yè)務(wù)邏輯元數(shù)據(jù)，常見業(yè)務(wù)元數(shù)據(jù)包括業(yè)務(wù)定義、業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、業(yè)務(wù)指標(biāo)等。
• 技術(shù)元數(shù)據(jù)：描述了與數(shù)據(jù)倉庫開發(fā)、管理和維護(hù)相關(guān)數(shù)據(jù)，包括數(shù)據(jù)源信息、數(shù)據(jù)倉庫模型、數(shù)據(jù)清洗與更新規(guī)則、數(shù)據(jù)映射和訪問權(quán)限等，主要為開發(fā)和管理數(shù)據(jù)倉庫的工程師使用。
• 管理元數(shù)據(jù)：描述管理領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，主要包括管理流程、人員組織、角色職責(zé)等信息。

圖13 元數(shù)據(jù)倉庫主題信息建設(shè)

在元數(shù)倉分層上，我們采用最常見的四層架構(gòu)分層方式，分別是貼源層、明細(xì)層、匯總層、應(yīng)用層和維度信息。區(qū)別于業(yè)務(wù)數(shù)倉分層設(shè)計(jì)方式，從明細(xì)層就按維度建模思路組織數(shù)據(jù)，避免過度設(shè)計(jì)，只需要做好主題劃分和解耦。在匯總層從分析習(xí)慣出發(fā)耦合數(shù)據(jù)，提升易用性。應(yīng)用層按需創(chuàng)建所需接口支撐應(yīng)用。

圖14 元數(shù)據(jù)倉庫分層

目前，我們已完成元數(shù)據(jù)倉庫技術(shù)域、管理域、業(yè)務(wù)域部分內(nèi)容的建設(shè)，并已支撐指標(biāo)體系及上層多個(gè)數(shù)據(jù)應(yīng)用，未來仍將根據(jù)大家在實(shí)際工作中核心關(guān)注的內(nèi)容對(duì)元數(shù)倉進(jìn)一步補(bǔ)充和完善。

圖15 元數(shù)據(jù)倉庫建設(shè)成果

2）指標(biāo)體系建設(shè)

一個(gè)問題的衡量需要從多方面進(jìn)行考慮，只用一個(gè)指標(biāo)無法充分說明問題，這就需要一組有邏輯且相互關(guān)聯(lián)的數(shù)據(jù)指標(biāo)來描述問題。在數(shù)據(jù)開發(fā)過程中，需要制定多個(gè)指標(biāo)來監(jiān)控衡量數(shù)據(jù)開發(fā)團(tuán)隊(duì)在質(zhì)量、安全、效率、成本等方面存在的問題。

此前，住宿數(shù)據(jù)團(tuán)隊(duì)沒有一套成熟穩(wěn)定的指標(biāo)體系，無法長期準(zhǔn)確衡量團(tuán)隊(duì)的業(yè)務(wù)支持能力、技術(shù)能力。2020年，我們在元數(shù)據(jù)倉庫基礎(chǔ)上搭建了數(shù)據(jù)治理指標(biāo)體系，全面衡量了業(yè)務(wù)數(shù)倉建設(shè)過程中各類問題，通過指標(biāo)體系監(jiān)測工作中的優(yōu)點(diǎn)與不足，提升了團(tuán)隊(duì)的工作能力，進(jìn)而提高了對(duì)業(yè)務(wù)的支持能力。

① 建設(shè)方案

指標(biāo)體系的建設(shè)目標(biāo)是監(jiān)控團(tuán)隊(duì)工作狀態(tài)和變化趨勢，需要能夠覆蓋到工作中的各個(gè)方面。因此，在指標(biāo)體系的建設(shè)上，我們通過不同視角對(duì)指標(biāo)體系進(jìn)行分類，做到不重不漏全覆蓋，讓指標(biāo)適用于不同使用場景：

• 生命周期視角：從數(shù)據(jù)本身出發(fā)，衡量數(shù)據(jù)從生產(chǎn)到銷毀的各個(gè)過程，包括定義、接入、處理、存儲(chǔ)、使用、銷毀等等。
• 團(tuán)隊(duì)管理目標(biāo)視角：根據(jù)團(tuán)隊(duì)管理核心要達(dá)成的目標(biāo)分類，包括質(zhì)量、效率、成本、安全、易用性、價(jià)值等等。
• 問題對(duì)象視角：根據(jù)治理問題核心關(guān)注的對(duì)象分類，包括安全、資源、服務(wù)、架構(gòu)、效率、價(jià)值、質(zhì)量等等。

圖16 指標(biāo)體系多視角建設(shè)思路

② 建設(shè)成果

目前我們已建設(shè)技術(shù)、需求及故障三大類指標(biāo)共計(jì)112個(gè)，全面覆蓋數(shù)據(jù)開發(fā)中的各個(gè)環(huán)節(jié)：

• 技術(shù)類指標(biāo)：覆蓋成本、質(zhì)量、安全、價(jià)值及易用性5個(gè)方面共57個(gè)指標(biāo)。
• 需求類指標(biāo)：覆蓋新增、響應(yīng)、開發(fā)、上線及驗(yàn)收等7個(gè)方面共36個(gè)指標(biāo)。
• 故障類指標(biāo)：覆蓋故障發(fā)現(xiàn)、原因定位及處理環(huán)節(jié)共19個(gè)指標(biāo)。

圖17 指標(biāo)體系建設(shè)成果

元數(shù)據(jù)及指標(biāo)體系應(yīng)用如下：

• 團(tuán)隊(duì)管理：幫助團(tuán)隊(duì)管理者快速了解團(tuán)隊(duì)情況，提升管理效率。
• 數(shù)據(jù)治理：利用元數(shù)據(jù)及指標(biāo)體系驅(qū)動(dòng)數(shù)據(jù)治理，為數(shù)據(jù)治理提供可量化的抓手。
• 項(xiàng)目評(píng)估：幫助項(xiàng)目成員準(zhǔn)確評(píng)估項(xiàng)目的問題、進(jìn)展及收益。

③ 建設(shè)思考

在指標(biāo)建設(shè)過程中，我們沉淀了以下幾點(diǎn)經(jīng)驗(yàn)：

• 指標(biāo)體系既要解決管理者對(duì)日常工作無抓手的問題，也要成為具體問題處理人員的治理抓手，兼顧管理者和開發(fā)者。
• 指標(biāo)體系是展示偏整體層面的內(nèi)容，還需通過指標(biāo)解決實(shí)際問題，形成指標(biāo)體系和數(shù)據(jù)治理工具閉環(huán)，實(shí)現(xiàn)發(fā)現(xiàn)問題、治理問題、衡量結(jié)果持續(xù)循環(huán)。
• 優(yōu)先確定團(tuán)隊(duì)總體發(fā)展目標(biāo)，從目標(biāo)拆分設(shè)定指標(biāo)，指標(biāo)盡量覆蓋不同業(yè)務(wù)線不同發(fā)展階段。
• 業(yè)務(wù)需要明確自己所處階段，針對(duì)不同階段，制定考核目標(biāo)，衡量閥值，既統(tǒng)一了衡量標(biāo)準(zhǔn)，又中和了大家考核標(biāo)準(zhǔn)。
• 指標(biāo)需注意分層建設(shè)，避免“胡子眉毛一把抓”，便于適配目前的組織結(jié)構(gòu)，也便于劃分責(zé)任與定位。
• 基礎(chǔ)指標(biāo)體系建設(shè)完成后，可作為平時(shí)管理和工作的抓手，作為項(xiàng)目發(fā)起的依據(jù)，作為項(xiàng)目結(jié)果評(píng)估的手段。

3）資產(chǎn)等級(jí)建設(shè)

隨著業(yè)務(wù)快速發(fā)展，團(tuán)隊(duì)負(fù)責(zé)的數(shù)據(jù)資產(chǎn)規(guī)模也日益擴(kuò)大。截止當(dāng)前，團(tuán)隊(duì)共負(fù)責(zé)離線Hive表3000+，ETL生產(chǎn)任務(wù)2000+，人均負(fù)責(zé)ETL生產(chǎn)任務(wù)100+。在面對(duì)規(guī)模日益擴(kuò)大的數(shù)據(jù)資產(chǎn)，團(tuán)隊(duì)管理者及數(shù)據(jù)工程師通常會(huì)遇到以下問題：

• 只能評(píng)經(jīng)驗(yàn)判斷哪些是核心資產(chǎn)，遇到問題無法評(píng)估解決的優(yōu)先級(jí)。
• 核心鏈路的保障，比如SLA及DQC的配置范圍缺少科學(xué)的評(píng)估手段。
• 管理者對(duì)團(tuán)隊(duì)核心資產(chǎn)缺乏準(zhǔn)確的判斷，無法準(zhǔn)確有效的做出管理動(dòng)作。

為豐富元數(shù)據(jù)之間的關(guān)系和內(nèi)容，挖掘識(shí)別更有價(jià)值的數(shù)據(jù)信息，以元數(shù)據(jù)能力驅(qū)動(dòng)數(shù)據(jù)研發(fā)及運(yùn)維日常工作，在元數(shù)據(jù)倉庫的基礎(chǔ)上我們做了衍生能力即資產(chǎn)等級(jí)的建設(shè)。資產(chǎn)等級(jí)可以對(duì)數(shù)據(jù)的重要性進(jìn)行科學(xué)有效地評(píng)估，也可幫助完善數(shù)據(jù)質(zhì)量分級(jí)監(jiān)控方案，從而實(shí)現(xiàn)對(duì)重點(diǎn)任務(wù)的重點(diǎn)保障。

下圖是數(shù)據(jù)資產(chǎn)等級(jí)通用計(jì)算流程，我們首先根據(jù)資產(chǎn)類型確認(rèn)各個(gè)影響因子及影響權(quán)重值，劃分影響因子重要性等級(jí)，其次根據(jù)各個(gè)影響因子數(shù)值范圍劃分得分區(qū)間，最后匯總計(jì)算得到最終資產(chǎn)等級(jí)得分及資產(chǎn)等級(jí)結(jié)果，并抽樣驗(yàn)證結(jié)果的準(zhǔn)確性。

圖18 資產(chǎn)等級(jí)計(jì)算流程

① 資產(chǎn)等級(jí)建設(shè)（數(shù)據(jù)表）

下圖是針對(duì)數(shù)據(jù)表資產(chǎn)等級(jí)建設(shè)的方法和流程圖：

圖19 數(shù)據(jù)表資產(chǎn)等級(jí)劃分

• 確定影響因子及權(quán)重評(píng)估

影響因子的確定是資產(chǎn)等級(jí)計(jì)算中最為關(guān)鍵一環(huán)，合理評(píng)估影響因子對(duì)最終資產(chǎn)等級(jí)結(jié)果的準(zhǔn)確性至關(guān)重要。根據(jù)實(shí)際數(shù)據(jù)開發(fā)中經(jīng)驗(yàn)可知，影響數(shù)據(jù)表重要程度主要有以下幾個(gè)關(guān)鍵因素：

• 下游類型：決定下游資產(chǎn)重要程度，下游資產(chǎn)類型一般有ETL任務(wù)和數(shù)據(jù)產(chǎn)品兩類，ETL任務(wù)及數(shù)據(jù)產(chǎn)品又根據(jù)重要度分為普通型及VIP型。
• 下游數(shù)量：決定是否是關(guān)鍵節(jié)點(diǎn)，對(duì)下游生產(chǎn)的影響范圍，下游數(shù)量越多表明影響范圍越大。
• 使用熱度：決定是否有用，影響查詢用戶的范圍，熱度越高表明影響的用戶范圍越廣。
• 鏈路深度及分層：決定問題的修復(fù)時(shí)間，鏈路越深，問題修復(fù)的時(shí)間可能就越長。

確定好影響因子之后，我們需要判斷每個(gè)影響因子所占的權(quán)重值。我們采用層次分析法來計(jì)算權(quán)重值（層次分析法主要應(yīng)用在不確定情況下及具有多數(shù)個(gè)評(píng)估準(zhǔn)則的決策問題上，具體計(jì)算步驟，大家可查閱相關(guān)的資料），其優(yōu)點(diǎn)是把研究對(duì)象作為一個(gè)系統(tǒng)，按照分解、比較判斷、綜合的思維方式進(jìn)行決策，而且計(jì)算過程簡潔實(shí)用。

• 計(jì)算資產(chǎn)等級(jí)得分

根據(jù)實(shí)際情況對(duì)每個(gè)影響因子劃分得分區(qū)間，并結(jié)合每個(gè)影響因子權(quán)重值，可以計(jì)算得到資產(chǎn)等級(jí)最終得分?？偟梅譃楦饔绊懸蜃拥梅峙c對(duì)應(yīng)權(quán)重乘積加和。

• 資產(chǎn)等級(jí)映射

我們將資產(chǎn)等級(jí)最終得分劃分區(qū)間至L1 ~ L5，L5為最高資產(chǎn)等級(jí)，L1為最低資產(chǎn)等級(jí)。

圖20 資產(chǎn)等級(jí)劃分

② 資產(chǎn)等級(jí)應(yīng)用場景（數(shù)據(jù)表）

目前，資產(chǎn)等級(jí)已運(yùn)用到日常管治實(shí)施，為數(shù)據(jù)分級(jí)管治提供了有力的抓手：

圖21 資產(chǎn)等級(jí)應(yīng)用場景

3、系統(tǒng)化

1）數(shù)據(jù)百品-管治中心

除了標(biāo)準(zhǔn)化和數(shù)字化之外，我們數(shù)據(jù)治理體系落地仍面臨諸多問題：

• 數(shù)據(jù)資產(chǎn)無法統(tǒng)計(jì)和描述，管理者及數(shù)據(jù)工程師不知道有什么，缺乏資產(chǎn)的可視化。
• 管理者缺少抓手發(fā)現(xiàn)團(tuán)隊(duì)的問題，且問題難以追蹤。
• 治理線上化程度低，需要跳轉(zhuǎn)多個(gè)工具，治理效率低，治理過程無法標(biāo)準(zhǔn)化，導(dǎo)致結(jié)果無法保障。

針對(duì)上述問題，我們搭建了數(shù)據(jù)百品-管治中心治理平臺(tái)（美團(tuán)內(nèi)部產(chǎn)品），實(shí)現(xiàn)了集資產(chǎn)管理、問題分析監(jiān)控、自動(dòng)化治理、過程追蹤、結(jié)果評(píng)價(jià)的一站式、全覆蓋數(shù)據(jù)治理平臺(tái)，能有效提升治理質(zhì)量和效率，為數(shù)據(jù)質(zhì)量提升做好強(qiáng)有力的支撐。通過“管+治”相結(jié)合的理念，分別從管理者及研發(fā)人員的視角對(duì)數(shù)據(jù)、人效等問題實(shí)現(xiàn)全面監(jiān)控，并實(shí)現(xiàn)了資產(chǎn)全景、管理中心、治理中心三大模塊：

圖22 管治中心建設(shè)思路

① 資產(chǎn)全景

資產(chǎn)全景從管理者+數(shù)據(jù)RD視角出發(fā)，介紹了當(dāng)前數(shù)據(jù)現(xiàn)狀即有什么的問題，幫助業(yè)務(wù)線管理者及數(shù)據(jù)RD實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)可視化，為管理者提供技術(shù)管理的抓手，為數(shù)據(jù)RD提升數(shù)據(jù)探查和數(shù)據(jù)使用效率。包含資產(chǎn)大盤、資產(chǎn)目錄、個(gè)人資產(chǎn)三個(gè)子模塊：

• 資產(chǎn)大盤：從業(yè)務(wù)線管理者視角出發(fā)，展示了業(yè)務(wù)線內(nèi)各類資產(chǎn)概覽，幫助管理者一站式快速了解組內(nèi)數(shù)據(jù)資產(chǎn)，無需跳轉(zhuǎn)多個(gè)平臺(tái)。
• 資產(chǎn)目錄：展示團(tuán)隊(duì)數(shù)據(jù)各資產(chǎn)類型及明細(xì)，為數(shù)據(jù)RD數(shù)據(jù)使用提供信息支撐，提升RD數(shù)據(jù)探查效率。
• 個(gè)人資產(chǎn)：從歸屬人視角，展示數(shù)據(jù)RD個(gè)人及小組名下數(shù)據(jù)資產(chǎn)數(shù)量和資產(chǎn)類型及數(shù)據(jù)明細(xì)，詳細(xì)描述個(gè)人資產(chǎn)信息。

圖23 資產(chǎn)全景建設(shè)思路

② 管理中心

數(shù)據(jù)團(tuán)隊(duì)管理者在日常團(tuán)隊(duì)管理中時(shí)經(jīng)常會(huì)面臨兩個(gè)問題：

• 管理手段多依賴經(jīng)驗(yàn)判斷，當(dāng)團(tuán)隊(duì)需求承接增加、團(tuán)隊(duì)人數(shù)增加時(shí)會(huì)帶來管理難度的提升，管理者缺少抓手快速看到團(tuán)隊(duì)的整體情況。
• 管理動(dòng)作天級(jí)別。管理者發(fā)現(xiàn)團(tuán)隊(duì)某核心指標(biāo)異常（例如：故障數(shù)），需要找對(duì)應(yīng)的責(zé)任人詢問，無法從系統(tǒng)上快速進(jìn)行異常追蹤，原因獲取。

管理中心主要從管理者視角出發(fā)，解決了怎么管的問題，通過管理者關(guān)注的核心指標(biāo)，為管理者提供監(jiān)測團(tuán)隊(duì)狀態(tài)、判斷團(tuán)隊(duì)問題、輔助管理決策的能力，讓管理者從“依賴經(jīng)驗(yàn)管理”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動(dòng)管理”。包含管理者大盤、運(yùn)維管理、需求管理、團(tuán)隊(duì)管理四大模塊：

• 管理者大盤：向管理者提供團(tuán)隊(duì)核心指標(biāo)總覽、問題趨勢分析、異常明細(xì)追蹤、異常原因標(biāo)記等功能，方便管理者快速了解團(tuán)隊(duì)情況，及時(shí)做出管理動(dòng)作。
• 需求管理：提供詳細(xì)的人效分析大盤以及需求管理功能，服務(wù)于人效管理及提效。
• 故障管理：提供詳細(xì)的故障分析大盤以及故障復(fù)盤管理能力，提升故障管理效率。
• 團(tuán)隊(duì)運(yùn)營：團(tuán)隊(duì)周月報(bào)，值班，滿意度問卷等團(tuán)隊(duì)運(yùn)營需要的能力，提升運(yùn)營效率。

圖24 管理中心建設(shè)思路

③ 治理中心

日常數(shù)據(jù)治理過程中，問題責(zé)任人解決問題主要有以下痛點(diǎn)：

• 不了解分配給自己的待治理問題背景、目標(biāo)和重要程度。治理工作成為盲目去完成分配的任務(wù)，即使完成了治理動(dòng)作，可能依然無法保證是否真正達(dá)到治理目標(biāo)，尤其是面對(duì)同時(shí)需要處理多類治理問題時(shí)，效果差。
• 數(shù)據(jù)治理解決問題時(shí)通常要使用各類工具互相輔助才能解決，問題多了之后，治理問題變成了重復(fù)使用不同的工具，嚴(yán)重影響治理效率和效果。

治理中心從問題責(zé)任人視角出發(fā)，解決了怎么治的問題，為一線治理工程師提供從問題評(píng)估分析，到治理，到進(jìn)度監(jiān)控的一站式治理能力。將治理工作精細(xì)化、常態(tài)化運(yùn)營，提升了數(shù)倉治理質(zhì)量和效率。包含治理概覽、分析評(píng)估、問題治理、進(jìn)度監(jiān)控四大模塊。

• 治理概覽：治理中心首頁，介紹了團(tuán)隊(duì)數(shù)據(jù)治理體系框架及標(biāo)準(zhǔn)化治理成果，讓使用者在認(rèn)知上與治理中心的治理理念一致，并提供數(shù)據(jù)治理優(yōu)秀解決方案。
• 分析評(píng)估：對(duì)七大類治理問題進(jìn)行量化評(píng)估，提供治理優(yōu)先級(jí)及問題排名，讓用戶了解應(yīng)該先做什么。
• 問題治理：提供豐富治理指標(biāo)，全面衡量治理問題，問題分配及時(shí)通知，并利用SOP自動(dòng)化工具，實(shí)現(xiàn)對(duì)解決問題過程的標(biāo)準(zhǔn)化，保障治理效果，提高治理效率。
• 進(jìn)度監(jiān)控：提供問題治理進(jìn)度看板及問題分配進(jìn)度監(jiān)控，便于管理者宏觀把控問題治理進(jìn)度，合理規(guī)劃分配節(jié)奏。

圖25 治理中心建設(shè)思路

2）SOP自動(dòng)化工具

在日常數(shù)據(jù)治理過程中，每個(gè)團(tuán)隊(duì)都會(huì)沉淀若干SOP規(guī)范文檔來指導(dǎo)大家進(jìn)行問題治理，減少問題發(fā)生。但是在SOP的落地上，依然存在很多問題：

• SOP一般以Wiki形式存在，實(shí)際執(zhí)行過程無法跟蹤約束。
• SOP動(dòng)作的執(zhí)行需要跳轉(zhuǎn)多個(gè)平臺(tái)系統(tǒng)，執(zhí)行效率低下。

① 建設(shè)方案

基于上述問題，我們開發(fā)了SOP自動(dòng)化配置工具。SOP自動(dòng)化工具是一款SOP配置工具，適用于問題治理類SOP，將治理動(dòng)作通過工具進(jìn)行配置以提高治理效率，進(jìn)而保證過程質(zhì)量和結(jié)果質(zhì)量。目標(biāo)是解決SOP規(guī)范文檔在落地過程中遇到的執(zhí)行效率低、過程無法跟蹤監(jiān)控的問題，實(shí)現(xiàn)一站式解決問題的能力。

SOP自動(dòng)化工具主要包含基礎(chǔ)組建層、配置層及應(yīng)用層，以下是產(chǎn)品架構(gòu)圖及產(chǎn)品界面：

• 基礎(chǔ)組建層：SOP最小粒度模塊，包括展示類組件（富文本、表格、IFrame），邏輯控制類組件（單選、多選），用戶可根據(jù)SOP內(nèi)容選擇多個(gè)基礎(chǔ)組件組合。
• 配置層：配置SOP中使用參數(shù)信息及執(zhí)行步驟。
• 應(yīng)用層：SOP最終效果展示，通過URL接口對(duì)外提供服務(wù)，比如治理中心可調(diào)用SOP工具接口實(shí)現(xiàn)一站式治理能力。

圖26 SOP自動(dòng)化工具架構(gòu)

圖27 SOP自動(dòng)化工具產(chǎn)品

② SOP實(shí)際操作步驟

用戶在創(chuàng)建SOP后可選擇性配置需要展示的數(shù)據(jù)信息，然后按照SOP執(zhí)行步驟依次拖動(dòng)各個(gè)基礎(chǔ)組件，并填寫執(zhí)行操作完成SOP的配置工作，在效果預(yù)覽完成后即可發(fā)布上線并生成外嵌URL。自動(dòng)化工具主要通過外嵌的形式對(duì)外提供服務(wù)。

圖28 SOP工具化操作步驟

③ 應(yīng)用場景

通過SOP自動(dòng)化工具，數(shù)據(jù)治理已實(shí)現(xiàn)了問題解決過程線上化、步驟標(biāo)準(zhǔn)化，很好地保障了治理效果，提升了治理效率。下圖是無效存儲(chǔ)指標(biāo)在使用SOP自動(dòng)化工具前后的流程對(duì)比，通過對(duì)比，我們可以看到之前工程師需要人工確認(rèn)若干信息，并跳轉(zhuǎn)多個(gè)平臺(tái)操作，現(xiàn)在只需要在一個(gè)界面完成所有動(dòng)作，極大地減輕了研發(fā)人員的工作量。

圖29 無效存儲(chǔ)流程優(yōu)化對(duì)比

目前，我們團(tuán)隊(duì)已完成7大治理域內(nèi)30多個(gè)指標(biāo)的治理SOP建設(shè)，并均已通過自動(dòng)化工具落地。后續(xù)，我們?nèi)詫⑻剿髌渌麑ｍ?xiàng)治理內(nèi)容，并利用SOP自動(dòng)化工具輔助開展數(shù)據(jù)治理的工作。

3）經(jīng)驗(yàn)總結(jié)

通過數(shù)據(jù)治理系統(tǒng)化的建設(shè)，我們總結(jié)了以下幾點(diǎn)：

• 系統(tǒng)化是將解決問題的方法從線下到線上，從散點(diǎn)動(dòng)作到連貫動(dòng)作的一種有效解決方案。
• 沒有完美的系統(tǒng)，也不必追求完美，考慮投入產(chǎn)出比，快速解決主要矛盾，應(yīng)用到具體問題解決中。
• 產(chǎn)品定位設(shè)計(jì)，產(chǎn)品長遠(yuǎn)規(guī)劃的能力設(shè)計(jì)尤為重要，否則容易出現(xiàn)“做著做著不知道做什么，不知道往什么方向發(fā)展”的情況。

五、業(yè)務(wù)數(shù)據(jù)治理實(shí)施流程

數(shù)據(jù)治理實(shí)施流程，是我們依據(jù)業(yè)務(wù)數(shù)據(jù)治理標(biāo)準(zhǔn)化框架在實(shí)施解決具體數(shù)據(jù)問題時(shí)，總結(jié)抽象出來的一套適用于大多數(shù)治理場景解決問題的通用標(biāo)準(zhǔn)流程。標(biāo)準(zhǔn)流程的好處在于更加規(guī)范化數(shù)據(jù)治理工程師的操作流程，來保證實(shí)施的質(zhì)量。流程一共包含5個(gè)步驟：

1）發(fā)現(xiàn)問題和制定目標(biāo)，發(fā)現(xiàn)問題要從業(yè)務(wù)數(shù)據(jù)開發(fā)團(tuán)隊(duì)的視角出發(fā)，圍繞服務(wù)好業(yè)務(wù)、遵守?cái)?shù)據(jù)研發(fā)規(guī)范、收集好用戶反饋，盡可能全地發(fā)現(xiàn)和收集相關(guān)需要解決的問題。同時(shí)，制定的目標(biāo)要具備可實(shí)現(xiàn)性。

2）針對(duì)問題進(jìn)行拆解，設(shè)計(jì)可衡量的指標(biāo)，并通過元數(shù)據(jù)的采集建設(shè)進(jìn)行實(shí)現(xiàn)，用做對(duì)目標(biāo)的進(jìn)一步量化，并作為實(shí)施過程監(jiān)控及治理抓手。

3）對(duì)衡量出來的具體問題，制定相關(guān)的解決SOP，并且檢查相應(yīng)的研發(fā)標(biāo)準(zhǔn)規(guī)范是否完善，通過問題發(fā)生的事前、事中、事后幾個(gè)階段，建設(shè)或完善相應(yīng)的工具化解決問題的能力。

4）推廣運(yùn)營，以拿結(jié)果為核心目標(biāo)，針對(duì)不同角色運(yùn)用不同策略，重點(diǎn)關(guān)注問題解決過程是否會(huì)與用戶利益發(fā)生沖突，控制好節(jié)奏，根據(jù)問題的重要程度有規(guī)劃地進(jìn)行解決。

5）總結(jié)沉淀方法論，迭代認(rèn)知，持續(xù)探索問題的最優(yōu)解，優(yōu)化治理方案和能力。

圖30 業(yè)務(wù)數(shù)據(jù)治理實(shí)施流程

六、總結(jié)與展望

經(jīng)過在數(shù)據(jù)治理體系化建設(shè)上的持續(xù)思考與實(shí)踐，我們的體系化框架基本建立，在數(shù)據(jù)治理的標(biāo)準(zhǔn)化、數(shù)字化和系統(tǒng)化三個(gè)方向上取得了較大的進(jìn)展，并且在業(yè)務(wù)應(yīng)用上取得了一定的成績。更重要的是，我們在數(shù)據(jù)成本、安全、效率等多個(gè)領(lǐng)域都幫助業(yè)務(wù)解決了實(shí)際的問題，尤其是在成本方面，預(yù)計(jì)每年可以幫助業(yè)務(wù)可節(jié)省數(shù)百萬的成本，獲得了業(yè)務(wù)方的肯定。

但對(duì)比“理想終態(tài)”，我們的工作仍任重道遠(yuǎn)。數(shù)據(jù)治理體系化框架這個(gè)龐大“身軀”中的各個(gè)血脈、骨骼、臟腑還需要持續(xù)充盈，在流程規(guī)范、元數(shù)據(jù)數(shù)倉、指標(biāo)體系、資產(chǎn)分級(jí)等的建設(shè)過程中，還有很多需要靠專家經(jīng)驗(yàn)、人為判斷、人工操作串聯(lián)的場景存在。下一步，我們將在智能化（如智能化元數(shù)據(jù)服務(wù)、智能化數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)等）、自動(dòng)化（基于治理框架的治理應(yīng)用場景的線上化建設(shè)等）等方面發(fā)力。