在企業(yè)數(shù)據(jù)建設過程中，大數(shù)據(jù)治理受到越來越多的重視。從企業(yè)數(shù)據(jù)資產(chǎn)管理和提升數(shù)據(jù)質(zhì)量，到自服務和智能化的數(shù)據(jù)應用，大數(shù)據(jù)治理的內(nèi)容在不斷發(fā)展和完善，其落地實施的過程中會遇到各種各樣的難題和挑戰(zhàn)。本篇文章通過分析大數(shù)據(jù)治理建設中的溝溝坎坎，總結(jié)出了大數(shù)據(jù)治理需要具備的能力和關鍵技術。

一、困難重重卻充滿光明的大數(shù)據(jù)治理發(fā)展之路

1. 傳統(tǒng)數(shù)據(jù)治理一直無法逃脫的魔咒

大數(shù)據(jù)治理從建設內(nèi)容和實施目標上可以劃分成不同的階段，每個階段完成不同的任務，隨著階段的遞進，建設內(nèi)容逐步加深，不同的企業(yè)切入點和訴求也各不相同。大致分為以下幾個階段：

(1) 摸家底階段

• 內(nèi)容：企業(yè)元數(shù)據(jù)梳理和采集
• 目標：構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫

(2) 建體系

• 內(nèi)容：建立企業(yè)標準和質(zhì)量提升體系
• 目標：提升數(shù)據(jù)質(zhì)量

(3) 促應用

• 內(nèi)容：自服務通道、構(gòu)建企業(yè)知識圖譜
• 目標：數(shù)據(jù)智能應用

??

然而，大數(shù)據(jù)治理建設之路并不是一帆風順的，甚至可以說充滿了各種問題和困難，如何管理企業(yè)級的數(shù)據(jù)資產(chǎn)、如何讓業(yè)務積極參與到數(shù)據(jù)建設中來、如何降低數(shù)據(jù)治理的落地難度等一系列問題，一直困擾著數(shù)據(jù)治理的發(fā)展，傳統(tǒng)數(shù)據(jù)治理的問題主要體現(xiàn)在以下幾個方面：

(4) 管理范圍窄

要做數(shù)據(jù)治理首先要知道有哪些數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)治理往往只管理了數(shù)據(jù)領域，很少關注業(yè)務、管理和開發(fā)相關的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)管理范圍比較窄，而且，受限于技術實現(xiàn)，即使在數(shù)據(jù)領域的數(shù)據(jù)資產(chǎn)也很難做到精確管理;

(5) 業(yè)務難結(jié)合

業(yè)務元數(shù)據(jù)的廣泛缺失，導致業(yè)務人員無法使用技術性的元數(shù)據(jù)系統(tǒng)，元數(shù)據(jù)缺乏業(yè)務用戶，使用者少;

(6) 應用場景缺

元數(shù)據(jù)被當成單獨的系統(tǒng)，而不是廣泛的技術基礎，導致只關心元數(shù)據(jù)本身的應用場景;

(7) 技術不完善

在技術層面存儲缺乏擴展性，采集自動程度不高，管理實時性不高。

2. 自服務大數(shù)據(jù)治理是解決問題之道

自服務的大數(shù)據(jù)治理平臺具備管理、開發(fā)、共享、使用等能力，通過自動、自助、智能化的大數(shù)據(jù)治理，能夠?qū)崿F(xiàn)對數(shù)據(jù)的找、供、用、治，從而一站式解決傳統(tǒng)數(shù)據(jù)治理在大數(shù)據(jù)時代的各種難題，具體涉及到以下幾個方面。

(1) 建好數(shù)據(jù)管理體系，快速識別數(shù)據(jù)

自服務大數(shù)據(jù)治理平臺可以實現(xiàn)有數(shù)據(jù)可管理。現(xiàn)在的企業(yè)數(shù)據(jù)資產(chǎn)繁雜眾多，特別是建設大數(shù)據(jù)平臺的企業(yè)，數(shù)據(jù)的類型、分布、實現(xiàn)技術、所屬部門等都很繁雜，通過手工一點點梳理是不現(xiàn)實的，如何低成本、快速有效地將數(shù)據(jù)梳理和管理起來?這是做大數(shù)據(jù)治理遇到的***個坎。

自服務大數(shù)據(jù)治理平臺可以通過自動化手段，自動識別企業(yè)數(shù)據(jù)資產(chǎn)并標明數(shù)據(jù)方位和屬性，建立業(yè)務能理解的數(shù)據(jù)服務目錄。

(2) 建立數(shù)據(jù)治理體系，監(jiān)控并快速發(fā)現(xiàn)問題

自服務大數(shù)據(jù)治理平臺可以保障企業(yè)數(shù)據(jù)資產(chǎn)的質(zhì)量。企業(yè)內(nèi)數(shù)據(jù)環(huán)境復雜，很容易出現(xiàn)數(shù)據(jù)不一致、數(shù)據(jù)不及時、數(shù)據(jù)缺失等一系列問題，如何識別并快速定位數(shù)據(jù)問題?特別是針對海量數(shù)據(jù)，如何在不影響性能情況下找出問題數(shù)據(jù)?這是做大數(shù)據(jù)治理遇到的第二個坎。

通過自服務大數(shù)據(jù)治理平臺建立和支撐起基于數(shù)據(jù)指標、質(zhì)量檢核、問題發(fā)現(xiàn)和監(jiān)控的完善數(shù)據(jù)治理體系，從事前、事中和事后等各個環(huán)節(jié)規(guī)避、發(fā)現(xiàn)和解決數(shù)據(jù)問題，將能保證數(shù)據(jù)應用無后顧之憂。

二、大數(shù)據(jù)治理技術需要不斷革新

數(shù)據(jù)治理的目標是把數(shù)據(jù)管起來、用起來、保證數(shù)據(jù)質(zhì)量，這些目標離不開各種技術的支持，這些技術包括元數(shù)據(jù)自動采集和關聯(lián)、數(shù)據(jù)質(zhì)量的探查和提升、數(shù)據(jù)的自助服務和智能應用等。

1. 管起來：數(shù)據(jù)資產(chǎn)的自動化采集、存儲技術要實現(xiàn)大數(shù)據(jù)治理的資產(chǎn)管理，需要做足三個方面的工作：

采集：指從各種工具中，把各種類型的元數(shù)據(jù)采集進來。

存儲：采集元數(shù)據(jù)之后需要相應的存儲策略來對元數(shù)據(jù)進行存儲，這需要在不改變存儲架構(gòu)的情況下擴展元數(shù)據(jù)存儲的類型;

管理和應用：在采集和存儲完成后，對已經(jīng)存儲的元數(shù)據(jù)進行管理和應用。

***，針對數(shù)據(jù)資產(chǎn)的存儲，模型體系規(guī)范為元數(shù)據(jù)管理提供了基礎，通過模型管理可以實現(xiàn)統(tǒng)一穩(wěn)定的元數(shù)據(jù)存儲，統(tǒng)一的標準和規(guī)范能很好地解決通用性和擴展性。

傳統(tǒng)數(shù)據(jù)資產(chǎn)管理采用CWM規(guī)范進行數(shù)據(jù)資產(chǎn)存儲設計，該規(guī)范提供了一個描述相關數(shù)據(jù)信息元數(shù)據(jù)的基礎框架，并為各種元數(shù)據(jù)之間的通信和共享提供了一套切實可行的標準。但是，隨著元數(shù)據(jù)管理范圍的不斷擴大，CWM規(guī)范已經(jīng)不能滿足通用的元數(shù)據(jù)管理需求，針對微服務、業(yè)務等也需要一套規(guī)范支撐。MOF規(guī)范位于模型體系***層，可以為元數(shù)據(jù)存儲提供統(tǒng)一的管理理論基礎。

第二，元數(shù)據(jù)管理第二個核心問題是解決各類元數(shù)據(jù)的采集，由于元數(shù)據(jù)類型多種多樣，而且在不斷增加，所以，如何以最小代價，快速納入管理新類型元數(shù)據(jù)的能力，是元數(shù)據(jù)管理的核心。

采用可插拔的適配器方式實現(xiàn)元數(shù)據(jù)的采集是一個很好的選擇。其中，數(shù)據(jù)采集適配器應支持各類數(shù)據(jù)源的采集，當有一個新的數(shù)據(jù)源需要接入的時候，只需按照規(guī)范快速開發(fā)一套針對性的適配器，就能實現(xiàn)新類型元數(shù)據(jù)的納入管理。

第三，與人工相比，技術的最突出特點是速度快和精確。因此，如何通過技術手段精確地獲取數(shù)據(jù)資產(chǎn)是關鍵，特別是元數(shù)據(jù)關系，一般都存在于模型設計工具、ETL工具，甚至開發(fā)的SQL腳本中，因此需要通過工具組件解析(接口、數(shù)據(jù)庫)、SQL語法解析等手段完成關系的獲取和建立。準確解析后的關系，還需要通過直觀的關系圖展現(xiàn)出來。

2. 有保障：數(shù)據(jù)質(zhì)量探查和提升技術

通過大數(shù)據(jù)治理來提升數(shù)據(jù)質(zhì)量的過程中，涉及到很多環(huán)節(jié)、工作和技術，其中包括：通過合理的技術找出數(shù)據(jù)問題并找到問題數(shù)據(jù);從各個維度監(jiān)控數(shù)據(jù)問題，并能通過最直觀和快捷的方式反饋給相關責任人;實現(xiàn)問題發(fā)現(xiàn)、認責、處理、歸檔等數(shù)據(jù)問題的閉環(huán)解決流程等。中間主要涉及到以下兩個方面：

***，要想及時全面地找到問題數(shù)據(jù)，不僅要關注關鍵點，還要有合適的方法。數(shù)據(jù)最容易出現(xiàn)質(zhì)量問題的地方就是數(shù)據(jù)集成(流動)點，例如：性別在單系統(tǒng)中，有1和0或者男和女表示都行，但是系統(tǒng)間集成時就會有問題。因此，解決數(shù)據(jù)質(zhì)量的關鍵，就在于在集成點檢查數(shù)據(jù)質(zhì)量。另外，針對大數(shù)據(jù)量的數(shù)據(jù)質(zhì)量檢查，即要保證實時性，也要保證不影響業(yè)務系統(tǒng)的正常運行，因此在對特別大的數(shù)據(jù)量進行檢查時，要采用抽樣檢查的方式。

第二，數(shù)據(jù)問題發(fā)現(xiàn)后，還要直觀地將數(shù)據(jù)問題展現(xiàn)出來并及時通知相關人員。因此大數(shù)據(jù)治理平臺應提供實時、全面的數(shù)據(jù)監(jiān)控，實現(xiàn)多維度實時的數(shù)據(jù)資產(chǎn)信息展示：

從作業(yè)、模型、物理資源等各方面進行全面的數(shù)據(jù)資產(chǎn)盤點;

對數(shù)據(jù)及時性、問題數(shù)據(jù)量等方面的數(shù)據(jù)健康環(huán)境進行全面的預警。

3. 用起來：自助化數(shù)據(jù)服務構(gòu)建技術

大數(shù)據(jù)治理的最終目標是為最終用戶提供數(shù)據(jù)，這需要快速找到數(shù)據(jù)，并快速建立數(shù)據(jù)交換的通道。

知識圖譜是一種非常好用、直觀的數(shù)據(jù)應用方式。人工智能的知識圖譜構(gòu)建，可以從以下步驟考慮：

基于企業(yè)元數(shù)據(jù)信息，通過自然語言處理、機器學習、模式識別等算法，以及業(yè)務規(guī)則過濾等方式，實現(xiàn)知識的提取;

以本體形式表示和存儲知識，自動構(gòu)建成起資產(chǎn)知識圖譜;

通過知識圖譜關系，利用智能搜索、關聯(lián)查詢等手段，為最終用戶提供更加精確的數(shù)據(jù)。

基于元數(shù)據(jù)的自助數(shù)據(jù)服務開發(fā)，可以簡單快速地建立數(shù)據(jù)通道。通過自助化的數(shù)據(jù)生產(chǎn)線，數(shù)據(jù)使用方(業(yè)務人員)大大減少了對開發(fā)人員依賴，80%以上的數(shù)據(jù)需求，都能通過自己進行整合開發(fā)，最終獲取數(shù)據(jù)。讓所有用數(shù)據(jù)的人能方便得到想要的數(shù)據(jù)。其中，提供所需數(shù)據(jù)的自助查詢能力、自動生成數(shù)據(jù)服務、及時穩(wěn)定的獲得數(shù)據(jù)通道、保證數(shù)據(jù)安全是實現(xiàn)自助化的大數(shù)據(jù)生產(chǎn)線的四個關鍵點。

三、如何選擇合適的大數(shù)據(jù)治理工具?

工欲善其事必先利其器，大數(shù)據(jù)治理的落地開展離不開工具的支撐。大數(shù)據(jù)治理工具一般分為兩類：一類是單個工具，另一類是集成平臺，用于不同的階段、場景和客戶。其中，單獨工具有：元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)等，集成平臺包括數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)治理平臺、自助服務平臺等。

下面重點介紹其中兩個核心的工具：一個是元數(shù)據(jù)，另一個是自助數(shù)據(jù)服務平臺;

1. 大數(shù)據(jù)治理的核心——元數(shù)據(jù)管理工具

元數(shù)據(jù)是大數(shù)據(jù)治理的核心，元數(shù)據(jù)管理工具應該支持企業(yè)級數(shù)據(jù)資產(chǎn)管理，并且從技術上支持各類數(shù)據(jù)采集與數(shù)據(jù)的直觀展現(xiàn)，從應用上也要支持不同類型用戶的實際應用場景，一個合格的元數(shù)據(jù)管理工具，需要具備以下幾項基本能力：

首先，元數(shù)據(jù)要有全面的數(shù)據(jù)管理能力。無論是傳統(tǒng)數(shù)據(jù)還是大數(shù)據(jù)，無論是工具還是模板等，都應該是元數(shù)據(jù)的管理范疇。對于企業(yè)來說，要想統(tǒng)一管理所有信息資產(chǎn)，還依靠原來人工錄入資產(chǎn)的方式肯定是不行的，企業(yè)需要從技術上提供各種自動化能力，實現(xiàn)對資產(chǎn)信息的自動獲取，包括自動數(shù)據(jù)信息采集、自動服務信息采集與自動業(yè)務信息采集等，這要求企業(yè)使用的數(shù)據(jù)管理工具支持一系列的采集器，并且多采用直連的方式來采集相關信息。

??

其次，盡管元數(shù)據(jù)是一個基礎的管理工具，也需要具備好的顏值和便捷的使用方式，以便給用戶帶來好的應用感受。作為一款元數(shù)據(jù)管理工具，能讓用戶能在一個界面全面了解到元數(shù)據(jù)信息，通過圖像從更多維度、更直觀地了解企業(yè)數(shù)據(jù)全貌和數(shù)據(jù)關系是很重要的。除此之外，通過H5等流行的展現(xiàn)技術實現(xiàn)各瀏覽器的兼容，支持界面的移植也是元數(shù)據(jù)管理工具必不可少的能力。

再次，元數(shù)據(jù)管理工具不僅僅是一個工具，還需要關注各類人的使用訴求，跟具體用戶的使用場景相結(jié)合。對于業(yè)務人員來說，通過元數(shù)據(jù)管理的業(yè)務需求管理，能更容易地和技術人員溝通，便于需求的技術落地;對于開發(fā)人員來說，通過元數(shù)據(jù)管理能管控系統(tǒng)的開發(fā)上線、提升開發(fā)規(guī)范性，自動生成上線腳本，降低開發(fā)工作難度和出錯幾率;對于運維人員來說，通過元數(shù)據(jù)管理能讓日常巡檢、版本維護等工作變得簡單可控，輔助日常問題分析查找，簡化運維工作。

??

2. 大數(shù)據(jù)治理的***實踐——自助化數(shù)據(jù)服務平臺

大數(shù)據(jù)治理最終目標不僅僅是為了管理數(shù)據(jù)，而是為用戶提供一套數(shù)據(jù)服務的生產(chǎn)線，讓用戶能通過這條生產(chǎn)線自助地找到數(shù)據(jù)、獲得數(shù)據(jù)，并規(guī)范化地使用數(shù)據(jù)，因此自助化數(shù)據(jù)服務共享平臺是大數(shù)據(jù)治理必不可少的工具。

??

作為大數(shù)據(jù)治理的落地工具，自助化數(shù)據(jù)服務共享平臺不僅要為開發(fā)者提供一套完整的數(shù)據(jù)生產(chǎn)線，也需要給運維者提供易用的監(jiān)控界面，畢竟系統(tǒng)的運維才是工具應用的常態(tài)。全局的數(shù)據(jù)資產(chǎn)監(jiān)控能力和數(shù)據(jù)問題跟蹤能力同樣重要，通過全局的數(shù)據(jù)資產(chǎn)監(jiān)控能力，能使客戶方便地了解到企業(yè)數(shù)據(jù)共享交換的全貌、系統(tǒng)間的數(shù)據(jù)關系和數(shù)據(jù)提供方和消費方的使用情況;通過數(shù)據(jù)問題跟蹤能力，能實現(xiàn)數(shù)據(jù)問題的智能定位，減少運維工作難度。

??

四、總結(jié)

大數(shù)據(jù)治理對企業(yè)數(shù)據(jù)建設的重要性不言而喻，然而實現(xiàn)的困難有時也會讓人望而卻步，選擇合適的技術和工具會達到事半功倍的效果。希望通過本文介紹能夠幫助在建，或者準備規(guī)劃大數(shù)據(jù)治理的各位，在大數(shù)據(jù)治理的資產(chǎn)管理、數(shù)據(jù)質(zhì)量保證、數(shù)據(jù)應用等方面的技術和工具選擇上有所幫助。