[[342434]]

參考數(shù)據(jù)管理是對(duì)定義的數(shù)據(jù)值域進(jìn)行控制，包括對(duì)標(biāo)準(zhǔn)化術(shù)語(yǔ)、代碼值和其他唯一標(biāo)識(shí)符以及每個(gè)取值的業(yè)務(wù)定義的控制，和對(duì)數(shù)據(jù)域值列表內(nèi)部和跨不同列表之間的業(yè)務(wù)關(guān)系的控制;并且對(duì)準(zhǔn)確、及時(shí)和相關(guān)參考數(shù)據(jù)值的一致，共享使用進(jìn)行控制，以進(jìn)行數(shù)據(jù)分類和目錄整編。

如參考數(shù)據(jù)-“ 訂單狀態(tài) ”：新建立、處理中、完結(jié)、取消等。

主數(shù)據(jù)管理是對(duì)主數(shù)據(jù)值進(jìn)行控制，以實(shí)現(xiàn)跨系統(tǒng)的一致、共享、上下文相關(guān)地使用主數(shù)據(jù)，以及對(duì)核心業(yè)務(wù)實(shí)體的真實(shí)情況的最準(zhǔn)確、及時(shí)和相關(guān)的版本進(jìn)行控制。

主數(shù)據(jù)一般包括下列實(shí)體的數(shù)據(jù)：

人，包括個(gè)人、組織及其角色，比如客戶、公民、病人、廠商、供應(yīng)商、業(yè)務(wù)伙伴、競(jìng)爭(zhēng)對(duì)手、員工和學(xué)生等。

產(chǎn)品，包括內(nèi)部和外部的產(chǎn)品。

財(cái)務(wù)結(jié)構(gòu)，例如總賬、成本中心、利潤(rùn)中心等。

位置，例如地址信息

首先必須說(shuō)明，單一的業(yè)務(wù)系統(tǒng)應(yīng)該沒(méi)有主數(shù)據(jù)的概念，參考數(shù)據(jù)為了確保不同的業(yè)務(wù)采用同樣的控制模式，可以存在。

隨著業(yè)務(wù)系統(tǒng)的不斷增加，核心業(yè)務(wù)實(shí)體不斷被抽象出來(lái)，在不同業(yè)務(wù)系統(tǒng)之間實(shí)現(xiàn)業(yè)務(wù)實(shí)體的共享和流轉(zhuǎn)，就產(chǎn)生了主數(shù)據(jù)管理。

按照DAMA-DMBOK，理想的參考數(shù)據(jù)和主數(shù)據(jù)架構(gòu)應(yīng)該是這樣的。

參考數(shù)據(jù)和主數(shù)據(jù)只有一份正本，各業(yè)務(wù)系統(tǒng)只在這一份正本數(shù)據(jù)上進(jìn)行相關(guān)業(yè)務(wù)操作，所有參考數(shù)據(jù)和主數(shù)據(jù)都是一致的。

但實(shí)際上主數(shù)據(jù)管理不是一蹴而就的，而且主數(shù)據(jù)的傳播跟業(yè)務(wù)也很大的相關(guān)性，實(shí)時(shí)性要求高的采用SOA總線接口方式，稍微差一些的采用消息隊(duì)列方式，批量數(shù)據(jù)的傳播則采用sftp/ftp方式，為了確保數(shù)據(jù)的一致性和版本管理，中間還構(gòu)建了主數(shù)據(jù)管理平臺(tái)，逐漸的主數(shù)據(jù)管理就演變成了以下的架構(gòu)方式。

這種架構(gòu)方式看起來(lái)也很合理，但筆者在最近做主數(shù)據(jù)監(jiān)控和管理過(guò)程中，發(fā)現(xiàn)了諸多問(wèn)題，這些問(wèn)題與主數(shù)據(jù)有關(guān)、與數(shù)據(jù)質(zhì)量有關(guān)、和業(yè)務(wù)系統(tǒng)有關(guān) 、和業(yè)務(wù)部門有關(guān)、和數(shù)據(jù)治理組織也有關(guān)。

在前文中有一個(gè)統(tǒng)計(jì)數(shù)據(jù)，據(jù)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量問(wèn)題76%來(lái)自數(shù)據(jù)錄入錯(cuò)誤，53%來(lái)自源系統(tǒng)的變化，48%來(lái)自數(shù)據(jù)遷移或項(xiàng)目改建，46%來(lái)自用戶不同的期望，26%來(lái)自系統(tǒng)錯(cuò)誤。

在主數(shù)據(jù)問(wèn)題分析中，也可以大致分為存量數(shù)據(jù)問(wèn)題、業(yè)務(wù)流程問(wèn)題、技術(shù)問(wèn)題、網(wǎng)絡(luò)問(wèn)題。

網(wǎng)絡(luò)問(wèn)題是造成主數(shù)據(jù)流轉(zhuǎn)出現(xiàn)問(wèn)題的直接原因，網(wǎng)絡(luò)抖動(dòng)和網(wǎng)絡(luò)問(wèn)題時(shí)有發(fā)生，但不是主要問(wèn)題，也可以通過(guò)重發(fā)機(jī)制，將數(shù)據(jù)彌補(bǔ)過(guò)來(lái)。

數(shù)量最多的是存量數(shù)據(jù)問(wèn)題，這類問(wèn)題大多數(shù)歷史遺留原因?qū)е碌模到y(tǒng)上線之初，未按照主數(shù)據(jù)的要求進(jìn)行數(shù)據(jù)遷移，A、B、C要確保一致性，只有A表正常遷移了;但需要同步A、B、C表，下游缺乏B、C表內(nèi)容，所以A表也無(wú)法同步下去，據(jù)統(tǒng)計(jì)存量數(shù)據(jù)問(wèn)題約占了80%的數(shù)據(jù)量。

其次是技術(shù)問(wèn)題，主數(shù)據(jù)從A系統(tǒng)分發(fā)到B系統(tǒng)，但B系統(tǒng)只負(fù)責(zé)接收，但實(shí)際上并未正確入庫(kù)，或者未正確返回狀態(tài)，這樣也會(huì)導(dǎo)致主數(shù)據(jù)不一致，上游的表結(jié)構(gòu)修改也會(huì)導(dǎo)致此類問(wèn)題發(fā)生。

最后是業(yè)務(wù)流程問(wèn)題，A系統(tǒng)和B系統(tǒng)按照相關(guān)的業(yè)務(wù)規(guī)范實(shí)現(xiàn)數(shù)據(jù)流轉(zhuǎn)，但隨著業(yè)務(wù)的變化，A系統(tǒng)進(jìn)行了相關(guān)修訂，但B系統(tǒng)認(rèn)為此修訂與之無(wú)關(guān)，既然無(wú)關(guān)，部分?jǐn)?shù)據(jù)可用可不用，所以干脆直接放棄好了。

后面的三類問(wèn)題通過(guò)組織各個(gè)干系人，包括技術(shù)支撐部門、各業(yè)務(wù)部門、各業(yè)務(wù)廠家，終歸可以得到解決方案，但在實(shí)際解決過(guò)程中，常常面臨著職責(zé)不分，溝通協(xié)調(diào)機(jī)制、費(fèi)用分?jǐn)偟入y題，導(dǎo)致看起來(lái)容易解決的問(wèn)題，實(shí)際解決起來(lái)遙遙無(wú)期。

這就涉及到數(shù)據(jù)治理組織的問(wèn)題了。

本文轉(zhuǎn)載自微信公眾號(hào)「追夢(mèng)IT人」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系追夢(mèng)IT人公眾號(hào)。