企業(yè)主數(shù)據(jù)的管理和實(shí)施
前言
企業(yè)主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù),比如客戶、合作伙伴、員工、產(chǎn)品、物料單、賬戶等;它是具有高業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù),并且存在于多個(gè)異構(gòu)的應(yīng)用系統(tǒng)中。本文將針對(duì)主數(shù)據(jù)管理的概念以及主數(shù)據(jù)管理解決方案的實(shí)施等方面跟大家作一個(gè)探討。
主數(shù)據(jù)和主數(shù)據(jù)管理的概念
企業(yè)主數(shù)據(jù)可以包括很多方面,除了常見的客戶主數(shù)據(jù)之外,不同行業(yè)的客戶還可能擁有其他各種類型的主數(shù)據(jù),例如:對(duì)于電信行業(yè)客戶而言,電信運(yùn)營商提供的各種服務(wù)可以形成其產(chǎn)品主數(shù)據(jù);對(duì)于航空業(yè)客戶而言,航線、航班是其企業(yè)主數(shù)據(jù)的一種。對(duì)于某一個(gè)企業(yè)的不同業(yè)務(wù)部門,其主數(shù)據(jù)也不同,例如市場(chǎng)銷售部門關(guān)心客戶信息,產(chǎn)品研發(fā)部門關(guān)心產(chǎn)品編號(hào)、產(chǎn)品分類等產(chǎn)品信息,人事部門關(guān)心員工機(jī)構(gòu),部門層次關(guān)系等信息。
數(shù)據(jù)管理的范疇和主數(shù)據(jù)管理的概念
如圖所示,企業(yè)數(shù)據(jù)管理的內(nèi)容及范疇通常包括交易數(shù)據(jù)、主數(shù)據(jù)以及元數(shù)據(jù)。
交易數(shù)據(jù): 用于紀(jì)錄業(yè)務(wù)事件,如客戶的訂單,投訴記錄,客服申請(qǐng)等,它往往用于描述在某一個(gè)時(shí)間點(diǎn)上業(yè)務(wù)系統(tǒng)發(fā)生的行為。
主數(shù)據(jù):主數(shù)據(jù)則定義企業(yè)核心業(yè)務(wù)對(duì)象,如客戶、產(chǎn)品、地址等,與交易流水信息不同,主數(shù)據(jù)一旦被記錄到數(shù)據(jù)庫中,需要經(jīng)常對(duì)其進(jìn)行維護(hù),從而確保其時(shí)效性和準(zhǔn)確性;主數(shù)據(jù)還包括關(guān)系數(shù)據(jù),用以描述主數(shù)據(jù)之間的關(guān)系,如客戶與產(chǎn)品的關(guān)系、產(chǎn)品與地域的關(guān)系、客戶與客戶的關(guān)系、產(chǎn)品與產(chǎn)品的關(guān)系等。
元數(shù)據(jù): 即關(guān)于數(shù)據(jù)的數(shù)據(jù),用以描述數(shù)據(jù)類型、數(shù)據(jù)定義、約束、數(shù)據(jù)關(guān)系、數(shù)據(jù)所處的系統(tǒng)等信息。
主數(shù)據(jù)管理是指一整套的用于生成和維護(hù)企業(yè)主數(shù)據(jù)的規(guī)范、技術(shù)和方案,以保證主數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。主數(shù)據(jù)管理的典型應(yīng)用有 Customer Data Integration —客戶數(shù)據(jù)管理和 Product Information Integraiton —產(chǎn)品數(shù)據(jù)管理。
圖 2. 主數(shù)據(jù)管理的信息流
一般來說,主數(shù)據(jù)管理系統(tǒng)從 IT 建設(shè)的角度而言都會(huì)是一個(gè)相對(duì)復(fù)雜的系統(tǒng),它往往會(huì)和企業(yè)數(shù)據(jù)倉庫 / 決策支持系統(tǒng)以及企業(yè)內(nèi)的各個(gè)業(yè)務(wù)系統(tǒng)發(fā)生關(guān)系,技術(shù)實(shí)現(xiàn)上也會(huì)涉及到 ETL、EAI、EII 等多個(gè)方面,如圖 2 所示,一個(gè)典型的主數(shù)據(jù)管理的信息流為:
- 某個(gè)業(yè)務(wù)系統(tǒng)觸發(fā)對(duì)企業(yè)主數(shù)據(jù)的改動(dòng);
- 主數(shù)據(jù)管理系統(tǒng)將整合之后完整、準(zhǔn)確的主數(shù)據(jù)分發(fā)給所有有關(guān)的應(yīng)用系統(tǒng);
- 主數(shù)據(jù)管理系統(tǒng)為決策支持和數(shù)據(jù)倉庫系統(tǒng)提供準(zhǔn)確的數(shù)據(jù)源。
因此對(duì)于主數(shù)據(jù)管理系統(tǒng)的建設(shè),要從建設(shè)初期就考慮整體的平臺(tái)框架和技術(shù)實(shí)現(xiàn)。
以客戶主數(shù)據(jù)為例,常見的主數(shù)據(jù)域包括:
Party:參與方
參與方包含的范圍是所有與企業(yè)發(fā)生了或者發(fā)生過正式業(yè)務(wù)關(guān)系的任何合法的實(shí)體,比如填寫了投保單的參與方。 Party 是分類別的,可以是個(gè)人、機(jī)構(gòu)和團(tuán)體。對(duì)于 Party 來說,因?yàn)殚_展業(yè)務(wù)的需要,可能要對(duì)他們進(jìn)行分級(jí)、分類,比如 VIP,黑名單等。個(gè)人包括個(gè)人基本屬性、個(gè)人名稱、職業(yè)、性別、教育等自然屬性;機(jī)構(gòu)是指在法律上有登記的組織實(shí)體,可以分為政府機(jī)構(gòu)、商業(yè)機(jī)構(gòu)、非盈利機(jī)構(gòu)等類別;團(tuán)體可以有多種形態(tài),比如他們可以是家庭、興趣小組、某個(gè)大機(jī)構(gòu)中的一部分,或者通過某種數(shù)據(jù)分析技術(shù)得出的客戶細(xì)分群體。
Party Role:參與方在業(yè)務(wù)中扮演的角色
例如,對(duì)于保險(xiǎn)行業(yè)而言,可以有:投保人,被保人,受益人,擔(dān)保人,報(bào)案人,核保人,查勘員,核賠人等。
Relationship:Party 與 Party 之間的關(guān)系
例如可以是:夫妻關(guān)系、父子關(guān)系、母女關(guān)系、兄弟姐妹關(guān)系、總 ( 母 ) 公司分 ( 子 ) 公司關(guān)系、企業(yè)事業(yè)單位隸屬、上下級(jí)關(guān)系等。
Account:帳戶是客戶使用企業(yè)服務(wù)的付費(fèi)實(shí)體。
Location:
Location 記錄的是每個(gè) Party 可能擁有的所有聯(lián)系地址,地址的類別包括郵寄地址、email 地址、電信聯(lián)絡(luò)地址等。
Contract:Party 與企業(yè)之間的契約。
主數(shù)據(jù)有幾個(gè)鮮明的特點(diǎn),其中包括:它是準(zhǔn)確的、集成的,其次它是跨業(yè)務(wù)部門的,再有就是它是在各個(gè)業(yè)務(wù)部門被重復(fù)使用的。
主數(shù)據(jù)管理的意義
圖 3. 主數(shù)據(jù)管理的要素
如圖 3 所示:集成、共享、數(shù)據(jù)質(zhì)量、數(shù)據(jù)治理是主數(shù)據(jù)管理的四大要素,主數(shù)據(jù)管理要做的就是從企業(yè)的多個(gè)業(yè)務(wù)系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù)(主數(shù)據(jù)),集中進(jìn)行數(shù)據(jù)的清洗和豐富,并且以服務(wù)的方式把統(tǒng)一的、完整的、準(zhǔn)確的、具有權(quán)威性的主數(shù)據(jù)分發(fā)給全企業(yè)范圍內(nèi)需要使用這些數(shù)據(jù)的操作型應(yīng)用和分析型應(yīng)用,包括各個(gè)業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程和決策支持系統(tǒng)等。
主數(shù)據(jù)管理使得企業(yè)能夠集中化管理數(shù)據(jù),在分散的系統(tǒng)間保證主數(shù)據(jù)的一致性,改進(jìn)數(shù)據(jù)合規(guī)性、快速部署新應(yīng)用、充分了解客戶、加速推出新產(chǎn)品的速度。從 IT 建設(shè)的角度,主數(shù)據(jù)管理可以增強(qiáng) IT 結(jié)構(gòu)的靈活性,構(gòu)建覆蓋整個(gè)企業(yè)范圍內(nèi)的數(shù)據(jù)管理基礎(chǔ)和相應(yīng)規(guī)范,并且更靈活地適應(yīng)企業(yè)業(yè)務(wù)需求的變化。
以客戶主數(shù)據(jù)為例,客戶主數(shù)據(jù)是目前企業(yè)級(jí)客戶普遍面臨的一個(gè)問題,在大多數(shù)企業(yè)中,客戶信息通常分散于 CRM 等各個(gè)業(yè)務(wù)系統(tǒng)中,而每個(gè)業(yè)務(wù)系統(tǒng)中都只有客戶信息的片斷,即不完整的客戶信息,但卻缺乏企業(yè)級(jí)的完整、統(tǒng)一的單一客戶視圖,結(jié)果導(dǎo)致企業(yè)不能完全了解客戶,無法協(xié)調(diào)統(tǒng)一的市場(chǎng)行為,導(dǎo)致客戶滿意度下降,市場(chǎng)份額減少。
因此,建立客戶主數(shù)據(jù)系統(tǒng)的目的在于:
整合并存儲(chǔ)所有業(yè)務(wù)系統(tǒng)和渠道的客戶及潛在客戶的信息:一方面從相關(guān)系統(tǒng)中抽取客戶信息,并完成客戶信息的清洗和整合工作,建立企業(yè)級(jí)的客戶統(tǒng)一視圖;另一方面,客戶主數(shù)據(jù)管理系統(tǒng)將形成的統(tǒng)一客戶信息以廣播的形式同步到其他各個(gè)系統(tǒng),從而確??蛻粜畔⒌囊恢?
為相關(guān)的應(yīng)用系統(tǒng)提供聯(lián)機(jī)交易支持,提供客戶信息的唯一訪問入口點(diǎn),為所有應(yīng)用系統(tǒng)提供及時(shí)和全面的客戶信息;服務(wù)于 OCRM 系統(tǒng),充分利用數(shù)據(jù)的價(jià)值,在所有客戶接觸點(diǎn)上提供更多具有附加價(jià)值的服務(wù);
實(shí)現(xiàn) SOA 的體系結(jié)構(gòu):建立客戶主數(shù)據(jù)系統(tǒng)之前,數(shù)據(jù)被鎖定在每一個(gè)應(yīng)用系統(tǒng)和流程中,建立主數(shù)據(jù)管理系統(tǒng)之后,數(shù)據(jù)從應(yīng)用系統(tǒng)中被釋放出來,并且被處理成為一組可重用的服務(wù),被各個(gè)應(yīng)用系統(tǒng)調(diào)用。
主數(shù)據(jù)管理系統(tǒng)與數(shù)據(jù)倉庫系統(tǒng)的關(guān)系
主數(shù)據(jù)管理系統(tǒng)與數(shù)據(jù)倉庫系統(tǒng)是相輔相成的兩個(gè)系統(tǒng),但二者絕不是重復(fù)的,也不是互斥的。它們有很多共同之處:
- 首先二者對(duì)企業(yè)都具有相同的價(jià)值,可以減少數(shù)據(jù)冗余和不一致性、提升對(duì)數(shù)據(jù)的洞察力,二者都是跨部門的集中式系統(tǒng);
- 其次二者都依賴很多相同的技術(shù)手段,都會(huì)涉及到 ETL 技術(shù)、都需要元數(shù)據(jù)管理、都強(qiáng)調(diào)數(shù)據(jù)質(zhì)量;
- 第三就是二者建設(shè)手段類似,都需要數(shù)據(jù)治理的規(guī)范作為指導(dǎo)、都需要不同系統(tǒng)、不同部門的協(xié)作、需要統(tǒng)一的安全策略。
但是,主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)倉庫 / 決策支持系統(tǒng)二者之間也存在很多不同:
處理類型不同:主數(shù)據(jù)管理 (MDM) 系統(tǒng)是偏交易型的系統(tǒng),它為各個(gè)業(yè)務(wù)系統(tǒng)提供聯(lián)機(jī)交易服務(wù),系統(tǒng)的服務(wù)對(duì)象是呼叫中心、B2C、CRM 等業(yè)務(wù)系統(tǒng);而數(shù)據(jù)倉庫是屬于分析型的系統(tǒng),面向的是分析型的應(yīng)用,是在大量歷史交易數(shù)據(jù)的基礎(chǔ)上進(jìn)行多維分析,系統(tǒng)的使用對(duì)象是各層領(lǐng)導(dǎo)和業(yè)務(wù)分析、市場(chǎng)銷售預(yù)測(cè)人員等;
實(shí)時(shí)性不同:與傳統(tǒng)的數(shù)據(jù)倉庫方案的批量 ETL 方式不同,主數(shù)據(jù)管理系統(tǒng)在數(shù)據(jù)初始加載階段要使用 ETL,但在后續(xù)運(yùn)行中要大量依賴實(shí)時(shí)整合的方式來進(jìn)行主數(shù)據(jù)的集成和同步;
數(shù)據(jù)量不同:數(shù)據(jù)倉庫存儲(chǔ)的是大量的歷史數(shù)據(jù)和各個(gè)維度的匯總數(shù)據(jù),可能會(huì)是海量的,而 MDM 存儲(chǔ)的僅僅是客戶和產(chǎn)品等信息。
雖然主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)異同共存,但是二者卻有著緊密的聯(lián)系,并且可以互為促進(jìn)、互為補(bǔ)充。舉例而言,數(shù)據(jù)倉庫系統(tǒng)的分析結(jié)果可以作為衍生數(shù)據(jù)輸入到 MDM 系統(tǒng),從而使 MDM 系統(tǒng)能夠更好地為操作型 CRM 系統(tǒng)服務(wù)。
以航空公司為例,客戶的主數(shù)據(jù)模型大致可以分為三部分:
首先包括客戶基本信息和偏好信息。
客戶基本信息:
- 個(gè)人及公司信息
- 消費(fèi)者市場(chǎng)狀況
- 常旅客會(huì)員卡號(hào),狀態(tài),及累計(jì)里程等
- 客戶間關(guān)系 ( 個(gè)體 - 個(gè)體,個(gè)體 - 公司 )
- 聯(lián)系地址,包括電話,電子郵件等
客戶偏好信息:
- 餐食偏好
- 是否吸煙
- 座位偏好
- 機(jī)型偏好
- 公務(wù)艙位偏好
- 旅行艙位偏好
- 休息室服務(wù)偏好
除了這兩部分之外,我們還可以從數(shù)據(jù)倉庫系統(tǒng)中提取相關(guān)的信息,作為客戶主數(shù)據(jù)的衍生信息部分,從而更好地、全方位地描述客戶特征,這些可以包括:
- 本月飛行里程
- 年度飛行里程(最近 12 個(gè)月內(nèi))
- 提前預(yù)訂傾向
- 習(xí)慣預(yù)訂模式
- 使用自主服務(wù)傾向
- 上次預(yù)訂使用的信用卡號(hào)
- 累計(jì) / 本月轉(zhuǎn)簽 / 取消航班次數(shù)
- 轉(zhuǎn)簽航班傾向
- 取消航班傾向
- No Show 傾向等。
主數(shù)據(jù)管理系統(tǒng)和 ODS 的關(guān)系
在某些情況下,主數(shù)據(jù)管理系統(tǒng)和 ODS 系統(tǒng)可能容易被混淆,的確,從實(shí)時(shí)上來看,主數(shù)據(jù)管理系統(tǒng)和 ODS 系統(tǒng)存儲(chǔ)的都是實(shí)時(shí)數(shù)據(jù),但是二者存儲(chǔ)的數(shù)據(jù)內(nèi)容是全然不同的,主數(shù)據(jù)管理系統(tǒng)中不存儲(chǔ)交易數(shù)據(jù),比如銀行客戶的交易流水信息是不應(yīng)該放在主數(shù)據(jù)管理系統(tǒng)中進(jìn)行管理的,這與 MDM 與 ODS 的一個(gè)很大區(qū)別。舉一個(gè)航空公司的例子,比如某個(gè)客戶在電子商務(wù)網(wǎng)站上定了一張機(jī)票,產(chǎn)生一個(gè)訂單,然后他又通過呼叫中心要求改簽,這個(gè)場(chǎng)景中,兩個(gè)系統(tǒng)之間要實(shí)現(xiàn)客戶信息和訂單信息的共享,其中客戶信息共享通過 MDM 系統(tǒng)來實(shí)現(xiàn),而訂單信息則需要采用 ODS 或其它手段進(jìn)行共享,我們是不推薦把此類信息交由 MDM 系統(tǒng)來管理的。
主數(shù)據(jù)管理解決方案介紹
目前業(yè)界比較常見的主數(shù)據(jù)管理解決方案主要可以分為三類:
- ***是依托專業(yè)套裝軟件來實(shí)現(xiàn)主數(shù)據(jù)管理,這類方案是作為套裝軟件的一部分,主要是為套裝軟件的其它模塊提供服務(wù)的,因此,通常功能都缺乏完善性。
- 還有一類是側(cè)重于分析型應(yīng)用的主數(shù)據(jù)管理,這類方案在數(shù)據(jù)實(shí)時(shí)同步以及面向交易型應(yīng)用時(shí)通常缺乏整體方案的完整性。
- 再有一類就是專注于主數(shù)據(jù)管理的中立的、完整的解決方案,這一類應(yīng)用獨(dú)立于套裝軟件,不僅具有整體架構(gòu)的完整性和先進(jìn)性,從功能上講往往也最為完善,除了具有比較完整的數(shù)據(jù)模型 (Data Model) 之外,還會(huì)提供廣泛的集成性,具備先進(jìn)的機(jī)制實(shí)現(xiàn)數(shù)據(jù)同步,并且可以對(duì)外提供多種預(yù)置的主數(shù)據(jù)服務(wù)被外部交易系統(tǒng)調(diào)用,從而使系統(tǒng)具有很強(qiáng)的實(shí)時(shí)操作性,同時(shí)還強(qiáng)調(diào)主數(shù)據(jù)管理、主數(shù)據(jù)質(zhì)量控制以及主數(shù)據(jù)維護(hù)的手段和規(guī)范性。
企業(yè)主數(shù)據(jù)管理系統(tǒng)邏輯架構(gòu)
一個(gè)完整的主數(shù)據(jù)管理解決方案的邏輯架構(gòu)應(yīng)如下圖所示:
圖 4. 主數(shù)據(jù)管理系統(tǒng)邏輯架構(gòu)
在一個(gè)完整的主數(shù)據(jù)管理解決方案中,除了主數(shù)據(jù)管理的核心服務(wù)組件之外通常還會(huì)涉及到企業(yè)元數(shù)據(jù)管理、企業(yè)信息集成、ETL、數(shù)據(jù)分析和數(shù)據(jù)倉庫以及 EAI/ESB 等其他各種技術(shù)和服務(wù)組件。
其中主數(shù)據(jù)管理服務(wù)又包括如下一些主要的服務(wù)組件:
Interface Services:為企業(yè)中需要主數(shù)據(jù)的所有業(yè)務(wù)系統(tǒng)提供各種服務(wù)接口,通過實(shí)時(shí)的、批量的接口可以讀取或者修改主數(shù)據(jù),這些接口包括 Batch, Web Services, XML Interface, Messaging Interface, Publish/Subscribe, Import/Export Services, Data Standardization Interface, Directory Integration 等。除了這些標(biāo)準(zhǔn)的技術(shù)接口之外 , 對(duì)于某些專有系統(tǒng)還提供適配器 (Adapter) 接口 , 通過適配器接口可以和一些特有的系統(tǒng)做接口,例如企業(yè)中的傳統(tǒng) (Legacy) 應(yīng)用系統(tǒng)或者 SAP 等打包應(yīng)用。
Lifecycle Management Services: 履行針對(duì)主數(shù)據(jù)的 CRUD 操作,執(zhí)行對(duì)主數(shù)據(jù)存儲(chǔ)庫中的數(shù)據(jù)進(jìn)行更新、存取和管理時(shí)的業(yè)務(wù)邏輯,除此之外,它還負(fù)責(zé)維護(hù)主數(shù)據(jù)的衍生信息,例如客戶之間的關(guān)系、客戶的偏好、客戶在各種客戶服務(wù)渠道上的行為軌跡等。 Lifecycle Management Services 貫穿整個(gè)主數(shù)據(jù)管理的生命周期,它利用 Data Quality Management Services 來確保數(shù)據(jù)質(zhì)量、利用 Master Data Event Management Services 來捕獲各種主數(shù)據(jù)變化等相關(guān)的事件,以及利用 Hierarchy and Relationship Management Services 用來維護(hù)數(shù)據(jù)實(shí)體之間的關(guān)系和層次。
Data Quality Management Services:確保主數(shù)據(jù)的質(zhì)量和標(biāo)準(zhǔn)化,這在主數(shù)據(jù)管理解決方案中一個(gè)非常重要的組件,在我們從各個(gè)業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)之后,要對(duì)數(shù)據(jù)進(jìn)行清洗和驗(yàn)證,例如對(duì)于地址而言,要彌補(bǔ)地址的缺失、地市的缺失、郵編的缺失、進(jìn)行地址的標(biāo)準(zhǔn)化等。對(duì)于其他數(shù)據(jù)要進(jìn)行非空檢查、外鍵檢查、數(shù)據(jù)過濾等。然后要對(duì)數(shù)據(jù)進(jìn)行匹配 / 重復(fù)識(shí)別、自動(dòng)進(jìn)行基于規(guī)則的合并 / 去重、交叉驗(yàn)證等,并且還要遵從企業(yè)的數(shù)據(jù)管控規(guī)范和流程。它可以是 Master Data Management Services 的一個(gè)內(nèi)部組件,也可以調(diào)用整個(gè)企業(yè)的 Information Integrity Services 來實(shí)現(xiàn)。
Authoring Services:依據(jù)數(shù)據(jù)管控流程,定義和擴(kuò)展企業(yè)的主數(shù)據(jù)模型。
Hierarchy Relationship and Management Services:定義數(shù)據(jù)實(shí)體的層次 (Hierarchy), 分組 (Grouping), 關(guān)系 (Relationship), 版本 (Version) 等。
Master Data Event Management Services:捕獲事件并且觸發(fā)相應(yīng)的操作,包括事件發(fā)現(xiàn)、事件管理和通知功能,它在主數(shù)據(jù)管理系統(tǒng)和業(yè)務(wù)系統(tǒng)之間進(jìn)行數(shù)據(jù)同步時(shí)起到至關(guān)重要的作用。
Base Services:提供通用服務(wù),包括安全控制、錯(cuò)誤處理、交易日志、事件日志等功能。
Master Data Repository:主數(shù)據(jù)存儲(chǔ)庫,包括 Metadata, Master Data, History Data, Reference Data 等。
下面我們介紹兩個(gè)這些邏輯組件之間的協(xié)作場(chǎng)景:
圖 5. 場(chǎng)景 1-- 初始數(shù)據(jù)加載
場(chǎng)景 1:初始數(shù)據(jù)加載
- Step1:源數(shù)據(jù)從外部業(yè)務(wù)系統(tǒng)及 EDW 系統(tǒng)中通過批處理方式拷貝到磁帶;
- Step2:數(shù)據(jù)被加載到 Staging DB,進(jìn)行數(shù)據(jù)質(zhì)量分析;
- Step3:Data Quality Management Services 對(duì)數(shù)據(jù)進(jìn)行清洗、匹配、標(biāo)準(zhǔn)化等;
- Step4:ETL Transform and Load services 對(duì)合格數(shù)據(jù)進(jìn)行轉(zhuǎn)換并準(zhǔn)備好加載數(shù)據(jù);
- Step5:Master Data Interface Services 接收批處理更新請(qǐng)求,調(diào)用 Lifecycle Management Update Service 進(jìn)行數(shù)據(jù)的批量更新;
- Step6:Lifecycle Management Update Service 調(diào)用 Hierarchy & Relationship Management Services 和 Base Services 更新主數(shù)據(jù)庫。
圖 6. 場(chǎng)景 2-- 主數(shù)據(jù)庫更新,然后同步到各業(yè)務(wù)系統(tǒng)
場(chǎng)景2:主數(shù)據(jù)庫更新,然后同步到各業(yè)務(wù)系統(tǒng)
- Step1:某業(yè)務(wù)系統(tǒng)發(fā)起一個(gè)創(chuàng)建主數(shù)據(jù)的交易,該業(yè)務(wù)系統(tǒng)將交易數(shù)據(jù)以消息的形式發(fā)送到消息隊(duì)列;
- Step2:MDM Interface Services 捕獲該消息,進(jìn)行消息解析,并調(diào)用 Security and Privacy Services 進(jìn)行權(quán)限驗(yàn)證;
- Step3:MDM Interface Services 調(diào)用 Lifecycle Mgmt. Update Service ;
- Step4:Lifecycle Mgmt. Update Service 再調(diào)用 Data Quality Management Services 進(jìn)行數(shù)據(jù)的清洗和標(biāo)準(zhǔn)化;
- Step5:Update Service 調(diào)用 Search Services 發(fā)現(xiàn)該主數(shù)據(jù)已經(jīng)存在,確認(rèn)這是對(duì)已有主數(shù)據(jù)的更新操作;
- Step6:Update Service 通過調(diào)用外部系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充;
- Step7:Update Service 在更新主數(shù)據(jù)庫之前調(diào)用 Event Management Services ;
- Step8:Event Management Services 確認(rèn)是否需要涉及數(shù)據(jù)管控方面的處理;
- Step9:Update Service 調(diào)用 Hierarchy & Relationship Management Services 并且更新主數(shù)據(jù)庫;
- Step10:Audit Logging Services 紀(jì)錄相應(yīng)交易日志和歷史數(shù)據(jù);
- Step11:MDM Lifecycle Management Service 調(diào)用 MDM Interface Services 返回更新處理請(qǐng)求;
- Step12:源業(yè)務(wù)系統(tǒng)接收到處理請(qǐng)求之后,利用 MDM 系統(tǒng)發(fā)回來的數(shù)據(jù)對(duì)本地的應(yīng)用系統(tǒng)數(shù)據(jù)庫進(jìn)行更新操作;
- Step13:其他所有需要主動(dòng)被更新的相關(guān)的業(yè)務(wù)系統(tǒng)都會(huì)接收到更新后的***數(shù)據(jù)。
客戶主數(shù)據(jù)系統(tǒng)實(shí)施方法論
客戶主數(shù)據(jù)項(xiàng)目的本質(zhì)是一個(gè)系統(tǒng)間針對(duì)客戶信息的整合項(xiàng)目,根據(jù)以往的經(jīng)驗(yàn),大致分成基礎(chǔ)實(shí)施、雙向同步、多渠道訪問、全企業(yè)采用等 4 個(gè)階段,如下圖所示:
圖 10. 主數(shù)據(jù)系統(tǒng)實(shí)施步驟
1.基礎(chǔ)實(shí)施階段:
- 安裝 MDM,實(shí)現(xiàn) ECIF 的基礎(chǔ)架構(gòu)
- 完成主數(shù)據(jù)建模
- MDM 初始數(shù)據(jù)加載:根據(jù)期望的實(shí)施方法和策略,將數(shù)據(jù)從各個(gè)業(yè)務(wù)系統(tǒng)中抽取出來,經(jīng)過清洗、轉(zhuǎn)換、標(biāo)準(zhǔn)化之后加載到主數(shù)據(jù)存儲(chǔ)庫中,在這個(gè)階段主要用到的是 ETL 的相關(guān)技術(shù)和工具。
- 使 MDM 的 700 多個(gè)業(yè)務(wù)服務(wù)能被其他系統(tǒng)實(shí)時(shí)連接和使用。
基礎(chǔ)實(shí)施階段為客戶數(shù)據(jù)集成搭建了基礎(chǔ)框架, 為企業(yè)提供了轉(zhuǎn)向以客戶為中心的能力和價(jià)值。后續(xù)的階段主要是在此基礎(chǔ)上推動(dòng)全企業(yè)更多的應(yīng)用和系統(tǒng)來使用這些價(jià)值,帶來更多的業(yè)務(wù)增長(zhǎng)。所以***階段的基礎(chǔ)實(shí)施對(duì)企業(yè)來說是至關(guān)重要的,也是客戶主數(shù)據(jù)管理項(xiàng)目能否帶來業(yè)務(wù)價(jià)值的關(guān)鍵。
2.雙向同步階段:
- 通過實(shí)時(shí)或批處理方式,幫助逐步實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)和 MDM 系統(tǒng)的雙向數(shù)據(jù)更新和同步。這個(gè)階段階段主要用到的是 EAI/SOA 的相關(guān)技術(shù)和工具
- 多渠道訪問階段
- 整合 WCC 與已有的渠道或新的前臺(tái)系統(tǒng),實(shí)現(xiàn)多渠道訪問。
- 添加新的客戶數(shù)據(jù)屬性和客戶為中心的業(yè)務(wù)流程。
3.全企業(yè)采用階段:
- MDM 成為企業(yè)唯一的記錄客戶信息的來源,促進(jìn)對(duì)客戶的洞察力和了解。
- 促進(jìn)全企業(yè)整合,支持端到端的業(yè)務(wù)流程。
小結(jié)
本文首先系統(tǒng)地介紹了主數(shù)據(jù)管理的概念,主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)倉庫、ODS(操作型數(shù)據(jù)存儲(chǔ))之間的區(qū)別,并且結(jié)合航空公司的需求,給出了航空業(yè)客戶主數(shù)據(jù)的簡(jiǎn)單模型;在理解了主數(shù)據(jù)管理的基本概念之后,給出了主數(shù)據(jù)管理解決方案的邏輯框架;***跟大家分享了主數(shù)據(jù)管理項(xiàng)目實(shí)施的路徑和方法。