在大數(shù)據(jù)和數(shù)據(jù)科學(xué)的新時(shí)代，對(duì)企業(yè)而言，一定要有與業(yè)務(wù)流程保持一致的中心化數(shù)據(jù)架構(gòu)，該架構(gòu)能隨業(yè)務(wù)增長(zhǎng)而擴(kuò)展，并隨技術(shù)進(jìn)步而發(fā)展。

[[315865]]

一個(gè)成功的數(shù)據(jù)架構(gòu)可以使數(shù)據(jù)的各個(gè)方面清晰明了，從而使數(shù)據(jù)科學(xué)家能夠高效地處理可信的數(shù)據(jù)并解決復(fù)雜的業(yè)務(wù)問題。

架構(gòu)還能幫助組織做好必要的準(zhǔn)備，以利用新興技術(shù)迅速抓住新的商機(jī)，并通過管理整個(gè)企業(yè)中的復(fù)雜數(shù)據(jù)和信息交付來提高運(yùn)營效率。

與信息架構(gòu)、系統(tǒng)架構(gòu)和軟件架構(gòu)相比，數(shù)據(jù)架構(gòu)相對(duì)較新。數(shù)據(jù)架構(gòu)師的角色也很模糊，落在了高級(jí)業(yè)務(wù)分析師，ETL開發(fā)人員和數(shù)據(jù)科學(xué)家的肩膀上。盡管如此，在本文中，作者將用“數(shù)據(jù)架構(gòu)師”(Data Architect)來指代那些為組織設(shè)計(jì)數(shù)據(jù)架構(gòu)的專業(yè)數(shù)據(jù)管理人員。

說到架構(gòu)，我們經(jīng)常會(huì)想到與建筑架構(gòu)做類比。傳統(tǒng)的建筑架構(gòu)師會(huì)規(guī)劃、設(shè)計(jì)和審查建筑物的建造。設(shè)計(jì)過程包括與客戶充分溝通收集需求，了解當(dāng)?shù)氐姆珊铜h(huán)境限制，并與工程師、測(cè)量師及其他專家合作，以確保設(shè)計(jì)在預(yù)算之內(nèi)可行。 

這項(xiàng)工作的復(fù)雜性實(shí)際上與數(shù)據(jù)架構(gòu)師的角色非常相似。但是，兩個(gè)架構(gòu)師角色之間存在一些基本差異：

• 建筑物架構(gòu)是自上而下的設(shè)計(jì)，而數(shù)據(jù)架構(gòu)通常是將已存在的組件或系統(tǒng)集成。
• 建筑設(shè)計(jì)師在建造建筑物之前必須了解全部建筑要求并規(guī)劃建筑范圍。數(shù)據(jù)架構(gòu)的范圍更為廣泛且易更改。因此，成功的數(shù)據(jù)架構(gòu)設(shè)計(jì)應(yīng)該是靈活的且有預(yù)見性的。
• 建筑架構(gòu)師具有嚴(yán)格的教育和專業(yè)要求，并且應(yīng)該在商業(yè)、藝術(shù)、結(jié)構(gòu)物理和建筑材料方面有深入研究。而大多數(shù)數(shù)據(jù)架構(gòu)師來自IT背景，在幾家公司或行業(yè)中具有專業(yè)經(jīng)驗(yàn)，并且對(duì)業(yè)務(wù)的接觸不多。因此，他們應(yīng)該意識(shí)到自己的設(shè)計(jì)可能存在偏差，需要根據(jù)組織中業(yè)務(wù)和技術(shù)專家的反饋來調(diào)整設(shè)計(jì)。
• 建筑設(shè)計(jì)幾乎都是針對(duì)從頭開始建造的新建筑物的。因此，建筑架構(gòu)師可以完全根據(jù)新要求和新材料進(jìn)行規(guī)劃和設(shè)計(jì)。數(shù)據(jù)架構(gòu)師沒有這種優(yōu)勢(shì)。他們很少能從頭開始，但是在為未來進(jìn)行設(shè)計(jì)時(shí)需要了解現(xiàn)有的平臺(tái)和數(shù)據(jù)庫。

雖然存在這些差異，但數(shù)據(jù)架構(gòu)師仍然可以向建筑架構(gòu)師學(xué)習(xí)，尤其是采用自上而下的方法來改進(jìn)數(shù)據(jù)架構(gòu)設(shè)計(jì)方面。很多機(jī)構(gòu)都缺乏系統(tǒng)、集中的端到端的數(shù)據(jù)架構(gòu)設(shè)計(jì)。下面列出了一些主要原因：

• 一個(gè)公司有多個(gè)IT部門，他們各自使用各自的數(shù)據(jù)標(biāo)準(zhǔn)和架構(gòu)工作。
• 應(yīng)用程序和流程是根據(jù)單個(gè)業(yè)務(wù)需求構(gòu)建的，沒有可遵循的數(shù)據(jù)架構(gòu)標(biāo)準(zhǔn)。
• 數(shù)據(jù)架構(gòu)師的角色僅關(guān)注有限的技術(shù)領(lǐng)域，并且對(duì)數(shù)據(jù)業(yè)務(wù)知識(shí)的了解也有限。
• 管理IT項(xiàng)目時(shí)，在設(shè)計(jì)階段不考慮數(shù)據(jù)架構(gòu)，數(shù)據(jù)科學(xué)家和工程師無需遵循一致的數(shù)據(jù)管理流程即可編寫代碼。

由于存在這些不足，所以我們經(jīng)常會(huì)看到一家公司的數(shù)據(jù)系統(tǒng)脫節(jié)，并且團(tuán)隊(duì)和部門之間存在差距。這些差異導(dǎo)致系統(tǒng)性能低下，需要進(jìn)行大量交接工作，在生產(chǎn)數(shù)據(jù)出現(xiàn)問題時(shí)要花很長(zhǎng)時(shí)間才能排除故障，缺乏在整個(gè)系統(tǒng)中找到正確解決方案的責(zé)任感，并且缺乏評(píng)估產(chǎn)品變化影響的能力。

最后，在遷移脫節(jié)的系統(tǒng)或重新設(shè)計(jì)下一代平臺(tái)時(shí)，可能要花費(fèi)大量精力進(jìn)行分析和研究。

考慮到所有這些因素，一個(gè)成功的企業(yè)需要具有以業(yè)務(wù)流程和運(yùn)營設(shè)計(jì)為基礎(chǔ)的自上而下一致的數(shù)據(jù)架構(gòu)。特別是，就像建筑架構(gòu)師所做的那樣，企業(yè)數(shù)據(jù)架構(gòu)師需要先在概念級(jí)和邏輯級(jí)構(gòu)建藍(lán)圖，然后再將技術(shù)應(yīng)用于詳細(xì)的應(yīng)用程序設(shè)計(jì)和實(shí)現(xiàn)。 

1.基于業(yè)務(wù)流程和運(yùn)營的概念級(jí)數(shù)據(jù)架構(gòu)設(shè)計(jì)

在現(xiàn)代IT中，業(yè)務(wù)流程是由數(shù)據(jù)實(shí)體，數(shù)據(jù)流和應(yīng)用于數(shù)據(jù)的業(yè)務(wù)規(guī)則共同支持和驅(qū)動(dòng)的。因此，數(shù)據(jù)架構(gòu)師需要具有深入的業(yè)務(wù)知識(shí)，其中包括財(cái)務(wù)、市場(chǎng)營銷、產(chǎn)品以及業(yè)務(wù)流程(例如健康、保險(xiǎn)、制造商和零售商)等特定行業(yè)的專業(yè)知識(shí)。

然后，他才能夠通過設(shè)計(jì)代表每個(gè)業(yè)務(wù)域的數(shù)據(jù)實(shí)體和分類法以及業(yè)務(wù)流程下的數(shù)據(jù)流，從而構(gòu)建正確的企業(yè)級(jí)數(shù)據(jù)藍(lán)圖。在此概念階段尤其需要考慮和計(jì)劃以下幾個(gè)方面：

• 核心數(shù)據(jù)實(shí)體和數(shù)據(jù)元素，例如關(guān)于客戶、產(chǎn)品、銷售的數(shù)據(jù)。
• 客戶和顧客所需的輸出數(shù)據(jù)。
• 要收集、轉(zhuǎn)換或引用的源數(shù)據(jù)以生成輸出數(shù)據(jù)。
• 每個(gè)數(shù)據(jù)實(shí)體的所有權(quán)以及如何根據(jù)業(yè)務(wù)用例使用和分配它。
• 要應(yīng)用于每個(gè)數(shù)據(jù)實(shí)體的安全策略。
• 數(shù)據(jù)實(shí)體之間的關(guān)系，例如參考完整性、業(yè)務(wù)規(guī)則、執(zhí)行順序。
• 標(biāo)準(zhǔn)數(shù)據(jù)分類和分類法。
• 數(shù)據(jù)質(zhì)量、操作和服務(wù)水平協(xié)議(SLA)的標(biāo)準(zhǔn)。

設(shè)計(jì)的概念級(jí)別由支持每個(gè)業(yè)務(wù)功能的基礎(chǔ)數(shù)據(jù)實(shí)體組成。藍(lán)圖對(duì)于成功設(shè)計(jì)和實(shí)施企業(yè)和系統(tǒng)架構(gòu)及其未來的擴(kuò)展或升級(jí)至關(guān)重要。

在很多機(jī)構(gòu)中，這種概念設(shè)計(jì)通常被嵌入到由單個(gè)項(xiàng)目驅(qū)動(dòng)的業(yè)務(wù)分析當(dāng)中，而沒有從企業(yè)端到端解決方案和標(biāo)準(zhǔn)的角度進(jìn)行指導(dǎo)的方法。 

2.邏輯級(jí)數(shù)據(jù)架構(gòu)設(shè)計(jì)

由于要考慮使用哪種類型的數(shù)據(jù)庫或數(shù)據(jù)格式，這種設(shè)計(jì)有時(shí)稱為數(shù)據(jù)建模。它將業(yè)務(wù)需求與基礎(chǔ)技術(shù)平臺(tái)和系統(tǒng)聯(lián)系到一起。但是，考慮到數(shù)據(jù)建模者的角色，大多數(shù)機(jī)構(gòu)僅在特定數(shù)據(jù)庫或系統(tǒng)中設(shè)計(jì)數(shù)據(jù)建模。

通過考慮適用于每個(gè)數(shù)據(jù)庫或系統(tǒng)的標(biāo)準(zhǔn)以及這些數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)流，應(yīng)采用集成方法開發(fā)成功的數(shù)據(jù)體系結(jié)構(gòu)。特別是，以下五個(gè)領(lǐng)域需要以協(xié)同方式進(jìn)行設(shè)計(jì)：

（1）命名約定和數(shù)據(jù)完整性

數(shù)據(jù)實(shí)體和元素的命名約定應(yīng)一致地應(yīng)用于所有數(shù)據(jù)庫。同樣，如果相同數(shù)據(jù)須駐留在多個(gè)數(shù)據(jù)庫中，則應(yīng)加強(qiáng)數(shù)據(jù)源及其引用之間的完整性。最終，這些數(shù)據(jù)元素應(yīng)屬于數(shù)據(jù)架構(gòu)中概念設(shè)計(jì)中的數(shù)據(jù)實(shí)體，然后可以根據(jù)業(yè)務(wù)需求協(xié)同準(zhǔn)確地對(duì)其進(jìn)行更新或修改。

（2）數(shù)據(jù)歸檔/保留策略

如果在生產(chǎn)的最后階段才經(jīng)?？紤]或建立數(shù)據(jù)歸檔和保留策略的話，將會(huì)導(dǎo)致資源浪費(fèi)，不同數(shù)據(jù)庫之間的數(shù)據(jù)狀態(tài)不一致，以及數(shù)據(jù)查詢和更新的表現(xiàn)不佳。為了加強(qiáng)數(shù)據(jù)完整性，數(shù)據(jù)架構(gòu)師在以操作標(biāo)準(zhǔn)為基礎(chǔ)的數(shù)據(jù)架構(gòu)中定義數(shù)據(jù)歸檔和保留策略。

（3）隱私和安全信息

隱私性和安全性成為了邏輯數(shù)據(jù)庫設(shè)計(jì)的重要考慮因素。雖然概念設(shè)計(jì)已經(jīng)定義了哪個(gè)數(shù)據(jù)成分屬于敏感信息，但邏輯設(shè)計(jì)應(yīng)在具有受限訪問權(quán)限、受限數(shù)據(jù)復(fù)制、特定數(shù)據(jù)類型和安全數(shù)據(jù)流的數(shù)據(jù)庫中保護(hù)機(jī)密信息，以保護(hù)信息安全。

（4）資料復(fù)制

數(shù)據(jù)復(fù)制是要顧及三個(gè)目標(biāo)的關(guān)鍵因素：

1)高可用性。

2)避免通過網(wǎng)絡(luò)傳輸數(shù)據(jù)的性能。

3)低耦合性以最小化下游影響。

但是，過多的數(shù)據(jù)復(fù)制會(huì)導(dǎo)致混亂、數(shù)據(jù)質(zhì)量差和性能下降的結(jié)果。任何數(shù)據(jù)復(fù)制都應(yīng)由數(shù)據(jù)架構(gòu)師檢查，并應(yīng)遵循一定原則和紀(jì)律。

（5）數(shù)據(jù)流和管道

在此級(jí)別上，應(yīng)明確定義數(shù)據(jù)在不同數(shù)據(jù)庫系統(tǒng)和應(yīng)用程序之間的流動(dòng)方式。同樣，此流程與業(yè)務(wù)流程和數(shù)據(jù)架構(gòu)師概念級(jí)別中提到的流程一致。此外，應(yīng)在邏輯設(shè)計(jì)的集成視圖中考慮數(shù)據(jù)攝取的頻率、流水線中的數(shù)據(jù)轉(zhuǎn)換以及針對(duì)輸出數(shù)據(jù)的數(shù)據(jù)訪問模式。例如，如果上游數(shù)據(jù)源是實(shí)時(shí)的，而下游系統(tǒng)主要被用于具有重索引的聚合信息的數(shù)據(jù)訪問(例如，對(duì)于頻繁更新和插入來說成本很高)，則需要在兩者之間設(shè)計(jì)數(shù)據(jù)管道，以優(yōu)化性能。 

持續(xù)治理是數(shù)據(jù)架構(gòu)成功的關(guān)鍵

由于數(shù)據(jù)架構(gòu)反映并支持著業(yè)務(wù)流程，因此當(dāng)業(yè)務(wù)流程發(fā)生更改時(shí)，數(shù)據(jù)架構(gòu)就可能會(huì)發(fā)生改變。隨著基礎(chǔ)數(shù)據(jù)庫系統(tǒng)的更改，數(shù)據(jù)架構(gòu)也需要進(jìn)行調(diào)整。因此，數(shù)據(jù)架構(gòu)不是靜態(tài)的，而是需要進(jìn)行連續(xù)管理、增強(qiáng)和審核的。因此，應(yīng)采用數(shù)據(jù)治理來確保在啟動(dòng)每個(gè)新項(xiàng)目時(shí)正確設(shè)計(jì)和實(shí)現(xiàn)企業(yè)數(shù)據(jù)架構(gòu)。 

結(jié)論

在成功的數(shù)據(jù)架構(gòu)中，以業(yè)務(wù)流程為基礎(chǔ)的概念設(shè)計(jì)是最關(guān)鍵的要素，其次是邏輯設(shè)計(jì)，該邏輯設(shè)計(jì)強(qiáng)調(diào)所有數(shù)據(jù)庫和數(shù)據(jù)管道之間的一致性、完整性和效率。在建立起數(shù)據(jù)架構(gòu)后，機(jī)構(gòu)可以查看哪些數(shù)據(jù)駐留在何處，并確保數(shù)據(jù)的安全、有效存儲(chǔ)和正確處理。

同樣，當(dāng)一個(gè)數(shù)據(jù)庫或組件發(fā)生更改時(shí)，數(shù)據(jù)架構(gòu)可以幫助機(jī)構(gòu)快速評(píng)估影響并指導(dǎo)所有相關(guān)團(tuán)隊(duì)進(jìn)行設(shè)計(jì)和實(shí)施。最后，數(shù)據(jù)架構(gòu)是企業(yè)系統(tǒng)的實(shí)時(shí)文檔，要保證它是很新的，并提供清晰的端到端圖畫。

綜上所述，反映端到端業(yè)務(wù)流程和操作的整體數(shù)據(jù)架構(gòu)對(duì)于保障公司在經(jīng)歷重大變化(如收購、數(shù)字轉(zhuǎn)換或向下一代平臺(tái)遷移)時(shí)快速高效地前進(jìn)至關(guān)重要。