在大數(shù)據(jù)和數(shù)據(jù)科學(xué)的新時(shí)代，對(duì)于企業(yè)而言，具有與業(yè)務(wù)流程一致的集中式數(shù)據(jù)體系結(jié)構(gòu)至關(guān)重要，該體系結(jié)構(gòu)隨業(yè)務(wù)增長(zhǎng)而擴(kuò)展，并隨技術(shù)進(jìn)步而發(fā)展。 成功的數(shù)據(jù)架構(gòu)可以使數(shù)據(jù)的各個(gè)方面清晰明了，從而使數(shù)據(jù)科學(xué)家能夠高效地處理可信賴的數(shù)據(jù)并解決復(fù)雜的業(yè)務(wù)問(wèn)題。 它還使組織做好準(zhǔn)備，以利用新興技術(shù)迅速利用新的商機(jī)，并通過(guò)管理整個(gè)企業(yè)中的復(fù)雜數(shù)據(jù)和信息交付來(lái)提高運(yùn)營(yíng)效率。

[[334605]]

與信息體系結(jié)構(gòu)，系統(tǒng)體系結(jié)構(gòu)和軟件體系結(jié)構(gòu)相比，數(shù)據(jù)體系結(jié)構(gòu)相對(duì)較新。 數(shù)據(jù)架構(gòu)師的角色也是模糊的，已經(jīng)落在了高級(jí)業(yè)務(wù)分析師，ETL開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家的肩膀上。 盡管如此，我將使用Data Architect來(lái)指代那些為組織設(shè)計(jì)數(shù)據(jù)架構(gòu)的數(shù)據(jù)管理專業(yè)人員。

在談?wù)摻ㄖr(shí)，我們經(jīng)常會(huì)想到與建筑的類比。 傳統(tǒng)的建筑設(shè)計(jì)師計(jì)劃，設(shè)計(jì)和審查建筑物的建造。 設(shè)計(jì)過(guò)程包括與客戶合作以充分收集需求，了解場(chǎng)所的法律和環(huán)境限制，并與工程師，測(cè)量師和其他專家合作以確保設(shè)計(jì)是現(xiàn)實(shí)的并且在預(yù)算之內(nèi)。 這項(xiàng)工作的復(fù)雜性確實(shí)與數(shù)據(jù)架構(gòu)師的角色非常相似。 但是，兩個(gè)架構(gòu)師角色之間存在一些基本差異：

• 建筑架構(gòu)是自上而下設(shè)計(jì)的，而數(shù)據(jù)架構(gòu)通常是可能已經(jīng)存在的組件或系統(tǒng)的集成過(guò)程。
• 建筑設(shè)計(jì)師在建造建筑物之前必須了解全部要求并定義整個(gè)范圍。 數(shù)據(jù)體系結(jié)構(gòu)的范圍可以廣泛并且容易更改。 因此，成功的數(shù)據(jù)架構(gòu)應(yīng)設(shè)計(jì)為靈活的，并可以預(yù)見(jiàn)未來(lái)的變化。
• 一名建筑架構(gòu)師具有嚴(yán)格的教育和專業(yè)要求，并且應(yīng)在商業(yè)，藝術(shù)，結(jié)構(gòu)物理和建筑材料方面擁有深入的知識(shí)。 另一方面，大多數(shù)數(shù)據(jù)架構(gòu)師都來(lái)自IT背景，在一些公司或行業(yè)中具有專業(yè)經(jīng)驗(yàn)，并且對(duì)業(yè)務(wù)的了解有限。 因此，他們應(yīng)該意識(shí)到自己的設(shè)計(jì)可能有偏差，并且需要根據(jù)組織中業(yè)務(wù)和技術(shù)專長(zhǎng)的反饋來(lái)調(diào)整設(shè)計(jì)。

考慮到所有這些差異，數(shù)據(jù)架構(gòu)師仍然可以向建筑架構(gòu)師學(xué)習(xí)，尤其是采用自上而下的方法來(lái)改進(jìn)數(shù)據(jù)架構(gòu)設(shè)計(jì)。 在許多組織中，缺乏系統(tǒng)的，集中的，端到端的數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)。 以下列出了一些主要原因：

• 數(shù)據(jù)架構(gòu)師的作用是僅專注于有限的技術(shù)領(lǐng)域，并且對(duì)數(shù)據(jù)擁有有限的業(yè)務(wù)知識(shí)。

由于這些不足，我們經(jīng)?？吹揭患覕?shù)據(jù)系統(tǒng)脫節(jié)且團(tuán)隊(duì)和部門(mén)之間存在缺口的公司。 差異導(dǎo)致系統(tǒng)性能低下，需要進(jìn)行大量交接，如果生產(chǎn)數(shù)據(jù)出現(xiàn)問(wèn)題，則需要很長(zhǎng)時(shí)間進(jìn)行故障排除，缺乏在整個(gè)系統(tǒng)上找到正確解決方案的責(zé)任感，并且缺乏評(píng)估產(chǎn)品影響的能力。 改變。 最后，脫節(jié)的系統(tǒng)在遷移或重新設(shè)計(jì)到下一代平臺(tái)時(shí)可能會(huì)花費(fèi)大量精力進(jìn)行分析和研究。

1.基于業(yè)務(wù)流程和運(yùn)營(yíng)的概念級(jí)數(shù)據(jù)架構(gòu)設(shè)計(jì)

在現(xiàn)代IT中，業(yè)務(wù)流程由數(shù)據(jù)實(shí)體，數(shù)據(jù)流和應(yīng)用于數(shù)據(jù)的業(yè)務(wù)規(guī)則支持和驅(qū)動(dòng)。 因此，數(shù)據(jù)架構(gòu)師需要具有深入的業(yè)務(wù)知識(shí)，包括財(cái)務(wù)，市場(chǎng)營(yíng)銷，產(chǎn)品以及業(yè)務(wù)流程(例如健康，保險(xiǎn)，制造商和零售商)的特定于行業(yè)的專業(yè)知識(shí)。 然后，他或她可以通過(guò)設(shè)計(jì)代表每個(gè)業(yè)務(wù)域的數(shù)據(jù)實(shí)體和分類法以及業(yè)務(wù)流程下的數(shù)據(jù)流，來(lái)在企業(yè)級(jí)別正確構(gòu)建數(shù)據(jù)藍(lán)圖。 在此概念階段尤其需要考慮和計(jì)劃以下領(lǐng)域：

• 核心數(shù)據(jù)實(shí)體和數(shù)據(jù)元素，例如有關(guān)客戶，產(chǎn)品，銷售的數(shù)據(jù)。
• 客戶和客戶所需的輸出數(shù)據(jù)。
• 要收集，轉(zhuǎn)換或參考以生成輸出數(shù)據(jù)的源數(shù)據(jù)。
• 每個(gè)數(shù)據(jù)實(shí)體的所有權(quán)以及如何根據(jù)業(yè)務(wù)用例使用和分配它。
• 要應(yīng)用于每個(gè)數(shù)據(jù)實(shí)體的安全策略。
• 數(shù)據(jù)實(shí)體之間的關(guān)系，例如參考完整性，業(yè)務(wù)規(guī)則，執(zhí)行順序。
• 標(biāo)準(zhǔn)數(shù)據(jù)分類和分類法。
• 數(shù)據(jù)質(zhì)量，操作和服務(wù)水平協(xié)議(SLA)的標(biāo)準(zhǔn)。

2.邏輯級(jí)數(shù)據(jù)架構(gòu)設(shè)計(jì)

通過(guò)考慮使用哪種數(shù)據(jù)庫(kù)或數(shù)據(jù)格式，這種設(shè)計(jì)級(jí)別有時(shí)稱為數(shù)據(jù)建模。 它將業(yè)務(wù)需求連接到基礎(chǔ)技術(shù)平臺(tái)和系統(tǒng)。 但是，鑒于數(shù)據(jù)建模者的角色，大多數(shù)組織僅在特定數(shù)據(jù)庫(kù)或系統(tǒng)中設(shè)計(jì)了數(shù)據(jù)建模。 通過(guò)考慮適用于每個(gè)數(shù)據(jù)庫(kù)或系統(tǒng)的標(biāo)準(zhǔn)以及這些數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)流，應(yīng)采用集成方法開(kāi)發(fā)成功的數(shù)據(jù)體系結(jié)構(gòu)。 特別是，以下五個(gè)領(lǐng)域需要以協(xié)同方式進(jìn)行設(shè)計(jì)：

命名約定和數(shù)據(jù)完整性

數(shù)據(jù)實(shí)體和元素的命名約定應(yīng)一致地應(yīng)用于每個(gè)數(shù)據(jù)庫(kù)。 同樣，如果相同的數(shù)據(jù)必須駐留在多個(gè)數(shù)據(jù)庫(kù)中，則應(yīng)強(qiáng)制執(zhí)行數(shù)據(jù)源及其引用之間的完整性。 最終，這些數(shù)據(jù)元素應(yīng)屬于數(shù)據(jù)體系結(jié)構(gòu)中概念設(shè)計(jì)中的數(shù)據(jù)實(shí)體，然后可以根據(jù)業(yè)務(wù)需求協(xié)同準(zhǔn)確地對(duì)其進(jìn)行更新或修改。

數(shù)據(jù)歸檔/保留策略

直到生產(chǎn)的每個(gè)后期，才經(jīng)常考慮或建立數(shù)據(jù)歸檔和保留策略，這會(huì)導(dǎo)致資源浪費(fèi)，不同數(shù)據(jù)庫(kù)之間的數(shù)據(jù)狀態(tài)不一致以及數(shù)據(jù)查詢和更新的性能不佳。 為了加強(qiáng)數(shù)據(jù)完整性，數(shù)據(jù)架構(gòu)師應(yīng)基于操作標(biāo)準(zhǔn)在數(shù)據(jù)體系結(jié)構(gòu)中定義數(shù)據(jù)歸檔和保留策略。

隱私和安全信息

隱私和安全性成為邏輯數(shù)據(jù)庫(kù)設(shè)計(jì)的重要方面。 盡管概念設(shè)計(jì)已定義了哪個(gè)數(shù)據(jù)組件是敏感信息，但邏輯設(shè)計(jì)應(yīng)該具有受限訪問(wèn)權(quán)限，受限數(shù)據(jù)復(fù)制，特定數(shù)據(jù)類型和安全數(shù)據(jù)流的數(shù)據(jù)庫(kù)中保護(hù)機(jī)密信息，以保護(hù)信息。

資料復(fù)制

數(shù)據(jù)復(fù)制是要考慮三個(gè)目標(biāo)的關(guān)鍵方面：1)高可用性; 2)避免通過(guò)網(wǎng)絡(luò)傳輸數(shù)據(jù)的性能; 3)去耦以最小化下游影響。 但是，過(guò)多的數(shù)據(jù)復(fù)制會(huì)導(dǎo)致混亂，數(shù)據(jù)質(zhì)量差和性能差。 任何數(shù)據(jù)復(fù)制都應(yīng)由數(shù)據(jù)架構(gòu)師檢查，并應(yīng)用原則和紀(jì)律。

數(shù)據(jù)流和管道

在此級(jí)別上，應(yīng)明確定義數(shù)據(jù)在不同數(shù)據(jù)庫(kù)系統(tǒng)和應(yīng)用程序之間的流動(dòng)方式。 同樣，此流程與業(yè)務(wù)流程和數(shù)據(jù)架構(gòu)師概念級(jí)別中說(shuō)明的流程一致。 此外，應(yīng)在邏輯設(shè)計(jì)的集成視圖中考慮數(shù)據(jù)攝取的頻率，流水線中的數(shù)據(jù)轉(zhuǎn)換以及針對(duì)輸出數(shù)據(jù)的數(shù)據(jù)訪問(wèn)模式。 例如，如果上游數(shù)據(jù)源是實(shí)時(shí)的，而下游系統(tǒng)主要用于具有重索引的聚合信息的數(shù)據(jù)訪問(wèn)(例如，對(duì)于頻繁的更新和插入來(lái)說(shuō)很昂貴)，則需要在兩者之間設(shè)計(jì)數(shù)據(jù)管道。 優(yōu)化性能。

3.數(shù)據(jù)治理是數(shù)據(jù)架構(gòu)持續(xù)成功的關(guān)鍵。

由于數(shù)據(jù)體系結(jié)構(gòu)反映并支持業(yè)務(wù)流程和流程，因此只要業(yè)務(wù)流程發(fā)生更改，數(shù)據(jù)架構(gòu)就可能發(fā)生更改。 隨著基礎(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)的更改，數(shù)據(jù)體系結(jié)構(gòu)也需要進(jìn)行調(diào)整。 因此，數(shù)據(jù)體系結(jié)構(gòu)不是靜態(tài)的，而是需要進(jìn)行連續(xù)的管理，增強(qiáng)和審計(jì)。 因此，應(yīng)該采用數(shù)據(jù)治理來(lái)確保在啟動(dòng)每個(gè)新項(xiàng)目時(shí)正確設(shè)計(jì)和實(shí)現(xiàn)企業(yè)數(shù)據(jù)體系結(jié)構(gòu)。

結(jié)論

在成功的數(shù)據(jù)體系結(jié)構(gòu)中，基于業(yè)務(wù)流程的概念設(shè)計(jì)是最關(guān)鍵的組成部分，其次是強(qiáng)調(diào)所有數(shù)據(jù)庫(kù)和數(shù)據(jù)管道之間的一致性，完整性和效率的邏輯設(shè)計(jì)。建立數(shù)據(jù)體系結(jié)構(gòu)后，組織可以查看哪些數(shù)據(jù)駐留在何處，并確保數(shù)據(jù)得到保護(hù)，有效存儲(chǔ)和正確處理。同樣，當(dāng)一個(gè)數(shù)據(jù)庫(kù)或一個(gè)組件發(fā)生更改時(shí)，數(shù)據(jù)體系結(jié)構(gòu)可以使組織快速評(píng)估影響并指導(dǎo)所有相關(guān)團(tuán)隊(duì)進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)。最后，數(shù)據(jù)體系結(jié)構(gòu)是企業(yè)系統(tǒng)的實(shí)時(shí)文檔，可以保證它是最新的，并提供清晰的端到端圖片?？傊?，反映端到端業(yè)務(wù)流程和運(yùn)營(yíng)的整體數(shù)據(jù)架構(gòu)對(duì)于公司在經(jīng)歷重大變化(例如收購(gòu)，數(shù)字轉(zhuǎn)換或遷移到下一代平臺(tái))的同時(shí)快速有效地發(fā)展至關(guān)重要。