一、引言

隨著企業(yè)數(shù)據(jù)規(guī)模的增長，數(shù)據(jù)的價值變得越來越重要。然而，傳統(tǒng)的數(shù)據(jù)庫在承載大量數(shù)據(jù)時面臨挑戰(zhàn)，需要高效有序的維護。因此，建立高效的數(shù)據(jù)倉庫成為了企業(yè)決策和管理的基石，但現(xiàn)代技術(shù)的背景下，數(shù)據(jù)管理和保護仍然存在著重要挑戰(zhàn)。

為了解決這些挑戰(zhàn)，數(shù)據(jù)分層成為了數(shù)倉建設(shè)中不可或缺的步驟之一。通過對數(shù)據(jù)的分層整理，不同的數(shù)據(jù)可以被合理地分類，方便企業(yè)快速進行數(shù)據(jù)分析和決策。

在實際應(yīng)用中，數(shù)據(jù)分層需要進行靈活而有效的規(guī)劃和設(shè)計，并結(jié)合相關(guān)的技術(shù)和工具進行管理和監(jiān)控。只有這樣，企業(yè)才能提高決策和管理的效率，增強市場競爭力。

二、了解數(shù)據(jù)分層

什么是數(shù)據(jù)分層

數(shù)據(jù)分層是一種管理海量數(shù)據(jù)的方法。因為數(shù)據(jù)通常會包括許多不同的來源，而這些來源往往也會以不同的方式存儲和處理數(shù)據(jù)。這就是為什么需要使用數(shù)據(jù)分層。通過將數(shù)據(jù)分級存儲、加工和管理，可以更好地維護數(shù)據(jù)一致性、數(shù)據(jù)安全和數(shù)據(jù)復(fù)用。

數(shù)據(jù)分層前后對比

為什么需要使用數(shù)據(jù)分層

如果把數(shù)據(jù)看作圖書館里的書，我們希望看到它們在書架上分門別類地放置；如果把數(shù)據(jù)看作城市的建筑，我們希望城市規(guī)劃布局合理；如果把數(shù)據(jù)看作電腦文件和文件夾，我們希望按照自己的習(xí)慣有很好的文件夾組織方式，而不是糟糕混亂的桌面，經(jīng)常為找一個文件而不知所措。

簡單來說，數(shù)據(jù)分層是將現(xiàn)實世界中收集到的有效信息，按照其特點和用途進行分類和組織，從而更加合理地表現(xiàn)數(shù)據(jù)的價值。數(shù)據(jù)分層解決了數(shù)據(jù)管理中的各種挑戰(zhàn)和問題，并滿足了以下幾個方面的需求：

1.數(shù)據(jù)量和質(zhì)量——提高數(shù)據(jù)管理效率和準(zhǔn)確性

• 隨著企業(yè)數(shù)據(jù)不斷增長，數(shù)據(jù)量龐大且多樣化，數(shù)據(jù)質(zhì)量也面臨挑戰(zhàn)。
• 數(shù)據(jù)分層可以對不同的數(shù)據(jù)類別進行基本的數(shù)據(jù)清洗和整理，從而提高數(shù)據(jù)的質(zhì)量和可信度。
• 常見的數(shù)據(jù)類別包括：

數(shù)值型數(shù)據(jù)（如銷售額、成本等）

文本型數(shù)據(jù)（如文件、文檔等）

圖像型數(shù)據(jù)

視頻型數(shù)據(jù)

音頻型數(shù)據(jù)

2.數(shù)據(jù)來源和結(jié)構(gòu)——促進數(shù)據(jù)集成和共享

• 不同數(shù)據(jù)源和系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)和格式差異巨大，使得數(shù)據(jù)之間無法直接進行比較和集成。
• 數(shù)據(jù)分層通過對不同的數(shù)據(jù)類別進行轉(zhuǎn)換、整合和標(biāo)準(zhǔn)化，以實現(xiàn)數(shù)據(jù)的一致性和互操作性。
• 常見的數(shù)據(jù)類別包括：

結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫中的表格數(shù)據(jù)）

半結(jié)構(gòu)化數(shù)據(jù)（如JSON、XML等非嚴(yán)格格式化數(shù)據(jù)）

非結(jié)構(gòu)化數(shù)據(jù)（如文本、日志等無固定格式的數(shù)據(jù)）

3.數(shù)據(jù)定位和權(quán)限控制——加強數(shù)據(jù)安全和合規(guī)性

• 隨著多個部門和用戶共享數(shù)據(jù)的需求增加，需要確保數(shù)據(jù)的定位清晰且能夠進行精確的權(quán)限控制。
• 數(shù)據(jù)分層可以明確每個數(shù)據(jù)類別的歸屬和訪問權(quán)限，保障數(shù)據(jù)的安全性和隱私保護。
• 常見的數(shù)據(jù)類別包括：

個人身份數(shù)據(jù)（如個人身份證號碼、手機號碼等）

機密數(shù)據(jù)（如公司財務(wù)數(shù)據(jù)、合同等）

敏感數(shù)據(jù)（如用戶的健康狀況、信用卡信息等）

4.數(shù)據(jù)處理流程和效率——增強數(shù)據(jù)價值和應(yīng)用

• 數(shù)據(jù)處理過程中不合理的流程和冗余操作可能導(dǎo)致數(shù)據(jù)的重復(fù)和浪費。
• 數(shù)據(jù)分層可以建立規(guī)范和優(yōu)化的數(shù)據(jù)處理流程，以提高數(shù)據(jù)處理的效率和準(zhǔn)確性。
• 常見的數(shù)據(jù)類別包括：

處理過程中生成的臨時數(shù)據(jù)

派生數(shù)據(jù)（如計算指標(biāo)和數(shù)據(jù)挖掘結(jié)果）

集成數(shù)據(jù)（如數(shù)據(jù)倉庫中的整合數(shù)據(jù)）

5.數(shù)據(jù)歸檔和壓縮——降低數(shù)據(jù)管理和使用成本

• 通過對數(shù)據(jù)進行歸檔和壓縮，可以減少存儲空間的占用。
• 根據(jù)數(shù)據(jù)的使用頻率和價值，將不常訪問的數(shù)據(jù)歸檔到較廉價但仍可靠的存儲介質(zhì)中，從而釋放出更多高速和高成本存儲設(shè)備的存儲空間。
• 常見的數(shù)據(jù)類別包括：

歷史數(shù)據(jù)（如過去幾年的銷售訂單數(shù)據(jù)）

備份數(shù)據(jù)（如系統(tǒng)的數(shù)據(jù)庫備份）

歸檔數(shù)據(jù)（如長期存儲的審計日志）

三、數(shù)據(jù)分層的邏輯

數(shù)據(jù)有哪些分層

了解了數(shù)據(jù)分層的一些優(yōu)勢，大家可能就有疑問了。我們?nèi)绾芜M行數(shù)據(jù)分層呢？大概需要分幾層呢？

其實這個問題需要根據(jù)實際的業(yè)務(wù)狀況以及需要處理的數(shù)據(jù)體量來進行劃分，介紹分層之前，咱們先來了解下會有哪些分層，每層的作用和目的是啥。

圖片

如何進行數(shù)據(jù)分層

下面以一個互聯(lián)網(wǎng)在線學(xué)習(xí)平臺為例：

如果想要從學(xué)生、教師和課程等不同維度進行深入的數(shù)據(jù)分析和挖掘，則單一的數(shù)據(jù)源無法滿足這一需求，必須進行數(shù)據(jù)分層，將數(shù)據(jù)按照不同的層次進行清洗和整合，并與不同維度的數(shù)據(jù)進行連接和關(guān)聯(lián)。如果不進行數(shù)據(jù)分層的處理，數(shù)據(jù)的管理和維護將變得非常困難，同時也會導(dǎo)致數(shù)據(jù)的準(zhǔn)確性和可靠性受到影響。

此外，如果各個業(yè)務(wù)之間的數(shù)據(jù)交互和處理沒有進行優(yōu)化和規(guī)劃，數(shù)據(jù)處理在不同業(yè)務(wù)之間的流轉(zhuǎn)和傳遞就會變得十分復(fù)雜，這對平臺的運營效率和效果產(chǎn)生不良影響。同時無法為用戶提供更好的個性化服務(wù)，因為個性化服務(wù)需要對用戶的屬性、偏好和需求進行深入的了解和分析。

因此，數(shù)據(jù)分層處理對于在線學(xué)習(xí)平臺的優(yōu)化是十分必要的：

圖片

從這個案例可以分析出，通過數(shù)據(jù)分層設(shè)計帶來如下價值：

1. 更準(zhǔn)確的數(shù)據(jù)收集和管理：通過ODS層的操作數(shù)據(jù)層，平臺可以對學(xué)生和教師的注冊信息、學(xué)習(xí)行為數(shù)據(jù)進行更準(zhǔn)確地收集和管理，保證數(shù)據(jù)的真實可靠性。
2. 更深入的數(shù)據(jù)分析：借助DWD層的數(shù)據(jù)倉庫明細(xì)層，平臺可以深入分析學(xué)生的學(xué)習(xí)行為，如觀看視頻的時長、做題的次數(shù)等。同時，通過課程維度表的建立，也可對課程信息進行更詳盡的分析。
3. 更全面的數(shù)據(jù)匯總：在DWS層的數(shù)據(jù)倉庫匯總層中，平臺可以對學(xué)生的學(xué)習(xí)行為和成績情況進行詳細(xì)匯總、分析和展示，同時可以綜合考慮課程信息，制作出更詳盡的報告。這樣做可以方便平臺進行更全面的數(shù)據(jù)分析和統(tǒng)計，也可為教師和學(xué)生提供更有效的反饋和建議。
4. 更靈活的數(shù)據(jù)維護：在DIM層的維度數(shù)據(jù)層中，平臺可以對學(xué)生、教師和課程等屬性信息進行維護和管理，方便后續(xù)數(shù)據(jù)分析和應(yīng)用。同時，這些維度表也可以根據(jù)實際需求不斷調(diào)整和擴展，增強平臺的數(shù)據(jù)分析和應(yīng)用能力。
5. 更精準(zhǔn)的數(shù)據(jù)應(yīng)用：在ADS層的應(yīng)用數(shù)據(jù)層中，平臺可以根據(jù)學(xué)生和教師的數(shù)據(jù)情況，進行更精準(zhǔn)的教學(xué)評估、學(xué)習(xí)進度分析和課程推薦等功能。這樣，平臺可以為教師和學(xué)生提供更精準(zhǔn)、個性化的服務(wù)，提高用戶體驗和平臺價值。

數(shù)據(jù)分層的優(yōu)勢

由上述案例可見，數(shù)據(jù)倉庫的分層設(shè)計具有諸多價值，能夠提升數(shù)據(jù)管理效率、簡化復(fù)雜問題處理、提高數(shù)據(jù)復(fù)用能力，并為平臺提供規(guī)范化的數(shù)據(jù)管理和分析支持:

1. 提供方便使用的數(shù)據(jù)結(jié)構(gòu)：通過規(guī)范化的數(shù)據(jù)分層設(shè)計，使得學(xué)生、教師和課程等不同維度的數(shù)據(jù)能夠被清晰地定位和理解，方便使用方進行數(shù)據(jù)分析和挖掘。
2. 追溯數(shù)據(jù)源頭：分層后的數(shù)據(jù)血緣關(guān)系清晰明確，能夠快速準(zhǔn)確地追蹤數(shù)據(jù)的來源，幫助用戶了解數(shù)據(jù)的可靠性和可信度。
3. 提高數(shù)據(jù)的維護效率：通過數(shù)據(jù)分層的規(guī)范化設(shè)計，可以減少數(shù)據(jù)開發(fā)的工作量，節(jié)約計算和存儲資源的使用，同時方便維護人員進行數(shù)據(jù)管理和維護操作。
4. 簡化復(fù)雜問題的處理：將復(fù)雜的業(yè)務(wù)問題劃分為多個步驟，并在每一層只處理單一的步驟，有助于提高問題的可控性和可理解性。當(dāng)數(shù)據(jù)出現(xiàn)問題時，只需要修復(fù)有問題的部分，而不需要對所有數(shù)據(jù)進行修復(fù)。
5. 提升數(shù)據(jù)的復(fù)用能力：通過規(guī)范化的數(shù)據(jù)分層設(shè)計，可以開發(fā)一些通用的中間層數(shù)據(jù)，減少重復(fù)計算，提高業(yè)務(wù)表的使用率，從而提升系統(tǒng)的執(zhí)行效率。
6. 減少業(yè)務(wù)變化的影響：由于業(yè)務(wù)可能會經(jīng)常變化，通過數(shù)據(jù)分層設(shè)計，無需每次業(yè)務(wù)變化都重新接入數(shù)據(jù)，降低了對業(yè)務(wù)的影響和改動的成本。
7. 統(tǒng)一數(shù)據(jù)指標(biāo)口徑：通過數(shù)據(jù)分層設(shè)計，提供統(tǒng)一的數(shù)據(jù)出口和對外輸出的數(shù)據(jù)指標(biāo)口徑，保證數(shù)據(jù)的一致性和統(tǒng)一性，為平臺提供規(guī)范化的數(shù)據(jù)管理和分析支持。

四、得物數(shù)據(jù)分層的案例介紹

背景

為了幫助公司了解員工對公司目標(biāo)、文化、薪酬福利、職業(yè)發(fā)展、工作環(huán)境等方面的滿意度和需求，有助于識別問題、改善環(huán)境、增加團隊凝聚力，從而提高員工的工作效率和工作滿意度。得物每年會進行兩次全司的員工滿意度調(diào)研，從中挖掘出有價值的指標(biāo)，以便更好地了解員工需求并制定相應(yīng)的改進計劃。

數(shù)據(jù)分析痛點

員工滿意度數(shù)據(jù)分析中，存在以下痛點需注意：

• 業(yè)務(wù)邏輯復(fù)雜：為維護員工隱私，指標(biāo)的計算需要滿足填答人數(shù)必須大于3才能出統(tǒng)計數(shù)據(jù)。這一規(guī)則的設(shè)計，增加了數(shù)據(jù)處理的難度，提高數(shù)據(jù)出錯的風(fēng)險。
• 復(fù)雜的統(tǒng)計維度和指標(biāo)：統(tǒng)計維度多樣化，包括性別、年齡、司齡、崗位、職級等等，這也給數(shù)據(jù)的處理和分析增加了難度。
• 業(yè)務(wù)變更頻繁：員工滿意度調(diào)查問卷在不同周期會增加、刪除、變更題目。這也增加了數(shù)據(jù)處理和維護的難度和工作量。

設(shè)計數(shù)據(jù)分層

為了解決上述痛點和需求，我們決定設(shè)計數(shù)據(jù)分層。通過將數(shù)據(jù)劃分為不同層次，將數(shù)據(jù)處理、分析和服務(wù)化的流程分解成多個獨立部分，從而最大限度地提高數(shù)據(jù)分析處理的效率和安全性。

數(shù)據(jù)分層不僅實現(xiàn)了數(shù)據(jù)的可視化維護和服務(wù)化，還為數(shù)據(jù)加工、應(yīng)用和管理提供了更加清晰和規(guī)范化的指導(dǎo)方針，從而助力業(yè)務(wù)的發(fā)展和優(yōu)化。

操作數(shù)據(jù)存儲層ODS

ODS層的設(shè)計目標(biāo)是捕獲和保存原始數(shù)據(jù)，以便后續(xù)的數(shù)據(jù)清洗、整合和轉(zhuǎn)換。在這一層，數(shù)據(jù)通常以源系統(tǒng)的格式保存，保留了數(shù)據(jù)的完整性和粒度，并提供了適當(dāng)?shù)臄?shù)據(jù)結(jié)構(gòu)和字段以支持后續(xù)的轉(zhuǎn)換處理。

圖片

明細(xì)數(shù)據(jù)層DWD

DWD層的設(shè)計目標(biāo)是提供清洗、結(jié)構(gòu)化和可查詢的明細(xì)數(shù)據(jù)，以滿足企業(yè)不同業(yè)務(wù)需求和分析要求。在DWD層，數(shù)據(jù)已經(jīng)經(jīng)過了一系列的清洗和轉(zhuǎn)換過程，包括校驗、敏感數(shù)據(jù)加密、去重、標(biāo)準(zhǔn)化、格式化和結(jié)構(gòu)調(diào)整等，以確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。

圖片

匯總數(shù)據(jù)層DWS

DWD層的數(shù)據(jù)分散且過于細(xì)節(jié)化，難以支持更高層次的分析和決策。此時就需要使用DWS層對DWD層的數(shù)據(jù)進行匯總和聚合，以得到更高層次的數(shù)據(jù)信息。從而提供大量的元數(shù)據(jù)、預(yù)先計算的指標(biāo)和快速數(shù)據(jù)查詢等功能。

DWS層的數(shù)據(jù)通常具有更高的抽象層次，可以根據(jù)不同的業(yè)務(wù)需要進行不同的聚合方式，比如按照性別、年齡、司齡等粒度提供滿意度指標(biāo)1，滿意度指標(biāo)2等匯總指標(biāo)。

圖片

維度層DIM

DIM層可以看作是用來對數(shù)據(jù)進行分類、分組和篩選的“標(biāo)簽”。它通常是一些描述性的屬性或特征，對數(shù)據(jù)進行了翻譯和轉(zhuǎn)換。

例如，對于系統(tǒng)滿意度事實表，可以將維度層分為系統(tǒng)安全、系統(tǒng)性能、系統(tǒng)體驗、系統(tǒng)穩(wěn)定性等屬性信息，這些屬性可以對滿意度調(diào)研數(shù)據(jù)進行分類、分組和篩選，幫助系統(tǒng)負(fù)責(zé)人更好地優(yōu)化產(chǎn)品和服務(wù)。

圖片

數(shù)據(jù)應(yīng)用層ADS

ADS是數(shù)據(jù)倉庫中最接近用戶和應(yīng)用系統(tǒng)的一層，也是企業(yè)數(shù)據(jù)分析和應(yīng)用的重要來源和基礎(chǔ)。它的主要作用是將數(shù)據(jù)倉庫中的數(shù)據(jù)用于企業(yè)的業(yè)務(wù)運營、決策分析、客戶服務(wù)等方面，為用戶和應(yīng)用系統(tǒng)提供便利的數(shù)據(jù)訪問和操作接口。

在設(shè)計和實施數(shù)據(jù)應(yīng)用層ADS時，需要考慮以下因素：

1. 數(shù)據(jù)質(zhì)量：數(shù)據(jù)應(yīng)用層的數(shù)據(jù)質(zhì)量直接影響企業(yè)的業(yè)務(wù)應(yīng)用效果和決策分析結(jié)果。因此，在實施數(shù)據(jù)應(yīng)用層時需要嚴(yán)格控制數(shù)據(jù)質(zhì)量，保證數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。
2. 安全性：數(shù)據(jù)在應(yīng)用層的使用涉及到企業(yè)的核心業(yè)務(wù)和敏感數(shù)據(jù)，因此，在設(shè)計和實施數(shù)據(jù)應(yīng)用層時需要考慮數(shù)據(jù)安全的問題，采取一定的安全措施和技術(shù)手段，例如數(shù)據(jù)加密、權(quán)限控制等，確保數(shù)據(jù)安全和保密。
3. 可維護性：數(shù)據(jù)應(yīng)用層是企業(yè)應(yīng)用的基礎(chǔ)，其穩(wěn)定性和可維護性對企業(yè)長期發(fā)展至關(guān)重要。因此，在實施和應(yīng)用數(shù)據(jù)應(yīng)用層時需要考慮系統(tǒng)的可靠性、可擴展性和可維護性，例如數(shù)據(jù)備份、故障恢復(fù)、日志記錄等。

圖片

總結(jié)

在這個案例中，我們遇到了許多困難，如數(shù)據(jù)權(quán)限限制、業(yè)務(wù)邏輯復(fù)雜、統(tǒng)計維度多樣、業(yè)務(wù)變更頻繁等，這些困難給數(shù)據(jù)的處理和分析帶來了很大的難度和不便。

由于數(shù)據(jù)的分析是一個復(fù)雜的過程，可以采用數(shù)據(jù)分層的方法來解決這些問題。數(shù)據(jù)分層將數(shù)據(jù)處理、分析和服務(wù)化的流程分解成多個獨立部分，從而最大限度地提高數(shù)據(jù)分析處理的效率和安全性。通過將數(shù)據(jù)劃分為不同層次，數(shù)據(jù)分層實現(xiàn)了數(shù)據(jù)的可視化維護和服務(wù)化，為數(shù)據(jù)加工、應(yīng)用和管理提供了更加清晰和規(guī)范化的指導(dǎo)方針，從而助力業(yè)務(wù)的發(fā)展和優(yōu)化。

五、寫在末尾

數(shù)據(jù)分層帶來的一些問題

雖然數(shù)據(jù)分層設(shè)計帶來了許多優(yōu)點和價值，但也存在一些缺點。其中，主要包括以下幾點：

1. 復(fù)雜性增加：數(shù)據(jù)分層設(shè)計的實現(xiàn)需要付出一定的設(shè)計與維護成本，需要建立與維護多個層級，有時出現(xiàn)數(shù)據(jù)結(jié)構(gòu)紊亂、重復(fù)等問題可能會使得整個數(shù)據(jù)分層變得更加復(fù)雜。
2. 數(shù)據(jù)冗余：因為數(shù)據(jù)分層設(shè)計需要建立多個層級，可能會引入一定的數(shù)據(jù)冗余問題，導(dǎo)致數(shù)據(jù)冗余或重復(fù)使用。
3. 需要專業(yè)的技術(shù)人員：由于數(shù)據(jù)分層設(shè)計需要大量的技術(shù)編程和數(shù)據(jù)建模知識，需要專業(yè)的技術(shù)人員進行開發(fā)和維護。這會給公司帶來額外的專業(yè)技術(shù)成本和困難。
4. 數(shù)據(jù)倉庫容量問題：隨著數(shù)據(jù)分層設(shè)計的層數(shù)增加，數(shù)據(jù)倉庫的大小和存儲容量也會相應(yīng)增加，可能會帶來一定的存儲管理問題。

因此，在實際數(shù)據(jù)倉庫建設(shè)中，合理利用數(shù)據(jù)分層來組織、管理和分析數(shù)據(jù)是非常重要的。數(shù)據(jù)分層需要根據(jù)實際情況和企業(yè)需求來調(diào)整。

思考

數(shù)據(jù)分層在數(shù)倉建設(shè)中扮演了一個不可或缺的角色。通過按照一定的規(guī)則和標(biāo)準(zhǔn)，重新組織和歸納數(shù)據(jù)，數(shù)據(jù)分層可以提高數(shù)據(jù)利用率，加強數(shù)據(jù)管理，進一步幫助企業(yè)開展科學(xué)化、精細(xì)化的運營管理和決策分析。

隨著數(shù)據(jù)分析技術(shù)的進一步發(fā)展，數(shù)據(jù)分層也必將不斷優(yōu)化和完善。從數(shù)據(jù)分析工具的不斷升級，到人工智能和機器學(xué)習(xí)技術(shù)的應(yīng)用，數(shù)據(jù)分層必將成為企業(yè)數(shù)據(jù)管理和決策分析的頭號利器。因此，作為企業(yè)管理者和數(shù)據(jù)分析師，必須時刻關(guān)注數(shù)據(jù)分層技術(shù)的發(fā)展趨勢和變化，及時調(diào)整和優(yōu)化自己的數(shù)據(jù)分層管理方案，保證企業(yè)數(shù)據(jù)管理和決策分析的高效性和準(zhǔn)確性。