成功的數(shù)據(jù)治理方案涉及部署策略、標準和流程，以在整個企業(yè)中有效正確地利用高質量數(shù)據(jù)。如果你的企業(yè)具有數(shù)據(jù)湖環(huán)境，并希望從中獲得高質量的分析結果，則你需要部署正確數(shù)據(jù)湖治理，作為整體治理計劃的一部分。

[[316070]]

但數(shù)據(jù)湖給企業(yè)數(shù)據(jù)管理的方方面面都帶來挑戰(zhàn)，包括數(shù)據(jù)治理。在開始討論治理挑戰(zhàn)前，我們有必要定義什么是數(shù)據(jù)湖：一種可容納大量原始數(shù)據(jù)的數(shù)據(jù)平臺，這些數(shù)據(jù)通常以其本機格式保留，直到需要用于分析。

傳統(tǒng)的數(shù)據(jù)倉庫將數(shù)據(jù)存儲在關系表中，而數(shù)據(jù)湖則使用平面結構。每個數(shù)據(jù)元素被分配唯一標識符，并用一組元數(shù)據(jù)標簽進行標記。這就是說，數(shù)據(jù)湖沒有數(shù)據(jù)倉庫那么結構化。在訪問數(shù)據(jù)進行分析時，數(shù)據(jù)會被分類和整理，而不是在將數(shù)據(jù)加載到數(shù)據(jù)湖中時。

有效的數(shù)據(jù)治理使企業(yè)能夠提高數(shù)據(jù)質量和一致性，并很大程度地利用數(shù)據(jù)進行業(yè)務決策，從而可以改善業(yè)務規(guī)劃和財務績效。數(shù)據(jù)治理的配套數(shù)據(jù)管理學科包括數(shù)據(jù)質量、元數(shù)據(jù)管理和數(shù)據(jù)安全性，所有這些因素都影響到數(shù)據(jù)湖治理。

現(xiàn)在，讓我們看看下面5個數(shù)據(jù)湖部署中的數(shù)據(jù)治理挑戰(zhàn)。

1.識別和維護正確的數(shù)據(jù)源

在很多數(shù)據(jù)湖部署中，源元數(shù)據(jù)沒有被獲取或根本不可用，這使得數(shù)據(jù)湖內容的有效性令人質疑。例如，可能未列出記錄系統(tǒng)或數(shù)據(jù)集的業(yè)務所有者，或者顯然冗余數(shù)據(jù)可能會給數(shù)據(jù)分析人員造成問題。至少應記錄數(shù)據(jù)湖中所有數(shù)據(jù)的源元數(shù)據(jù)，并使用戶可以使用它來了解其出處。

2.元數(shù)據(jù)管理問題

元數(shù)據(jù)為數(shù)據(jù)集內容提供背景信息，并且是使數(shù)據(jù)在應用程序中易于理解和可使用的重要組件。但是很多數(shù)據(jù)湖部署忽略了對收集的數(shù)據(jù)應用正確數(shù)據(jù)定義的需求。而且，由于原始數(shù)據(jù)通常被加載到數(shù)據(jù)湖中，很多企業(yè)沒有采取步驟來驗證數(shù)據(jù)或對其應用企業(yè)數(shù)據(jù)標準。缺少適當?shù)脑獢?shù)據(jù)管理使得數(shù)據(jù)湖中的數(shù)據(jù)對分析的用處不大。

3.在數(shù)據(jù)治理和數(shù)據(jù)質量方面缺乏協(xié)調性

不協(xié)調的數(shù)據(jù)湖治理和數(shù)據(jù)質量工作會導致劣質數(shù)據(jù)進入數(shù)據(jù)湖。當這些數(shù)據(jù)用于分析并驅動業(yè)務決策時，這可能導致結果不準確，從而導致喪失對數(shù)據(jù)湖的信心以及整個企業(yè)對數(shù)據(jù)普遍不信任。有效的數(shù)據(jù)湖部署需要數(shù)據(jù)質量分析師和工程師與數(shù)據(jù)治理團隊及數(shù)據(jù)管理員密切合作，以部署數(shù)據(jù)質量策略、分析數(shù)據(jù)并采取必要的措施來提高其質量。

4.在數(shù)據(jù)治理和數(shù)據(jù)安全方面缺乏協(xié)調性

在這種情況下，如果數(shù)據(jù)安全標準和策略未被正確納入治理流程中，可能會導致無法訪問受隱私法規(guī)和其他類型的敏感數(shù)據(jù)保護的個人數(shù)據(jù)。盡管數(shù)據(jù)湖旨在成為相當開放的數(shù)據(jù)源，但仍需要安全性和訪問控制措施，并且，數(shù)據(jù)治理和數(shù)據(jù)安全團隊應攜手完成數(shù)據(jù)湖設計和加載過程，以及持續(xù)的數(shù)據(jù)治理工作。

5.使用相同數(shù)據(jù)湖的業(yè)務部門之間的沖突

不同部門對于相似數(shù)據(jù)可能具有不同的業(yè)務規(guī)則，這可能導致無法協(xié)調數(shù)據(jù)差異以進行準確的分析。完善的數(shù)據(jù)治理方案應具有對數(shù)據(jù)策略、標準、流程和定義的企業(yè)視角，包括企業(yè)業(yè)務詞匯表，這可減少多個業(yè)務部門使用同一數(shù)據(jù)湖時出現(xiàn)的問題。如果企業(yè)有多個數(shù)據(jù)湖，則每個數(shù)據(jù)湖都應包含在數(shù)據(jù)湖治理流程中，并為其分配業(yè)務數(shù)據(jù)管理員。 總之，通過在數(shù)據(jù)湖的設計、加載和維護過程中加入強大的數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)質量和數(shù)據(jù)安全流程，并由所有這些領域的經驗豐富的專業(yè)人員積極參與，可顯著提高數(shù)據(jù)湖的價值。否則，你的數(shù)據(jù)湖可能會變成數(shù)據(jù)沼澤。