數(shù)據(jù)目錄已成為企業(yè)數(shù)據(jù)管理策略的重要組成部分，但選擇合適的數(shù)據(jù)目錄并不是簡單的事情。在做決定前，必須了解市場上的各種選項以及應優(yōu)先考慮端事項。

數(shù)據(jù)目錄是元數(shù)據(jù)管理工具，可幫助企業(yè)查找和管理大量數(shù)據(jù)。數(shù)據(jù)目錄背后的想法是將元數(shù)據(jù)集中在一個位置，并提供整個數(shù)據(jù)庫中數(shù)據(jù)的完整視圖。它還包含有關每個特定數(shù)據(jù)點位置的信息。

在選擇供應商之前，企業(yè)需要了解這個市場以及他們的需求和期望。本文可幫助你選擇最適合你企業(yè)數(shù)據(jù)的數(shù)據(jù)目錄。

[[381712]]

為什么數(shù)據(jù)目錄很重要

Gartner公司高級研究主管Joe Maguire認為，企業(yè)對數(shù)據(jù)目錄工具的需求主要源自三個方面。

企業(yè)使用數(shù)據(jù)目錄的第一推動因素是元數(shù)據(jù)管理變得越來越困難。數(shù)據(jù)架構更加復雜，并且數(shù)據(jù)量太大，以至于無法手動收集和描述元數(shù)據(jù)。

Maguire說：“即使是旨在簡化架構的技術(例如數(shù)據(jù)湖提供單個架構組件用于存儲各種數(shù)據(jù))也可能使元數(shù)據(jù)管理變得復雜。”

面對數(shù)據(jù)量不斷增長，有些企業(yè)并沒有擴大其元數(shù)據(jù)管理。

Maguire說：“正是由于忽略數(shù)據(jù)湖中的元數(shù)據(jù)，人們不得不創(chuàng)造出‘數(shù)據(jù)沼澤’的術語，以描述數(shù)據(jù)混亂而無人可清理的數(shù)據(jù)湖。”

第二個因素是，隨著企業(yè)追求自助服務分析和數(shù)據(jù)科學，對數(shù)據(jù)治理的需求也在增加。這也導致對數(shù)據(jù)目錄的更高需求。元數(shù)據(jù)是數(shù)據(jù)治理的基礎，數(shù)據(jù)目錄使訪問元數(shù)據(jù)更加容易。

第三個因素是這個市場已經(jīng)證明自己的價值。供應商的產(chǎn)品已經(jīng)變得越來越多樣化，并可真正幫助需要數(shù)據(jù)治理和元數(shù)據(jù)管理的企業(yè)。自動元數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)沿襲和對數(shù)據(jù)管理活動的支持等功能，使數(shù)據(jù)目錄對企業(yè)具有吸引力。

數(shù)據(jù)目錄類別

根據(jù)Maguire的說法，在討論數(shù)據(jù)目錄時，最重要的區(qū)別是了解企業(yè)數(shù)據(jù)目錄和嵌入式數(shù)據(jù)目錄之間的差異。

Maguire說：“企業(yè)數(shù)據(jù)目錄旨在整合來自各種元數(shù)據(jù)孤島的元數(shù)據(jù)，而嵌入式數(shù)據(jù)目錄是其他產(chǎn)品中提供的元數(shù)據(jù)管理功能集。”

企業(yè)數(shù)據(jù)目錄選項可以是DBMS、數(shù)據(jù)倉庫或BI平臺。嵌入式數(shù)據(jù)目錄則形成元數(shù)據(jù)孤島–企業(yè)數(shù)據(jù)目錄試圖整合的元數(shù)據(jù)孤島。

下面是最常見數(shù)據(jù)目錄：

獨立數(shù)據(jù)目錄。這些數(shù)據(jù)目錄具有通用性、獨立性和面向業(yè)務的特點，可廣泛用于數(shù)據(jù)管理、分析和數(shù)據(jù)治理。此選項適用于必須對多個用例進行數(shù)據(jù)分類的企業(yè)。目前提供獨立數(shù)據(jù)目錄的供應商包括Alation、Collibra、Informatica和Data.World。

提供目錄功能的元數(shù)據(jù)管理工具?，F(xiàn)代數(shù)據(jù)目錄主要針對數(shù)據(jù)管理員和數(shù)據(jù)分析師，他們可自動執(zhí)行元數(shù)據(jù)管理任務。Gartner在有關增強數(shù)據(jù)目錄的最新報告中警告說，有些供應商將其元數(shù)據(jù)管理工具重新命名為數(shù)據(jù)目錄。你應該自己做研究以確保你選擇正確的工具。

具有數(shù)據(jù)目錄功能的Data Lake支持工具。隨著企業(yè)繼續(xù)構建數(shù)據(jù)湖，他們需要可搜索且可重復使用的數(shù)據(jù)。這導致供應商在其產(chǎn)品中增加數(shù)據(jù)目錄方面。Zaloni和Cloudera Navigator都屬于此類。那些因采用數(shù)據(jù)湖而感到畏縮的企業(yè)可考慮這些供應商。

當你的企業(yè)確定選擇企業(yè)數(shù)據(jù)目錄或嵌入式數(shù)據(jù)目錄后，你就可以繼續(xù)尋找功能。好的數(shù)據(jù)目錄應該提供很多功能。

好的數(shù)據(jù)目錄應該提供什么?

作為企業(yè)，應該由你自己的團隊來確定哪種產(chǎn)品與你的數(shù)據(jù)最相關。供應商的數(shù)據(jù)目錄具有某些共同特征，必須首先對其質量進行評估。

數(shù)據(jù)目錄的重要功能在于其搜索功能。如果沒有靈活的搜索和過濾器選項，用戶將無法找到用于數(shù)據(jù)工程和分析目的數(shù)據(jù)集。數(shù)據(jù)目錄還必須從大量關聯(lián)數(shù)據(jù)資產(chǎn)收集元數(shù)據(jù)。它還必須提供自動化和數(shù)據(jù)智能，以處理與數(shù)據(jù)目錄相關的手動任務。人工智能和機器學習可通過推薦來增強數(shù)據(jù)。

數(shù)據(jù)目錄還應該可連接到企業(yè)內(nèi)數(shù)據(jù)架構的各個組件。Maguire說，企業(yè)數(shù)據(jù)目錄可以被視為元數(shù)據(jù)的數(shù)據(jù)倉庫。數(shù)據(jù)目錄從元數(shù)據(jù)孤島整合元數(shù)據(jù)，類似于數(shù)據(jù)倉庫從數(shù)據(jù)倉孤島中整合數(shù)據(jù)。

數(shù)據(jù)目錄另一個重要功能是提供連接器，以從各種組件(例如DBMS、BI工具和數(shù)據(jù)倉庫)獲取元數(shù)據(jù)。數(shù)據(jù)目錄支持以下四種類型的元數(shù)據(jù)：

• 技術元數(shù)據(jù)，描述數(shù)據(jù)模型、存儲模式、文件布局和API。
• 操作元數(shù)據(jù)，描述數(shù)據(jù)沿襲、性能和對數(shù)據(jù)各種操作所產(chǎn)生的日志文件輸出。
• 業(yè)務元數(shù)據(jù)分為兩類。一種是描述業(yè)務的元數(shù)據(jù)，例如業(yè)務數(shù)據(jù)詞匯表的內(nèi)容。另一個是描述業(yè)務角色如何與數(shù)據(jù)資產(chǎn)交互，例如數(shù)據(jù)管理員、數(shù)據(jù)保管者、自助服務分析師，其中數(shù)據(jù)管理員負責特定數(shù)據(jù)資產(chǎn)。
• 社交元數(shù)據(jù)構成知識，例如對某些數(shù)據(jù)資產(chǎn)的證明或認可，或其他用戶對數(shù)據(jù)目錄中條目生成的注釋。

常見供應商

市面上有很多企業(yè)和嵌入式數(shù)據(jù)目錄，這些選項通常具有相似功能和重疊功能。下面是對數(shù)據(jù)目錄選項的簡短比較。

• Alation數(shù)據(jù)目錄。Alation是獨立的數(shù)據(jù)目錄工具，使用AI來捕獲企業(yè)內(nèi)數(shù)據(jù)的背景信息。它被認為是所有員工都可易于使用的選項。
• Qlik目錄。Qlik的數(shù)據(jù)目錄還具有自動化的數(shù)據(jù)準備和元數(shù)據(jù)工具，以協(xié)助原始數(shù)據(jù)的轉換。它還具有數(shù)據(jù)市場，允許用戶搜索和發(fā)布數(shù)據(jù)集。
• Cloudera數(shù)據(jù)目錄。Cloudera的數(shù)據(jù)目錄使用戶可以發(fā)現(xiàn)、記錄和監(jiān)視其數(shù)據(jù)。同時，此產(chǎn)品允許用戶審核訪問并保護敏感信息，以避免未經(jīng)授權訪問。
• Collibra目錄。該選項是另一個獨立的數(shù)據(jù)目錄，它是基于業(yè)務最終用戶而構建。它是可搜索的存儲庫，使查找和理解數(shù)據(jù)更加容易。它還允許管理員記錄角色和職責。
• IBM Watson知識目錄。這是用于人工智能模型治理以及數(shù)據(jù)的開放智能數(shù)據(jù)目錄。此選項為用戶提供實時數(shù)據(jù)虛擬化支持、動態(tài)數(shù)據(jù)屏蔽和自動元數(shù)據(jù)生成。
• Oracle云基礎架構。Oracle產(chǎn)品提供了搜索和探索選項，使用戶可以通過多方面的搜索和過濾器從各種不同的來源中查找數(shù)據(jù)，并收集有關數(shù)據(jù)資產(chǎn)的技術元數(shù)據(jù)。