讓我?guī)湍銢Q定。

長期以來，數(shù)據(jù)湖在業(yè)界引起了極大的轟動，通常被視為解決所有數(shù)據(jù)問題的一站式解決方案。 圍繞數(shù)據(jù)湖的嗡嗡聲已將組織誤導為設計那些對業(yè)務沒有真正價值的組織。 此外，這些年來有關數(shù)據(jù)沼澤的恐怖故事只鼓勵人們懷疑。 如果您正在討論是否需要數(shù)據(jù)湖來加強數(shù)據(jù)策略，那么本文將為您提供一些幫助，以便您進行電話咨詢。

[[330252]]

您是否厭倦了從沒有邏輯集中存儲區(qū)域的異構(gòu)系統(tǒng)中提取數(shù)據(jù)?

對于大多數(shù)處理各種數(shù)據(jù)源的組織來說，這是一個普遍的問題。 缺乏用于分析工作負載的集中式數(shù)據(jù)存儲，迫使數(shù)據(jù)使用者創(chuàng)建本地化的系統(tǒng)，通常只限于少數(shù)幾個用戶來進行報告和分析。 幾種非標準化流程最終導致數(shù)據(jù)孤島的創(chuàng)建，這些孤島可能會成為數(shù)據(jù)訪問，一致性和準確性的主要問題。

數(shù)據(jù)湖架構(gòu)可以通過分布式存儲集中數(shù)據(jù)，從而提供可擴展，快速，安全和經(jīng)濟的解決方案。 加上強大的數(shù)據(jù)治理，最終可以解決數(shù)據(jù)孤島中的問題并使組織內(nèi)的數(shù)據(jù)民主化。 這些解決方案可以在內(nèi)部，云甚至混合基礎架構(gòu)中部署。

您是否因為存儲舊數(shù)據(jù)很昂貴而僅僅刪除舊數(shù)據(jù)而感到內(nèi)疚?

數(shù)據(jù)庫管理系統(tǒng)需要隨著數(shù)據(jù)增長而具有更多的計算能力，這導致許多設計決策(例如分區(qū)和向外擴展)進一步增加了支出。 當成本持續(xù)上升時，IT可以將數(shù)據(jù)壓縮為備份的數(shù)據(jù)庫備份到更便宜的存儲或平面文件中，或者在大多數(shù)情況下最終將它們刪除。 歸檔數(shù)據(jù)或刪除它們以降低費用可能會損害數(shù)據(jù)獲利的機會。

可以設計一個數(shù)據(jù)湖體系結(jié)構(gòu)來實施數(shù)據(jù)保留策略，從而減輕控制數(shù)據(jù)增長的壓力。 借助廉價的分層存儲，您可以輕松地計劃周密的保留策略并存儲大量數(shù)據(jù)，而不會浪費預算，并大大減少了編排的開銷。

您是否經(jīng)常使用變化的數(shù)據(jù)結(jié)構(gòu)來調(diào)整數(shù)據(jù)庫?

如果您正在使用關系數(shù)據(jù)庫并且源數(shù)據(jù)的架構(gòu)不斷變化，那么您要么忽略正在進行的更改并可能丟失有價值的信息，要么正在花費資源來將數(shù)據(jù)庫調(diào)整為適用于源架構(gòu)。 無論哪種方式，您都不會贏。

數(shù)據(jù)湖允許存儲原始數(shù)據(jù)(結(jié)構(gòu)化/非結(jié)構(gòu)化/半結(jié)構(gòu)化)，而無需運行任何前期ETL流程。 您不會丟失正在進行的數(shù)據(jù)更改，還可以節(jié)省調(diào)整數(shù)據(jù)庫表結(jié)構(gòu)，ETL管道等的費用。您(或使用者)可以在讀取數(shù)據(jù)時定義結(jié)構(gòu)，而不是在存儲數(shù)據(jù)時定義數(shù)據(jù)的結(jié)構(gòu) (檢查讀取模式)可以使授權(quán)使用者以他們喜歡的任何方式讀取數(shù)據(jù)。 雙贏。

您是否有不同的數(shù)據(jù)消費者集合需要相同的數(shù)據(jù)集的不同形式?

并非組織中的每個人都希望以一種特定的形狀或切割形式使用數(shù)據(jù)。 一些消費者需要與他們的部門需求保持一致的關系形式的干凈，結(jié)構(gòu)化和必要的數(shù)據(jù)，一些消費者需要原始數(shù)據(jù)來運行機器學習實驗，一些消費者將屬于受限類別并使用屏蔽數(shù)據(jù)。 在傳統(tǒng)平臺上解決這些要求變得麻煩(且昂貴)。

一旦將原始數(shù)據(jù)存儲在數(shù)據(jù)湖中，就可以在數(shù)據(jù)中創(chuàng)建邏輯視圖，以便用戶以所需的形式使用數(shù)據(jù)。 您甚至可以創(chuàng)建流程以將結(jié)構(gòu)化形式的數(shù)據(jù)存儲到數(shù)據(jù)倉庫中，并應用匿名規(guī)則將數(shù)據(jù)推送給外部使用者。

您了解數(shù)據(jù)湖的概念嗎?

關于數(shù)據(jù)湖有很多神話，在做出決定之前了解一些事實很重要。

• Data Lake是一個概念，而不是產(chǎn)品。 Data Lake不是Amazon S3或Azure Data Lake Storage或Hadoop，而是一種架構(gòu)，指導如何在對象存儲(如Amazon S3，ADLS，HDFS)或多個存儲組件中存儲和組織數(shù)據(jù)。
• Data Lake不能替代數(shù)據(jù)倉庫。 這是關于數(shù)據(jù)湖的最大困惑。 如此多，當您使用Google術語"數(shù)據(jù)湖"時，您會發(fā)現(xiàn)大多數(shù)人將數(shù)據(jù)湖與數(shù)據(jù)倉庫進行比較。 數(shù)據(jù)湖允許數(shù)據(jù)以其原始格式駐留，而數(shù)據(jù)倉庫是您存儲經(jīng)過處理，清理，結(jié)構(gòu)化和感興趣的數(shù)據(jù)的地方。 數(shù)據(jù)湖和數(shù)據(jù)倉庫是相輔相成的想法，不能相互替代。
• 數(shù)據(jù)湖需要治理。 您可以不經(jīng)任何處理就將原始格式的數(shù)據(jù)提取到數(shù)據(jù)湖中，但是一旦將數(shù)據(jù)存儲在數(shù)據(jù)湖中，就需要進行適當?shù)姆诸?，管理和控制，以確保只有授權(quán)的使用者才能跟蹤，識別和訪問數(shù)據(jù)。
• 數(shù)據(jù)湖不是一種通用架構(gòu)。 數(shù)據(jù)湖的設計因每個組織和用例而異。 一個組織可以決定建立多個數(shù)據(jù)湖，或者一個數(shù)據(jù)湖可以為多個組織服務。 無論哪種情況，都是根據(jù)業(yè)務策略，基礎架構(gòu)，技術選擇和人員技能來做出特定的設計決策。

最后…

數(shù)據(jù)湖確實具有巨大的優(yōu)勢，對于許多熱衷于制定數(shù)據(jù)戰(zhàn)略的組織而言，它可能是一個有吸引力的提議。 您必須仔細檢查它是否可以解決您的業(yè)務問題，是否與組織中的其他技術平臺很好地集成以及是否真正為業(yè)務創(chuàng)造了價值。 做出良好的設計決策并確保在整個組織中建立數(shù)據(jù)治理規(guī)則以使用數(shù)據(jù)湖至關重要。 最重要的是，只有那些人才能成功實現(xiàn)這一目標，您將必須支持和發(fā)展正確的技能，并鼓勵采用數(shù)據(jù)驅(qū)動的文化。