社會方方面面都在進(jìn)入數(shù)字化時代，大數(shù)據(jù)相關(guān)的技術(shù)支撐體系，其作用不可小覷。數(shù)據(jù)倉庫和數(shù)據(jù)湖都是大數(shù)據(jù)底座的概念，經(jīng)常是我們討論技術(shù)方案的熱點(diǎn)。

表面看，兩者都是作為大數(shù)據(jù)存儲的方案，但在功能、目的和體系結(jié)構(gòu)方面存在根本差異。 

本文主要探討一下這兩個概念存在的幾個特點(diǎn)以及區(qū)別。

1.數(shù)據(jù)存儲類別

在數(shù)據(jù)多樣性方面，數(shù)據(jù)湖可以輕松地容納半結(jié)構(gòu)化、結(jié)構(gòu)化和非結(jié)構(gòu)化等不同類型的數(shù)據(jù)，這些數(shù)據(jù)都可以是原生格式，沒有任何預(yù)定義的數(shù)據(jù)模型。例如：視頻、文檔、媒體流、表格數(shù)據(jù)等。

相反，數(shù)據(jù)倉庫存儲的內(nèi)容為特定用例正確建模和組織的結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)一般是預(yù)定義好的數(shù)據(jù)模型，適用于傳統(tǒng)關(guān)系數(shù)據(jù)庫的數(shù)據(jù)。

從數(shù)據(jù)多樣化角度看，數(shù)據(jù)湖更容易訪問。  

2.處理方法

數(shù)據(jù)湖遵循schema-on-read的數(shù)據(jù)處理方法。因此，可以在數(shù)據(jù)湖上攝取到原始數(shù)據(jù)，而無需結(jié)構(gòu)化或建模。用戶可以直接分析特定結(jié)構(gòu)的數(shù)據(jù)，具有更好的敏捷性和靈活性。

然而，對于數(shù)據(jù)倉庫，在數(shù)據(jù)提取之前，就需要預(yù)先對數(shù)據(jù)建模，然后再執(zhí)行 schema-on-write 方法。要求在將數(shù)據(jù)加載到倉庫之前，按照預(yù)定義的方案對數(shù)據(jù)進(jìn)行格式化和結(jié)構(gòu)化。

3.存儲成本

在數(shù)據(jù)成本方面，數(shù)據(jù)湖提供了一種更加具有成本效益的存儲解決方案，因?yàn)樗ǔ？梢岳瞄_源技術(shù)實(shí)現(xiàn)。即使組織需要處理大量數(shù)據(jù)，分布式的存儲基礎(chǔ)架構(gòu)的使用也可以降低總體存儲成本。

與之相比，數(shù)據(jù)倉庫由于其專有技術(shù)和結(jié)構(gòu)化性質(zhì)，其存儲成本更高。倉庫中采用的索引和模式機(jī)制會導(dǎo)致存儲需求以及其他費(fèi)用的增加。

4.敏捷性

數(shù)據(jù)湖因?yàn)闆]有剛性的數(shù)據(jù)結(jié)構(gòu)，因此更具備靈活性。數(shù)據(jù)科學(xué)家和開發(fā)人員可以無縫地配置、查詢或建模，從而實(shí)現(xiàn)快速實(shí)驗(yàn)。

相反，數(shù)據(jù)倉庫的修改比較耗時。數(shù)據(jù)模型或模式的任何更改都需要在不同的業(yè)務(wù)流程中進(jìn)行大量的協(xié)調(diào)，耗時耗力。

5.安全性

隨著大數(shù)據(jù)技術(shù)的發(fā)展，對安全性要求也越來越高。一些增強(qiáng)的安全技術(shù)包括訪問控制、合規(guī)框架和加密，可以提高數(shù)據(jù)湖的安全性，降低未經(jīng)授權(quán)訪問的風(fēng)險。

數(shù)據(jù)倉庫技術(shù)已經(jīng)有幾十年的歷史，因此具有比較成熟的安全功能和強(qiáng)大的訪問控制機(jī)制。

相比之下，數(shù)據(jù)湖中不斷發(fā)展的安全協(xié)議使其在安全性方面更加強(qiáng)大。

6.可訪問性

由于數(shù)據(jù)湖支持非結(jié)構(gòu)化和原始性質(zhì)的數(shù)據(jù)，擁有更多可以有效利用的專業(yè)工具和技能，提供了更大的勘探能力和靈活性，可以滿足高級分析專業(yè)人員和數(shù)據(jù)科學(xué)家的需求。

而數(shù)據(jù)倉庫主要針對的是整個組織的分析用戶和商業(yè)智能。

7.成熟度

數(shù)據(jù)倉庫總體比數(shù)據(jù)湖的概念更早，更成熟，但隨著大數(shù)據(jù)技術(shù)的應(yīng)用落地，數(shù)據(jù)湖也在不斷地進(jìn)行細(xì)化、進(jìn)化?？梢灶A(yù)期其成熟度水平會隨著時間的推移而提高。在未來幾年，它將成為大數(shù)據(jù)應(yīng)用方面的一項(xiàng)突出技術(shù)。

雖然數(shù)據(jù)倉庫是一種成熟的技術(shù)，但該技術(shù)也面臨的主要問題在于原始數(shù)據(jù)的處理。

8.應(yīng)用場景

數(shù)據(jù)湖是處理來自不同來源的不同類型數(shù)據(jù)以及進(jìn)行機(jī)器學(xué)習(xí)和數(shù)據(jù)分析的好方案?？梢允褂脭?shù)據(jù)湖存儲大量多源異構(gòu)數(shù)據(jù)，并進(jìn)行分析，有利于預(yù)測模型、實(shí)時分析和數(shù)據(jù)發(fā)掘。

數(shù)據(jù)倉庫可以作為集中歷史數(shù)據(jù)的方案，是結(jié)構(gòu)化數(shù)據(jù)分析、預(yù)定義查詢和報告的理想選擇。

9.可集成性

數(shù)據(jù)湖往往需要強(qiáng)大的交互能力來處理、分析和接收來自不同來源的數(shù)據(jù)。數(shù)據(jù)管道和集成框架通常用于簡化數(shù)據(jù)湖環(huán)境中的抽取、轉(zhuǎn)換、消費(fèi)和攝取。

數(shù)據(jù)倉庫可以與傳統(tǒng)的報表平臺、商業(yè)智能（BI）和數(shù)據(jù)集成框架無縫集成。這些應(yīng)用程序旨在支持外部應(yīng)用程序和系統(tǒng)，從而實(shí)現(xiàn)整個組織的數(shù)據(jù)協(xié)作和共享。

10.互補(bǔ)性

數(shù)據(jù)湖通過以原始格式存儲來自不同數(shù)據(jù)源的數(shù)據(jù)來補(bǔ)充數(shù)據(jù)倉庫。包括非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。提供了經(jīng)濟(jì)高效且可擴(kuò)展的解決方案，可通過實(shí)時分析、預(yù)測建模和機(jī)器學(xué)習(xí)等功能來分析大量數(shù)據(jù)。

另一方面，數(shù)據(jù)倉庫通常是一個互補(bǔ)的事務(wù)系統(tǒng)，因?yàn)樗鼮榻y(tǒng)計(jì)報表和結(jié)構(gòu)化數(shù)據(jù)分析提供了解決方案。

總之

即使數(shù)據(jù)倉庫和數(shù)據(jù)湖在大數(shù)據(jù)應(yīng)用上有著許多共同的目標(biāo)，但在處理方法、安全性、敏捷性、成本、架構(gòu)、集成等方面存在一定的差異。因此，選擇哪一種數(shù)據(jù)存儲方案，需要先理解它們的優(yōu)勢和局限。