談到數(shù)據(jù)倉(cāng)庫(kù)，我們往往容易忽略“數(shù)據(jù)”兩個(gè)字，阿里云有著很多業(yè)務(wù)場(chǎng)景和業(yè)務(wù)體系，在這些數(shù)據(jù)應(yīng)用之下我們?nèi)绾喂芾頂?shù)據(jù)的呢？數(shù)據(jù)倉(cāng)庫(kù)是如何幫到我們以及它自身是如何演進(jìn)的？

數(shù)據(jù)倉(cāng)庫(kù)概念從1990年提出，經(jīng)過(guò)了四個(gè)主要階段。從最初的數(shù)據(jù)庫(kù)演進(jìn)到數(shù)據(jù)倉(cāng)庫(kù)，到MPP架構(gòu)，到大數(shù)據(jù)時(shí)代的數(shù)據(jù)倉(cāng)庫(kù)，再到今天的云原生的數(shù)據(jù)倉(cāng)庫(kù)。在不斷的演進(jìn)過(guò)程中，數(shù)據(jù)倉(cāng)庫(kù)面臨著不同的挑戰(zhàn)。

第一 啟動(dòng)成本高、建設(shè)周期長(zhǎng)，價(jià)值難以快速驗(yàn)證

對(duì)于數(shù)倉(cāng)的建設(shè)人員，面臨的挑戰(zhàn)是業(yè)務(wù)人員希望數(shù)倉(cāng)建設(shè)周期能更短。而傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)往往要面臨從采購(gòu)服務(wù)器，建立物理倉(cāng)庫(kù)到邏輯倉(cāng)庫(kù)等一個(gè)較長(zhǎng)的周期，所以數(shù)據(jù)倉(cāng)庫(kù)面臨的第一個(gè)挑戰(zhàn)就是怎樣去降低建設(shè)周期。

第二 如何處理多樣數(shù)據(jù)，擁抱新技術(shù)，充分挖掘數(shù)據(jù)價(jià)值

隨著大數(shù)據(jù)的到來(lái)，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)管理的大多是結(jié)構(gòu)化數(shù)據(jù)。如何對(duì)半結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行統(tǒng)一全面的管理就成為傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)面臨的第二個(gè)挑戰(zhàn)。

第三 難以共享企業(yè)數(shù)據(jù)資產(chǎn)、數(shù)據(jù)創(chuàng)新成本高

數(shù)據(jù)倉(cāng)庫(kù)更加強(qiáng)調(diào)管理和安全，在強(qiáng)調(diào)安全的情況下如何在組織里以及整個(gè)生態(tài)上下游中更好的共享和交換數(shù)據(jù)，成為了新的挑戰(zhàn)。例如在企業(yè)的部門(mén)間或業(yè)務(wù)間依然存在為數(shù)不少的數(shù)據(jù)孤島，數(shù)據(jù)共享成本高，缺乏企業(yè)級(jí)別的統(tǒng)一的數(shù)據(jù)獲取出口，由此導(dǎo)致數(shù)據(jù)消費(fèi)方獲取數(shù)據(jù)困難，難于自助分析，嚴(yán)重依賴(lài)IT部門(mén)支持來(lái)滿(mǎn)足企業(yè)更廣泛的數(shù)據(jù)需求。

第四 平臺(tái)架構(gòu)復(fù)雜、運(yùn)營(yíng)成本高

隨著數(shù)據(jù)處理種類(lèi)的多樣化和數(shù)據(jù)量的不斷變大，不同的技術(shù)被疊加在一起從而使得數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)變得越發(fā)復(fù)雜。同一企業(yè)里往往會(huì)同時(shí)存在各種技術(shù)類(lèi)型的數(shù)據(jù)倉(cāng)庫(kù)。所以如何簡(jiǎn)化數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)也是面臨的一個(gè)重要挑戰(zhàn)。一般需要投入專(zhuān)業(yè)團(tuán)隊(duì)負(fù)責(zé)管理復(fù)雜的數(shù)據(jù)平臺(tái)，同時(shí)對(duì)資源利用率不高的情況進(jìn)行管理和治理。

第五 滿(mǎn)足業(yè)務(wù)需要的擴(kuò)展性、彈性、靈活性

業(yè)務(wù)快速發(fā)展的企業(yè)，經(jīng)常會(huì)有大促活動(dòng)，補(bǔ)數(shù)據(jù)，處理非常規(guī)事件的需求，如何快速擴(kuò)展數(shù)倉(cāng)性能，提高業(yè)務(wù)峰谷的響應(yīng)時(shí)效，也帶來(lái)很多挑戰(zhàn)。

對(duì)于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)面臨的這些挑戰(zhàn)，在技術(shù)和業(yè)務(wù)的驅(qū)動(dòng)下新型數(shù)據(jù)倉(cāng)庫(kù)如何應(yīng)對(duì)呢？這里可以看到六個(gè)主要的驅(qū)動(dòng)力。

第一 我們希望有一個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái)，能去連接，去存儲(chǔ)和處理多種數(shù)據(jù)。

第二 實(shí)時(shí)化，企業(yè)基于數(shù)據(jù)驅(qū)動(dòng)能實(shí)時(shí)對(duì)業(yè)務(wù)作出支撐和決策的信息，這里有更高時(shí)效性的要求。

第三 數(shù)據(jù)量變得非常龐大，在海量數(shù)據(jù)中如何找到想要的數(shù)據(jù)，就需要有一張地圖，要對(duì)數(shù)據(jù)進(jìn)行管理和治理。

第四 傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)的存儲(chǔ)采用集中的方式，一定要把數(shù)據(jù)集中在同一個(gè)存儲(chǔ)中。而在新的業(yè)務(wù)驅(qū)動(dòng)下，需要去連接數(shù)據(jù)而不是統(tǒng)一存儲(chǔ)在一起。

第五 數(shù)據(jù)倉(cāng)庫(kù)之上如何支持更多智能化的應(yīng)用，信息化的業(yè)務(wù)以及業(yè)務(wù)的信息化等關(guān)系。這就是數(shù)倉(cāng)智能化和智能化數(shù)倉(cāng)的需求驅(qū)動(dòng)力。

第六 數(shù)據(jù)領(lǐng)域的不同角色對(duì)數(shù)據(jù)平臺(tái)有著不同需求。例如數(shù)據(jù)工程師，數(shù)據(jù)分析人員，數(shù)據(jù)科學(xué)家等，他們對(duì)數(shù)據(jù)平臺(tái)的響應(yīng)時(shí)間，處理速度，數(shù)據(jù)量，開(kāi)發(fā)語(yǔ)言等有著不同的需求。所以更多的做好分析服務(wù)，成為數(shù)據(jù)管理平臺(tái)第六個(gè)驅(qū)動(dòng)力。

據(jù)倉(cāng)庫(kù)在不斷地演進(jìn)過(guò)程中，從30年前的概念來(lái)看已經(jīng)注入了更多新的內(nèi)涵。對(duì)于新的內(nèi)涵，我們可以從數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)架構(gòu)，數(shù)據(jù)架構(gòu)，數(shù)據(jù)分析以及服務(wù)模型四個(gè)角度來(lái)明顯看到云原生，湖倉(cāng)一體，離線(xiàn)實(shí)時(shí)一體化、服務(wù)模型的SAAS化的演進(jìn)趨勢(shì)。

云原生 — 數(shù)倉(cāng)基礎(chǔ)架構(gòu)的演進(jìn)方向

云原生是數(shù)倉(cāng)基礎(chǔ)架構(gòu)的一個(gè)基本的演進(jìn)方向。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)是基于物理服務(wù)器或云上托管服務(wù)器的模式。而云原生的情況下可以更多去應(yīng)用云的基礎(chǔ)服務(wù)，包括存儲(chǔ)服務(wù)，網(wǎng)絡(luò)服務(wù)以及更多的監(jiān)控服務(wù)。這就意味著在云上用原生服務(wù)可以獲得云的自服務(wù)、彈性等能力，云數(shù)倉(cāng)就可以更好的去集成更多的云上服務(wù)，包括如何把日志數(shù)據(jù)從各種數(shù)據(jù)源抽取到數(shù)據(jù)倉(cāng)庫(kù)中，也包括如何進(jìn)行全鏈路的數(shù)據(jù)管理和機(jī)器學(xué)習(xí)等。所以云原生往往包含了如何構(gòu)建和如何與云上服務(wù)原生的集成。

如圖，云原生的情況下在底層充分利用了云的彈性計(jì)算，存儲(chǔ)以及安全能力。在此之上可以看到我們把所有云的復(fù)雜性都屏蔽掉，作為數(shù)據(jù)平臺(tái)的用戶(hù)，只需開(kāi)通服務(wù)，通過(guò)web方式創(chuàng)建項(xiàng)目空間，五分鐘開(kāi)通一個(gè)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)后面模型的開(kāi)發(fā)。大大簡(jiǎn)化了服務(wù)交付的周期以及數(shù)據(jù)倉(cāng)庫(kù)整個(gè)底層架構(gòu)，技術(shù)架構(gòu)構(gòu)建過(guò)程。另一方面是云原生數(shù)倉(cāng)的擴(kuò)展性，不管你提交了一個(gè)只需要1CU的作業(yè)還是提交一個(gè)可能需要10000CU的作業(yè)，平臺(tái)都會(huì)按你的需要調(diào)度資源來(lái)進(jìn)行數(shù)據(jù)處理。所以云原生又給我們帶來(lái)近乎無(wú)限的擴(kuò)展性。

湖倉(cāng)一體 — 數(shù)倉(cāng)數(shù)據(jù)架構(gòu)的演進(jìn)方向

講到湖倉(cāng)一體，先來(lái)看湖倉(cāng)一體背后的原因。不得不說(shuō)到今天為止數(shù)據(jù)倉(cāng)庫(kù)仍然是企業(yè)管理數(shù)據(jù)最優(yōu)的解決方案。各個(gè)企業(yè)大都有自己的數(shù)據(jù)倉(cāng)庫(kù)，只不過(guò)可能是基于不同的技術(shù)形態(tài)構(gòu)建的數(shù)據(jù)倉(cāng)庫(kù)。在處理策略，對(duì)語(yǔ)義的支持上，對(duì)場(chǎng)景的優(yōu)化上以及工程經(jīng)驗(yàn)上，數(shù)據(jù)倉(cāng)庫(kù)是目前沉淀下來(lái)的一個(gè)最優(yōu)的方案。在此之上，企業(yè)數(shù)據(jù)量越來(lái)越大，需要更靈活更敏捷的數(shù)據(jù)探索能力。同時(shí)，對(duì)未知數(shù)據(jù)存在先存儲(chǔ)下來(lái)再進(jìn)一步探索的訴求。由此，企業(yè)在架構(gòu)上需要融合數(shù)據(jù)分析的最優(yōu)化和可探索兩個(gè)方面的優(yōu)勢(shì)，從處理策略到語(yǔ)義支持，以及使用案例上，數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖分別帶給企業(yè)不同的優(yōu)勢(shì)。數(shù)據(jù)倉(cāng)庫(kù)在易管理，數(shù)據(jù)質(zhì)量高，而數(shù)據(jù)湖在可探索，靈活性強(qiáng)方面為我們帶來(lái)優(yōu)勢(shì)。我們要思考和討論如何將兩種方式結(jié)合起來(lái)共用，這就是提出“湖倉(cāng)一體”的背景。

在MaxCompute以數(shù)據(jù)倉(cāng)庫(kù)為主的場(chǎng)景下，將數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)管理的最優(yōu)工程經(jīng)驗(yàn)，管理經(jīng)驗(yàn)和數(shù)據(jù)湖對(duì)數(shù)據(jù)管理的靈活性，數(shù)據(jù)處理的靈活性更好的結(jié)合在一起， 2019年我們?cè)谌蚵氏忍岢隽?ldquo;湖倉(cāng)一體”的全新數(shù)據(jù)管理架構(gòu)。基于MaxCompute數(shù)據(jù)倉(cāng)庫(kù)來(lái)提供安全可靠的，結(jié)構(gòu)化的數(shù)據(jù)管理方式，以及在此之上由DataWorks提供數(shù)據(jù)血緣，數(shù)據(jù)地圖和數(shù)據(jù)治理等能力。這些能力如何延伸到數(shù)據(jù)湖中？今天我們可見(jiàn)的數(shù)據(jù)湖包括基于云上的對(duì)象存儲(chǔ)OSS，也包含企業(yè)中基于Hadoop HDFS的數(shù)據(jù)湖，對(duì)于這兩類(lèi)數(shù)據(jù)湖如何基于已有的靈活性能夠獲得更容易探索能力，能提升它們得數(shù)據(jù)處理性能，管理能力和安全性？

我們所做的就是把數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖兩者打通，通過(guò)數(shù)據(jù)湖構(gòu)建DLF，發(fā)現(xiàn)數(shù)據(jù)湖的元數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化的統(tǒng)一管理，融合湖的靈活和便捷優(yōu)勢(shì)。這就是以倉(cāng)為中心的湖倉(cāng)一體新型數(shù)據(jù)管理的架構(gòu)，數(shù)據(jù)倉(cāng)庫(kù)在企業(yè)數(shù)據(jù)的管理方式上往前又推進(jìn)了一步。

離線(xiàn)實(shí)時(shí)一體 — 數(shù)倉(cāng)數(shù)據(jù)分析的演進(jìn)方向

在企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)中，通過(guò)SLS、Kafka等訂閱的方式進(jìn)行數(shù)據(jù)采集，通常有三種路徑。第一種可能是將一部分?jǐn)?shù)據(jù)歸檔在數(shù)據(jù)倉(cāng)庫(kù)中，然后進(jìn)行全量的分析。第二種是進(jìn)行實(shí)時(shí)的查詢(xún)分析，比如風(fēng)控場(chǎng)景下查一個(gè)電話(huà)號(hào)碼過(guò)去三年的通話(huà)記錄，要馬上查出來(lái)，就需要進(jìn)行實(shí)時(shí)的連接分析。第三種是進(jìn)行一些關(guān)聯(lián)的多維度查詢(xún)，對(duì)這些實(shí)時(shí)數(shù)據(jù)等進(jìn)行關(guān)聯(lián)的基礎(chǔ)上，后面再來(lái)進(jìn)行批量的處理，實(shí)時(shí)處理以及點(diǎn)查。實(shí)時(shí)數(shù)據(jù)的獲取，計(jì)算以及應(yīng)用這三方面，構(gòu)成了整個(gè)數(shù)倉(cāng)由離線(xiàn)向?qū)崟r(shí)發(fā)展的三個(gè)核心含義。這里最核心的就是計(jì)算。計(jì)算的本質(zhì)無(wú)外乎兩個(gè)，一個(gè)是主動(dòng)計(jì)算，另一個(gè)是被動(dòng)計(jì)算。離線(xiàn)計(jì)算往往是被動(dòng)計(jì)算，需要數(shù)倉(cāng)工程師通過(guò)定義任務(wù)來(lái)調(diào)度作業(yè)，才能計(jì)算出新的結(jié)果。在實(shí)時(shí)離線(xiàn)一體化中，除了被動(dòng)計(jì)算，還要有主動(dòng)計(jì)算能力。當(dāng)數(shù)據(jù)流入后，不做人工干預(yù)，任何作業(yè)的插入和重啟都能自動(dòng)算出新的結(jié)果或中間結(jié)果。參與實(shí)時(shí)計(jì)算就最大程度的增加了主動(dòng)計(jì)算的過(guò)程，而主動(dòng)的結(jié)果帶給我們的好處就是無(wú)需重新調(diào)度任何作業(yè)就能拿到想要的結(jié)果數(shù)據(jù)。

在離線(xiàn)和實(shí)時(shí)一體的情況下雖然可以解決業(yè)務(wù)上的一些問(wèn)題，但架構(gòu)會(huì)非常復(fù)雜。所以阿里云提出離線(xiàn)實(shí)時(shí)一體化的數(shù)倉(cāng)架構(gòu)。簡(jiǎn)化是說(shuō)我們只需要核心的幾個(gè)產(chǎn)品，就可以實(shí)現(xiàn)離線(xiàn)和實(shí)時(shí)一體化的架構(gòu)。數(shù)據(jù)源包括了交易數(shù)據(jù)以及各個(gè)服務(wù)器生成的人的行為數(shù)據(jù)和物的行為數(shù)據(jù)，通過(guò)日志服務(wù)，定期歸檔到Hologres,之后，實(shí)時(shí)數(shù)倉(cāng)加上流計(jì)算來(lái)進(jìn)行實(shí)時(shí)計(jì)算，然后在下面是全量的數(shù)倉(cāng)，整個(gè)完成了主動(dòng)計(jì)算、被動(dòng)計(jì)算和數(shù)據(jù)的實(shí)時(shí)獲取。結(jié)果數(shù)據(jù)可以不用做任何搬遷，直接通過(guò)Hologres來(lái)做實(shí)時(shí)分析。將實(shí)時(shí)的數(shù)據(jù)獲取，實(shí)時(shí)的數(shù)據(jù)計(jì)算和實(shí)時(shí)的數(shù)據(jù)分析服務(wù)三者打通為一體，架構(gòu)上做了最大程度的簡(jiǎn)化，這就是今天所說(shuō)的離線(xiàn)實(shí)時(shí)一體化的云數(shù)據(jù)倉(cāng)庫(kù)。

SaaS模式 — 數(shù)倉(cāng)服務(wù)模式的演進(jìn)方向

基于數(shù)倉(cāng)基礎(chǔ)架構(gòu)、數(shù)據(jù)管理架構(gòu)、數(shù)據(jù)分析架構(gòu)的演進(jìn)，這些產(chǎn)品的服務(wù)是如何被交付的呢？那就是通過(guò)SaaS化的方式向客戶(hù)來(lái)交付數(shù)據(jù)倉(cāng)庫(kù)，可以最簡(jiǎn)化的去使用數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)。

數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)成有幾種方式，第一種是說(shuō)基于物理服務(wù)器自建數(shù)據(jù)倉(cāng)庫(kù)，這是大家最為熟悉的方式。第二種是在云上基于Hadoop，也可以基于各種MPP的數(shù)據(jù)庫(kù)去構(gòu)建和搭建半托管的云上數(shù)據(jù)倉(cāng)庫(kù)。第三種和第四種就屬于比較深的云原生的形式，第三種是典型Snowflake的方式，這種方式下云基礎(chǔ)服務(wù)其實(shí)并不會(huì)暴露給數(shù)據(jù)倉(cāng)庫(kù)的管理者，所以我們把它叫做嵌入式的，將IaaS這一層嵌入到PaaS層中，但最終數(shù)據(jù)倉(cāng)庫(kù)是通過(guò)SaaS的完全web的方式暴露出來(lái)的。2021年全球Forrester評(píng)測(cè)中有13家廠商參與了評(píng)估，其中以SaaS模式交付數(shù)據(jù)倉(cāng)庫(kù)服務(wù)的只有三家，分別是谷歌的BigQuery，Snowflake和阿里云MaxCompute。

可以看到通過(guò)云計(jì)算的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)，從自建到云原生，幫我們最大化的降低了數(shù)據(jù)倉(cāng)庫(kù)的管理復(fù)雜度，整個(gè)架構(gòu)少了很多層，無(wú)需管理集群和軟件，通過(guò)服務(wù)化的方式達(dá)到免運(yùn)維，將底層的所有這些需管理的內(nèi)容去掉，后臺(tái)升級(jí)是由云廠商來(lái)提供服務(wù)的，只需要管理自己的數(shù)據(jù)和數(shù)據(jù)模型，通過(guò)web方式來(lái)使用數(shù)據(jù)倉(cāng)庫(kù)服務(wù)。在數(shù)據(jù)倉(cāng)庫(kù)里存儲(chǔ)的數(shù)據(jù)與云存儲(chǔ)一樣，按存儲(chǔ)量付費(fèi)。計(jì)算也是一樣的，不計(jì)算不花錢(qián)。充分體現(xiàn)了SaaS化的優(yōu)勢(shì)。同時(shí)，在匹配業(yè)務(wù)需求上具備非常強(qiáng)的彈性能力，我們有很多客戶(hù)日常只需要一萬(wàn)核的算力，在雙十一當(dāng)天需要三萬(wàn)核的算力。在這種SaaS模式的服務(wù)下，用戶(hù)在完全無(wú)感知的情況下我們就可以保證充沛的彈性能力去滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)的各種工作需求了。

綜上，數(shù)據(jù)倉(cāng)庫(kù)從1990年的數(shù)據(jù)庫(kù)演進(jìn)到數(shù)據(jù)倉(cāng)庫(kù)，到MPP架構(gòu)，到大數(shù)據(jù)時(shí)代的數(shù)據(jù)倉(cāng)庫(kù)，再到今天的云原生的數(shù)據(jù)倉(cāng)庫(kù)的一路演進(jìn)，基礎(chǔ)架構(gòu)的云原生，數(shù)據(jù)架構(gòu)的湖倉(cāng)一體，數(shù)據(jù)分析的離線(xiàn)實(shí)時(shí)一體化以及數(shù)倉(cāng)服務(wù)模式的SaaS化，是最為主要的四個(gè)演進(jìn)的方向和特征。 阿里云正在通過(guò)全新數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)給企業(yè)帶來(lái)具備更優(yōu)體驗(yàn)的數(shù)據(jù)管理的方式。