[[382876]]

就像其他領(lǐng)域一樣，2020年顛覆了數(shù)據(jù)世界。當(dāng)COVID關(guān)閉企業(yè)并派遣員工在家工作時(shí)，企業(yè)必須迅速適應(yīng)“新常態(tài)”。

隨著組織轉(zhuǎn)移到遠(yuǎn)程工作，云成為絕對(duì)必要。數(shù)據(jù)治理和安全性成為重中之重，每個(gè)人都從不同的位置和系統(tǒng)訪問數(shù)據(jù)。現(xiàn)在，歷史模型已經(jīng)變得毫無(wú)意義，因此智慧的AI變得越來(lái)越有吸引力。簡(jiǎn)而言之，組織意識(shí)到他們需要快速進(jìn)行更改。數(shù)據(jù)投資增加，組織尋求升級(jí)其系統(tǒng)并創(chuàng)建完美的數(shù)據(jù)堆棧。

有了2020年的后視鏡，我們現(xiàn)在正期待著新的一年，并希望更好的一年。2021年將為數(shù)據(jù)世界帶來(lái)什么？數(shù)據(jù)基礎(chǔ)架構(gòu)將如何發(fā)展以跟上所有最新的創(chuàng)新和變更？

今年，我們將看到幾個(gè)新的數(shù)據(jù)趨勢(shì)：新數(shù)據(jù)角色和數(shù)據(jù)質(zhì)量框架的出現(xiàn)，現(xiàn)代數(shù)據(jù)堆棧和現(xiàn)代元數(shù)據(jù)解決方案的興起以及數(shù)據(jù)湖和倉(cāng)庫(kù)的融合。

1.數(shù)據(jù)湖和倉(cāng)庫(kù)正在融合
在過(guò)去的十年中，數(shù)據(jù)架構(gòu)師圍繞兩個(gè)關(guān)鍵單元設(shè)計(jì)了數(shù)據(jù)操作：

• 數(shù)據(jù)湖：便宜的存儲(chǔ)空間，可以存儲(chǔ)大量的原始數(shù)據(jù)甚至是非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)湖架構(gòu)通常非常適合臨時(shí)探索和數(shù)據(jù)科學(xué)用例。
• 數(shù)據(jù)倉(cāng)庫(kù)：傳統(tǒng)上，數(shù)據(jù)倉(cāng)庫(kù)具有優(yōu)化的計(jì)算和處理速度。這對(duì)于報(bào)表和商業(yè)智能很有幫助，使倉(cāng)庫(kù)成為分析團(tuán)隊(duì)的首選系統(tǒng)。

如今，許多公司仍然使用這兩種系統(tǒng)-所有數(shù)據(jù)的數(shù)據(jù)湖，以及用于分析和報(bào)告用例的專用數(shù)據(jù)倉(cāng)庫(kù)。

雖然還沒有到此，但隨著數(shù)據(jù)湖和倉(cāng)庫(kù)都增加了更多功能，我們開始看到兩個(gè)生態(tài)系統(tǒng)融合在一起。

像Snowflake這樣的數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)將存儲(chǔ)和計(jì)算成本分開了，從而大大降低了將所有數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的成本。更進(jìn)一步，一些數(shù)據(jù)倉(cāng)庫(kù)參與者已經(jīng)開始增加對(duì)半結(jié)構(gòu)化數(shù)據(jù)的支持。

另一方面，諸如Databricks之類的數(shù)據(jù)湖參與者已經(jīng)開始朝著“數(shù)據(jù)湖舍”的概念邁進(jìn)，他們最近宣布支持SQL分析和ACID事務(wù)。

了解更多：

• Data Lakehouses：一種新興的系統(tǒng)設(shè)計(jì)，將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)結(jié)構(gòu)和管理功能與數(shù)據(jù)湖的低成本存儲(chǔ)相結(jié)合。
• 偉大的數(shù)據(jù)辯論：a16z播客的很酷的一集，其中包含有關(guān)數(shù)據(jù)堆棧中出現(xiàn)的不同技術(shù)和體系結(jié)構(gòu)的發(fā)人深省的注釋。

2.“現(xiàn)代數(shù)據(jù)棧”成為主流
從2020年開始，“現(xiàn)代數(shù)據(jù)堆棧”一詞在數(shù)據(jù)世界中無(wú)處不在。它指的是用于處理大量數(shù)據(jù)的新型最佳現(xiàn)代數(shù)據(jù)體系結(jié)構(gòu)。

強(qiáng)大的云平臺(tái)是現(xiàn)代數(shù)據(jù)堆棧的關(guān)鍵支柱之一。最初以云數(shù)據(jù)倉(cāng)庫(kù)為中心，現(xiàn)在也開始包括云數(shù)據(jù)湖和相關(guān)的數(shù)據(jù)湖引擎。

如今，現(xiàn)代數(shù)據(jù)堆棧為數(shù)據(jù)工作流的每個(gè)部分提供了一套工具：

• 數(shù)據(jù)提?。豪鏔ivetran，Stitch，Hovodata
• 數(shù)據(jù)倉(cāng)庫(kù)：例如雪花，BigQuery
• 數(shù)據(jù)湖：例如亞馬遜S3
• 數(shù)據(jù)湖處理：例如Presto，Dremio，Databricks，Starburst
• 數(shù)據(jù)轉(zhuǎn)換：例如dbt，Matillion
• 元數(shù)據(jù)管理：例如亞特蘭
• BI工具：例如外觀

了解更多：

• 現(xiàn)代數(shù)據(jù)基礎(chǔ)架構(gòu)的新興體系結(jié)構(gòu)：基于對(duì)20多個(gè)從業(yè)人員的訪談，深入，深入地了解了哪些技術(shù)在現(xiàn)代數(shù)據(jù)堆棧中取勝。
• 2020年現(xiàn)代數(shù)據(jù)堆棧大會(huì)：Fivetran的第一次現(xiàn)代數(shù)據(jù)堆棧大會(huì)的資源，有關(guān)最新的創(chuàng)新，工具和最佳實(shí)踐。
• 《現(xiàn)代數(shù)據(jù)堆棧新聞》：每?jī)芍馨l(fā)布一次的新聞通訊，其中包含有關(guān)現(xiàn)代數(shù)據(jù)堆棧的博客，指南和播客。

3.元數(shù)據(jù)3.0：元數(shù)據(jù)管理重生
隨著現(xiàn)代數(shù)據(jù)堆棧的成熟，公司已開展了雄心勃勃的項(xiàng)目來(lái)升級(jí)其數(shù)據(jù)基礎(chǔ)架構(gòu)并理清基本數(shù)據(jù)需求（即，提取數(shù)據(jù)，包裝云遷移項(xiàng)目以及設(shè)置新的BI工具）。這些雖然釋放了很多潛力，但也造成了混亂。

諸如“此列名稱實(shí)際上意味著什么？”之類的上下文問題。和“為什么儀表板上的銷售數(shù)字又出錯(cuò)了？”殺死那些以驚人速度前進(jìn)的團(tuán)隊(duì)的敏捷性。

盡管這些不是新問題，但我們正處于新的顛覆性解決方案的風(fēng)口浪尖。隨著現(xiàn)代數(shù)據(jù)平臺(tái)圍繞五個(gè)主要參與者（AWS，Azure，Google Cloud Platform，Snowflake和Databricks）匯聚，并且元數(shù)據(jù)本身正在成為大數(shù)據(jù)，因此，將智能和自動(dòng)化帶入元數(shù)據(jù)空間具有巨大的潛力。

在接下來(lái)的24到36個(gè)月內(nèi)，我們將看到為現(xiàn)代數(shù)據(jù)棧構(gòu)建的一個(gè)或多個(gè)現(xiàn)代元數(shù)據(jù)管理平臺(tái)的興起，該平臺(tái)可解決數(shù)據(jù)發(fā)現(xiàn)，數(shù)據(jù)分類，數(shù)據(jù)沿襲和可觀察性的問題。

了解更多：

• Data Catalog 3.0：我的文章介紹元數(shù)據(jù)解決方案的過(guò)去和未來(lái)，以及為什么我們要在為現(xiàn)代數(shù)據(jù)堆棧創(chuàng)建現(xiàn)代元數(shù)據(jù)方面取得巨大飛躍。

4.出現(xiàn)了新角色：分析工程師和數(shù)據(jù)平臺(tái)負(fù)責(zé)人
2020年，兩個(gè)角色的興起比以往任何時(shí)候都更為主流。

數(shù)據(jù)平臺(tái)負(fù)責(zé)人
組織越來(lái)越意識(shí)到需要有一個(gè)負(fù)責(zé)開發(fā)數(shù)據(jù)平臺(tái)的中央團(tuán)隊(duì)，以幫助組織的其他成員更好地開展工作。當(dāng)然，這個(gè)團(tuán)隊(duì)需要一個(gè)領(lǐng)導(dǎo)者。

過(guò)去，這是由更傳統(tǒng)的角色（如數(shù)據(jù)倉(cāng)庫(kù)專家或數(shù)據(jù)架構(gòu)師）來(lái)處理的?，F(xiàn)在，擁有數(shù)據(jù)領(lǐng)導(dǎo)者變得很普遍，他可以領(lǐng)導(dǎo)整個(gè)組織的數(shù)據(jù)計(jì)劃。這些人的頭銜范圍很廣，例如“數(shù)據(jù)平臺(tái)負(fù)責(zé)人”或“數(shù)據(jù)平臺(tái)主管”。

數(shù)據(jù)平臺(tái)負(fù)責(zé)人通常負(fù)責(zé)監(jiān)督公司數(shù)據(jù)堆棧的現(xiàn)代化（或從頭開始，以供初創(chuàng)企業(yè)使用）。這包括設(shè)置云數(shù)據(jù)湖和倉(cāng)庫(kù)，實(shí)施數(shù)據(jù)治理框架，選擇BI工具等等。

這個(gè)新角色伴隨著一個(gè)重要的新KPI：最終用戶采用率。這是指領(lǐng)導(dǎo)者具有使組織中的人員和團(tuán)隊(duì)在日常工作流程中采用數(shù)據(jù)（和數(shù)據(jù)平臺(tái)）的能力。這是一個(gè)可喜的變化，因?yàn)樗鼪Q定了決定投資哪些數(shù)據(jù)產(chǎn)品的人們與最終使用該產(chǎn)品的人們的動(dòng)機(jī)。

分析工程師
在過(guò)去的十年中，與我交談的每個(gè)分析師都感到一個(gè)主要的挫敗感：依靠數(shù)據(jù)工程師進(jìn)行生產(chǎn)化和建立數(shù)據(jù)管道。

強(qiáng)大的基于SQL的管道構(gòu)建工具（如dbt和Dataform）的興起使這種情況變得更好。通過(guò)賦予分析人員超能力，他們將整個(gè)數(shù)據(jù)轉(zhuǎn)換過(guò)程交給了數(shù)據(jù)分析人員。

結(jié)果就是“分析工程師”一詞的興起，該術(shù)語(yǔ)描述了以前的分析師，他們現(xiàn)在擁有從攝取和轉(zhuǎn)換到最終將可用數(shù)據(jù)集提供給其余業(yè)務(wù)的整個(gè)數(shù)據(jù)棧。

了解更多：

• 什么是分析工程師？dbt的克萊爾·卡羅爾（Claire Carroll）的一篇文章，介紹了為什么以及如何支持新的分析工程角色。

5.數(shù)據(jù)質(zhì)量框架正在上升
在過(guò)去的二十年里，數(shù)據(jù)質(zhì)量是一個(gè)沒有太多創(chuàng)新的空間。但是，它最近取得了長(zhǎng)足的進(jìn)步，并且整個(gè)數(shù)據(jù)堆棧都集成了數(shù)據(jù)質(zhì)量的不同方面。

數(shù)據(jù)質(zhì)量分析
數(shù)據(jù)概要分析是檢查數(shù)據(jù)以了解其內(nèi)容和結(jié)構(gòu)，檢查其質(zhì)量并確定將來(lái)如何使用的過(guò)程。

在數(shù)據(jù)資產(chǎn)的整個(gè)生命周期中，概要分析可能會(huì)發(fā)生多次，從淺層評(píng)估到深入評(píng)估。它包括計(jì)算缺失值，最小值和最大值，中位數(shù)和眾數(shù)，頻率分布以及其他有助于用戶了解基礎(chǔ)數(shù)據(jù)質(zhì)量的關(guān)鍵統(tǒng)計(jì)指標(biāo)。

盡管數(shù)據(jù)質(zhì)量概要分析通常是數(shù)據(jù)堆棧中的獨(dú)立產(chǎn)品，但是公司越來(lái)越多地將其作為功能集成到現(xiàn)代數(shù)據(jù)目錄中，從而使最終用戶能夠理解和信任他們的數(shù)據(jù)。

業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)質(zhì)量規(guī)則
數(shù)據(jù)質(zhì)量不僅僅是關(guān)于數(shù)據(jù)的統(tǒng)計(jì)理解。根據(jù)業(yè)務(wù)環(huán)境，還取決于數(shù)據(jù)是否值得信賴。

例如，您的銷售數(shù)字通常每周增長(zhǎng)不應(yīng)超過(guò)10％。100％的銷售激增應(yīng)提醒合適的團(tuán)隊(duì)成員并停止數(shù)據(jù)管道運(yùn)行，而不是將其傳遞給CEO使用的儀表板！

對(duì)智能警報(bào)的需求已導(dǎo)致組織將業(yè)務(wù)團(tuán)隊(duì)帶入編寫數(shù)據(jù)質(zhì)量檢查的過(guò)程。

數(shù)據(jù)團(tuán)隊(duì)仍然沒有一種很好的方式與業(yè)務(wù)部門合作進(jìn)行數(shù)據(jù)質(zhì)量檢查，但是我希望這個(gè)領(lǐng)域在未來(lái)的幾年中會(huì)帶來(lái)很多創(chuàng)新。將來(lái)，我們將看到更智能的解決方案，它們可以根據(jù)數(shù)據(jù)趨勢(shì)自動(dòng)生成業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)質(zhì)量規(guī)則。

數(shù)據(jù)管道中的數(shù)據(jù)質(zhì)量測(cè)試
數(shù)據(jù)質(zhì)量變得普遍的第三種方式是將其寫入數(shù)據(jù)管道本身。這借鑒了軟件工程界“單元測(cè)試”的原理。

多年來(lái)，軟件工程已包含單元測(cè)試框架。它們會(huì)自動(dòng)測(cè)試每個(gè)單獨(dú)的代碼單元，以確保它們可以使用。管道模擬單元測(cè)試框架中的數(shù)據(jù)質(zhì)量測(cè)試可為數(shù)據(jù)工程帶來(lái)相同的信心和速度。

這有助于團(tuán)隊(duì)在上游數(shù)據(jù)更改影響組織的工作流和報(bào)告之前發(fā)現(xiàn)其數(shù)據(jù)質(zhì)量問題。

了解更多：

• 亞馬遜Deequ：Deequ是在亞馬遜內(nèi)部構(gòu)建的，是用于數(shù)據(jù)質(zhì)量分析的有前途的開源框架。
• 寄予厚望：這正在成為一個(gè)流行的開源社區(qū)，用于在數(shù)據(jù)管道內(nèi)進(jìn)行數(shù)據(jù)質(zhì)量測(cè)試。
• Netflix關(guān)于擴(kuò)展數(shù)據(jù)質(zhì)量的演示：對(duì)于任何開始從事數(shù)據(jù)質(zhì)量之旅的數(shù)據(jù)領(lǐng)導(dǎo)者來(lái)說(shuō)，這都是一個(gè)有趣的閱讀。