新冠疫情在2020年初對(duì)大數(shù)據(jù)的應(yīng)用和普及帶來(lái)了不利影響，但也使很多企業(yè)加快了他們的數(shù)字化轉(zhuǎn)型計(jì)劃，更多的企業(yè)開(kāi)始通過(guò)深入數(shù)據(jù)湖泊的分析來(lái)洞察和發(fā)現(xiàn)機(jī)會(huì)。這使他們能夠發(fā)現(xiàn)以前無(wú)法辨別的趨勢(shì)和模式。

但是，全球數(shù)字化帶來(lái)的海量數(shù)據(jù)給它們的存儲(chǔ)和分析帶來(lái)了挑戰(zhàn)，有時(shí)限制了其潛力。隨著各行業(yè)領(lǐng)域都迅速采用云計(jì)算技術(shù)，已經(jīng)克服了許多障礙。取而代之的是，人們現(xiàn)在看到了更實(shí)用、即時(shí)和可訪問(wèn)的商業(yè)智能具有的巨大潛力?？紤]到這一點(diǎn)，需要對(duì)2022年大數(shù)據(jù)的主要發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)。

1.數(shù)據(jù)湖的采用

隨著新冠疫情加劇了數(shù)字化采用，數(shù)據(jù)湖已經(jīng)成為企業(yè)的一種非常經(jīng)濟(jì)的選擇。遠(yuǎn)程工作和混合工作環(huán)境的興起增加了對(duì)數(shù)據(jù)湖的需求，以實(shí)現(xiàn)更快、更高效的數(shù)據(jù)操作。隨著微軟、谷歌、亞馬遜和其他科技巨頭積極鼓勵(lì)向云平臺(tái)遷移，數(shù)據(jù)湖的采用使其變得更容易、更便宜。

隨著企業(yè)遷移到云平臺(tái)并專注于云計(jì)算數(shù)據(jù)湖，他們也將轉(zhuǎn)向?qū)?shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖融合。創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)是為了針對(duì)SQL分析進(jìn)行優(yōu)化，但是需要一個(gè)開(kāi)放、直接和安全的平臺(tái)來(lái)支持快速增長(zhǎng)的新型分析需求和機(jī)器學(xué)習(xí)，最終將使數(shù)據(jù)湖成為數(shù)據(jù)的主要存儲(chǔ)方式。數(shù)據(jù)湖的采用將持續(xù)到2022年及以后，市場(chǎng)規(guī)模將從2020年的37.4億美元增長(zhǎng)到2026年的176.0億美元，在2021～2026年預(yù)測(cè)期間的復(fù)合年增長(zhǎng)率為29.9%。

2.流數(shù)據(jù)和靜態(tài)數(shù)據(jù)將統(tǒng)一

如今的大數(shù)據(jù)分析側(cè)重于兩個(gè)主要來(lái)源——流數(shù)據(jù)以及駐留在數(shù)據(jù)庫(kù)或數(shù)據(jù)湖中的數(shù)據(jù)。在2022年，預(yù)計(jì)這些來(lái)源將繼續(xù)與流媒體和操作系統(tǒng)融合，從而提供更統(tǒng)一的分析。因此將是改進(jìn)數(shù)據(jù)驅(qū)動(dòng)的洞察力，通過(guò)使用輕量級(jí)分析和改進(jìn)的預(yù)測(cè)能力來(lái)改進(jìn)運(yùn)營(yíng)決策。

使用數(shù)據(jù)湖甚至是簡(jiǎn)單的數(shù)據(jù)庫(kù)，查詢可能相當(dāng)復(fù)雜，而無(wú)需考慮需要采用大量資源來(lái)處理的動(dòng)態(tài)數(shù)據(jù)流。流數(shù)據(jù)是流動(dòng)的，因此這些資源需求和不斷增加的數(shù)據(jù)要求其查詢保持更新。因此，如今對(duì)金融市場(chǎng)、供應(yīng)鏈、客戶分析和維護(hù)和維修的預(yù)測(cè)是有限的，通常基于輕量級(jí)的“淺層”數(shù)據(jù)。

2022年，人們將看到基于云的存儲(chǔ)和應(yīng)用程序的穩(wěn)步增長(zhǎng)，提供消除資源限制，并取代熟悉的集中式結(jié)構(gòu)的傳統(tǒng)方法所需的彈性。對(duì)分布式集群執(zhí)行分析，并將其他集群上的流數(shù)據(jù)和操作數(shù)據(jù)源的結(jié)果聚合到一個(gè)單一的控制平臺(tái)中將成為常態(tài)。因此將產(chǎn)生真正全面的預(yù)測(cè)模型，充分利用數(shù)據(jù)湖的深層數(shù)據(jù)和流源的實(shí)時(shí)數(shù)據(jù)流。

3.數(shù)據(jù)共享將變得普遍

除了云遷移的技術(shù)優(yōu)勢(shì)(硬件支持、存儲(chǔ)/帶寬限制、備份和安全)之外，最明顯的可能是共享不再以物理方式存儲(chǔ)在企業(yè)內(nèi)部網(wǎng)絡(luò)中的數(shù)據(jù)的能力。企業(yè)向第三方提供有價(jià)值的數(shù)據(jù)，這些數(shù)據(jù)用于戰(zhàn)略、財(cái)務(wù)甚至合規(guī)性，可以簡(jiǎn)化供應(yīng)商和消費(fèi)者的分銷流程。一個(gè)顯著的好處是：以上討論的數(shù)據(jù)湖/流數(shù)據(jù)分析現(xiàn)在有了一個(gè)新的消費(fèi)者基礎(chǔ)。無(wú)論是首先關(guān)注像AWS云平臺(tái)這樣的商業(yè)化、面向公眾的市場(chǎng)，還是從像Snowflake的內(nèi)部共享平臺(tái)(用于內(nèi)部部門(mén)和一些垂直行業(yè))開(kāi)始，這種范式都適用于每種方法，并為復(fù)雜的多步驟提供了根本性的改進(jìn)現(xiàn)行制度和政策。云計(jì)算提供商將同時(shí)提供這兩種數(shù)據(jù)交換產(chǎn)品，以占領(lǐng)“內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)”數(shù)據(jù)提供商及其消費(fèi)者的市場(chǎng)。

4.查詢引擎將變得更智能，無(wú)縫適應(yīng)處理未準(zhǔn)備好的數(shù)據(jù)

通過(guò)將機(jī)器學(xué)習(xí)(ML)直接嵌入數(shù)據(jù)庫(kù)，正在加速和改進(jìn)數(shù)據(jù)庫(kù)優(yōu)化。這是一個(gè)主要用例，因?yàn)闄C(jī)器學(xué)習(xí)可以訪問(wèn)其最有價(jià)值的資源來(lái)構(gòu)建有效模型：大量的匿名數(shù)據(jù)，在明確定義的結(jié)構(gòu)和場(chǎng)景中。隨著查詢引擎感知需求，人們見(jiàn)證了這種趨勢(shì)在創(chuàng)建或刪除索引方面取得了長(zhǎng)足的進(jìn)步，但這僅僅是開(kāi)始，并將會(huì)快速發(fā)展。這種趨勢(shì)正在越來(lái)越多地推動(dòng)數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)消費(fèi)的分離。下一代引擎將通過(guò)基于分析工作負(fù)載模式和行為應(yīng)用動(dòng)態(tài)加速策略(例如緩存和索引)來(lái)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和消費(fèi)之間的這種分離。這場(chǎng)革命背后的理念是“讓引擎工作”。而這種引擎不應(yīng)期望數(shù)據(jù)已準(zhǔn)備好，而是引擎會(huì)根據(jù)遇到的數(shù)據(jù)進(jìn)行自我調(diào)整。隨著客戶發(fā)現(xiàn)成本節(jié)約和性能提高，這個(gè)廣闊的開(kāi)放空間將成為必備功能，而不是一個(gè)很好的功能。

5.預(yù)測(cè)分析將推動(dòng)下一代數(shù)字應(yīng)用

當(dāng)人們開(kāi)始討論合并從動(dòng)態(tài)數(shù)據(jù)饋送和數(shù)據(jù)湖中提取的分析時(shí)，需要重新構(gòu)想對(duì)這些見(jiàn)解的訪問(wèn)。如今，用于“數(shù)據(jù)講故事”的經(jīng)典儀表板是基于仔細(xì)收集、查詢并收集到報(bào)告中以供定期審查的歷史數(shù)據(jù)。

隨著人們進(jìn)入2022年，現(xiàn)在將看到儀表板仍在使用中，但提供的內(nèi)容將是實(shí)時(shí)的，并且在發(fā)生時(shí)是動(dòng)態(tài)的，從應(yīng)用程序代碼中內(nèi)置的流程中提取。重要的是，所有相關(guān)內(nèi)部部門(mén)也將對(duì)這些信息的訪問(wèn)民主化，直接提供給銷售、營(yíng)銷、質(zhì)量保證等戰(zhàn)術(shù)團(tuán)隊(duì)，而不必由數(shù)據(jù)部門(mén)解析、解釋和分發(fā)。通過(guò)實(shí)時(shí)趨勢(shì)分析，這些部門(mén)可以比當(dāng)今的長(zhǎng)期周期更快地適應(yīng)和改進(jìn)。認(rèn)識(shí)到商業(yè)價(jià)值通常與人們的反應(yīng)和行為方式有關(guān)，而不是簡(jiǎn)單地獲利，這種改變游戲規(guī)則的預(yù)測(cè)驅(qū)動(dòng)力是云計(jì)算、數(shù)據(jù)庫(kù)和分析領(lǐng)域新進(jìn)展的一場(chǎng)激動(dòng)人心的“完美風(fēng)暴”。

應(yīng)該清楚的是，2022年將是融合之年。在過(guò)去幾年中不斷成熟的幾種技術(shù)范式的合并，將創(chuàng)建一個(gè)較少劃分、歷史和資源受限的分析生態(tài)系統(tǒng)。

受益最多的企業(yè)是那些重視根據(jù)客戶告訴他們的偏好快速調(diào)整流程和服務(wù)的能力的公司。