【51CTO.com快譯】新冠疫情讓企業(yè)看到了數(shù)字化的重要性，加速了企業(yè)數(shù)字化轉(zhuǎn)型的步伐，同時(shí)也推動(dòng)了 IT 預(yù)算的增長。預(yù)計(jì)到2022年，企業(yè) IT 支出將恢復(fù)到 2019 年的水平。 Gartner 指出，IT預(yù)算的支出將在企業(yè)軟件(包括數(shù)據(jù)庫、分析和商業(yè)智能)上得到快速增長。

[[412394]]

　　隨著數(shù)據(jù)量的快速增長，從數(shù)據(jù)中獲取價(jià)值，無論是洞察力還是交易，都是改善業(yè)務(wù)成果的根本。在追求從數(shù)據(jù)中獲取價(jià)值的過程中，數(shù)字化產(chǎn)生了一種新的價(jià)值向量：實(shí)時(shí)。

　　在處理和存儲(chǔ)數(shù)據(jù)，需要一個(gè)統(tǒng)一的新平臺(tái)，才能夠充分分析、挖掘即時(shí)數(shù)據(jù)，為業(yè)務(wù)提供高速的洞察力、行動(dòng)和價(jià)值，同時(shí)還能夠快速存儲(chǔ)數(shù)據(jù)。根據(jù)Forrester咨詢公司的報(bào)告發(fā)現(xiàn)，超過80%的企業(yè)高管認(rèn)為需要決策基于瞬時(shí)分析的事件和對(duì)市場狀況進(jìn)行實(shí)時(shí)。然而，希望和能力之間存在巨大差距。Forrester 采訪的超過三分之二的高管表示，他們的組織無法獲得實(shí)時(shí)的、數(shù)據(jù)驅(qū)動(dòng)的洞察力和行動(dòng)。

　　大量實(shí)時(shí)數(shù)據(jù)帶來的新挑戰(zhàn)

　　數(shù)字化正在產(chǎn)生大量的實(shí)時(shí)數(shù)據(jù)。它從服務(wù)器、設(shè)備、傳感器和物聯(lián)網(wǎng)設(shè)備涌入，以至于估計(jì)未來三年生成的數(shù)據(jù)將比過去 30 年還多。

　　所有新數(shù)據(jù)都是實(shí)時(shí)產(chǎn)生的。在數(shù)據(jù)產(chǎn)生的那一刻，很多數(shù)據(jù)中包含了與剛剛發(fā)生事情相關(guān)的獨(dú)特價(jià)值。但是，隨著時(shí)間的流逝，該價(jià)值即會(huì)逐漸消失，并且數(shù)據(jù)會(huì)失去其基于時(shí)間的相關(guān)性。

　　企業(yè)高管希望通過利用實(shí)時(shí)數(shù)據(jù)來發(fā)現(xiàn)價(jià)值，但大多數(shù)都因新的數(shù)據(jù)量過大，而無法實(shí)時(shí)有效的對(duì)數(shù)據(jù)進(jìn)行分析。在戴爾科技集團(tuán) 2020 年數(shù)字化轉(zhuǎn)型指數(shù)調(diào)查中發(fā)現(xiàn)，絕大多數(shù)高管 (70%)表示，他們的企業(yè)正在出現(xiàn)超出其分析或理解能力的數(shù)據(jù)。

　　大量實(shí)時(shí)數(shù)據(jù)帶來了新的挑戰(zhàn)：新型數(shù)據(jù)孤島。由于實(shí)時(shí)處理需要與存儲(chǔ)數(shù)據(jù)不同的技術(shù)，因?yàn)檫@兩種數(shù)據(jù)的性質(zhì)非常不同：

　　1）實(shí)時(shí)數(shù)據(jù)的獨(dú)特價(jià)值瞬間消失。

　　2）實(shí)時(shí)數(shù)據(jù)往往沒有更加深層的價(jià)值。

　　3）信息值不同;一個(gè)描述剛剛發(fā)生的事情，另一個(gè)描述歷史。

　　換句話說，雖然實(shí)時(shí)數(shù)據(jù)包含關(guān)于剛剛發(fā)生的事件的時(shí)間關(guān)鍵信息，但它缺乏可以在存儲(chǔ)數(shù)據(jù)記錄中找到更多有價(jià)值的內(nèi)容。

　　例如，如果一個(gè)事件不能立即與該獨(dú)特客戶的個(gè)人資料和歷史背景相結(jié)合，那么就無法知道該特定客戶剛剛在線查看了零售商品有什么好處?當(dāng)金融市場交易剛剛發(fā)生時(shí)，如果不結(jié)合交易參與者的業(yè)績歷史，如何對(duì)其財(cái)務(wù)風(fēng)險(xiǎn)進(jìn)行分析?當(dāng)來自制造傳感器的事件數(shù)據(jù)顯示異常信號(hào)時(shí)，如何在不知道最近維護(hù)歷史的情況下，就無法評(píng)估預(yù)防措施是否到位?

　　可以說，數(shù)據(jù)世界已經(jīng)永久改變?，F(xiàn)在的主導(dǎo)力量是實(shí)時(shí)數(shù)據(jù)，而對(duì)歷史數(shù)據(jù)的存儲(chǔ)與分析仍然存在。

　　建立多功能數(shù)據(jù)處理平臺(tái)

　　數(shù)據(jù)庫位于應(yīng)用程序和歷史數(shù)據(jù)之間。他們擅長對(duì)存儲(chǔ)的數(shù)據(jù)執(zhí)行事務(wù)和查詢——但僅適用于傳統(tǒng)應(yīng)用程序。數(shù)據(jù)庫的功能和性能都旨在滿足以前的期望。數(shù)字化時(shí)代的今天，實(shí)時(shí)數(shù)據(jù)分析要求達(dá)到微秒級(jí)別，對(duì)性能有著更高的要求，這是數(shù)據(jù)庫架構(gòu)無法實(shí)現(xiàn)的。

　　此外，數(shù)據(jù)庫并非旨在處理源自 A 點(diǎn)并正在傳輸?shù)?B 點(diǎn)的實(shí)時(shí)數(shù)據(jù)。因此，它們必須插入可以執(zhí)行此類處理的引擎。這些接口會(huì)產(chǎn)生顯著的延遲，這是實(shí)時(shí)數(shù)據(jù)的死敵。重要的是，隨著時(shí)間的流逝，實(shí)時(shí)數(shù)據(jù)的價(jià)值會(huì)迅速消失。即使可以實(shí)現(xiàn)將多個(gè)系統(tǒng)合并在一起，它將帶來更高的維護(hù)成本和更加復(fù)雜的架構(gòu)。

　　因此，為了統(tǒng)一處理實(shí)時(shí)數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)，需要一種新的數(shù)據(jù)處理平臺(tái)。該平臺(tái)必須利用現(xiàn)有的數(shù)據(jù)庫并支持使用這兩種類型數(shù)據(jù)的應(yīng)用程序。

　　這個(gè)多功能平臺(tái)包括一個(gè)用于數(shù)據(jù)攝取、轉(zhuǎn)換、分發(fā)和同步的流引擎。為了滿足數(shù)據(jù)處理的超低延遲要求，該平臺(tái)必然基于內(nèi)存技術(shù)。并且要滿足容量和彈性的雙重要求。此外，它必須是分布式架構(gòu)。通過這種組合，該平臺(tái)可以提供亞毫秒級(jí)響應(yīng)，每秒執(zhí)行數(shù)百萬個(gè)復(fù)雜事務(wù)。

原文標(biāo)題：Unifying streaming and stored data

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】