[[390095]]

【51CTO.com快譯】過去這幾年，數(shù)據(jù)的創(chuàng)建和使用方式出現(xiàn)了一個微妙但明顯的趨勢。據(jù)IDC聲稱：“全球數(shù)據(jù)總量將從2018年的33 ZB猛增到2025年的175ZB，年復(fù)合增長率高達61%。”這在改變數(shù)據(jù)處理和分析方面的基本規(guī)則。

這個數(shù)據(jù)趨勢在為以前未重視的一系列新的用例(use case)鋪平道路，還在改變處理和使用一些現(xiàn)有用例的方式，這反過來需要一種新穎的、更現(xiàn)代的方法來適應(yīng)這些場景。比如說，可以將來自許多不同數(shù)據(jù)源的不同數(shù)據(jù)集(比如圖像、文本、語音或視頻)實時部分或全部組合起來，以支持可能全面改變我們?nèi)粘Ｉ詈蜆I(yè)務(wù)方式的用例。

我們今天面臨的挑戰(zhàn)

由于這方面的步伐很快，我們無法輕松處理。市面上的大多數(shù)現(xiàn)有系統(tǒng)和平臺主要是為特定類型的數(shù)據(jù)(創(chuàng)建這些工具時)設(shè)計的(理應(yīng)如此)。然而，正如我們所見，由于當前的最新趨勢，數(shù)據(jù)的形狀和大小在發(fā)生變化，因此數(shù)據(jù)創(chuàng)建和使用方面的基本前提不再適用。因此，現(xiàn)有基礎(chǔ)架構(gòu)的要求與支持存在不匹配的情況就可以理解了。

我們需要一種專門為這個趨勢而開發(fā)的新方法，以適應(yīng)和迎合事關(guān)大多數(shù)公司存活的一系列新用例。集成不同異構(gòu)工具以創(chuàng)建一種同構(gòu)解決方案框架所采用的通常方法根本行不通。

融合不同維度

如果您仔細觀察一下，會發(fā)現(xiàn)不同的問題空間(problem space)正在核心處融合。比如說，為了完成監(jiān)控常規(guī)操作這項簡單工作，我們需要實時攝取和處理文本和語音等各種數(shù)據(jù)(數(shù)據(jù)流)，在本地(邊緣或設(shè)備內(nèi))和云層面都要有預(yù)測性(AI)。由于進行這種操作的速度和規(guī)模，幾乎不可能使用孤立的或“拼湊而成”的平臺。這種平臺根本無法擴展。

這是我們需要處理的第一個核心問題。

我們還必須融合來自解決方案空間的所有參與維度，以應(yīng)對我們目前面臨的不同挑戰(zhàn)的這種大融合，這個問題會變得越來越重大、越難處理。我們必須打破孤島，創(chuàng)建一個融合的架構(gòu)空間，然后該架構(gòu)空間應(yīng)該線性擴大，以匹配數(shù)據(jù)的速度和數(shù)量。

融合解決方案空間中不同維度的這種做法將提供直接集成和支持不同格式數(shù)據(jù)的方式。高級抽象將為處理各種數(shù)據(jù)提供一致的接口。數(shù)據(jù)流和人工智能的融合可以以一種絕對和預(yù)測性的方式持續(xù)處理數(shù)據(jù)。直接集成將使用戶可以完全控制系統(tǒng)所獲取和處理的每個字節(jié)，這將縮短延遲以實現(xiàn)高速精密處理。數(shù)據(jù)流處理將確保實時地持續(xù)聚合、運行統(tǒng)計、事件預(yù)測及相關(guān)操作。

這種融合優(yōu)先的方法還將便于實現(xiàn)系統(tǒng)的真正線性擴展。如果是孤立的架構(gòu)，我們發(fā)現(xiàn)針對不同的垂直領(lǐng)域一起擴展總是極其困難，也無法進一步完全利用資源。但是借助融合，我們不需要費心地擴展單個維度，資源利用率很高肯定隨之而來。

進一步的孤立(半孤立)架構(gòu)迫使太多的網(wǎng)絡(luò)跳數(shù)以及太多的數(shù)據(jù)副本。在這種場景下，即使處理效率很高，這種架構(gòu)也無法實現(xiàn)低延遲(或高速度)。我們需要盡量減少網(wǎng)絡(luò)跳數(shù)和數(shù)據(jù)復(fù)制。通過融合，我們可以盡量減少網(wǎng)絡(luò)跳數(shù)和數(shù)據(jù)復(fù)制，從而提升性能。

結(jié)論

各種數(shù)據(jù)迅速爆炸以及突然需要實時捕獲和分析所有這些數(shù)據(jù)，迫使我們擺脫特定系統(tǒng)傳統(tǒng)的分散綜合架構(gòu)。我們需要采用計算模型的直接融合的可擴展單元，不僅應(yīng)對當前情形，還可以在未來幾年保持創(chuàng)新、市場上立于不敗之地。

原文標題：Why A Novel Data Processing Philosophy Is Necessary For An Emerging Data Trend，作者：Sachin Sinha

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】