2023展望:大數(shù)據(jù)會(huì)更加繁榮
大數(shù)據(jù)是數(shù)字化轉(zhuǎn)型和人工智能的基石。對(duì)于未來(lái)大數(shù)據(jù)發(fā)展趨勢(shì)。2023將近,眾多專業(yè)人士發(fā)表了自己對(duì)大數(shù)據(jù)前景的觀點(diǎn)和態(tài)度。
Fivetran產(chǎn)品負(fù)責(zé)人Alexander Lovell認(rèn)為明年對(duì)于大數(shù)據(jù)領(lǐng)域是關(guān)鍵一年:“2023年數(shù)據(jù)團(tuán)隊(duì)要么增長(zhǎng)或要么關(guān)閉。盡管各企業(yè)的大數(shù)據(jù)應(yīng)用回報(bào)質(zhì)量差異很大,公司仍在保持投資。隨著經(jīng)濟(jì)的廣泛混亂,數(shù)據(jù)團(tuán)隊(duì)現(xiàn)在是時(shí)候通過提供有價(jià)值的見解來(lái)驅(qū)散迷霧,因?yàn)楫?dāng)市場(chǎng)不斷變化時(shí),靠直覺執(zhí)行太不可靠。最好的數(shù)據(jù)團(tuán)隊(duì)將會(huì)成長(zhǎng)并變得更加重要,而不能夠產(chǎn)生可操作洞察力的團(tuán)隊(duì)將面臨更大的壓力。”
Datometry的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Mike Waas說(shuō),到2023年,SQL會(huì)再度崛起。NoSQL社區(qū)開始反思SQL的價(jià)值,承認(rèn)企業(yè)需要標(biāo)準(zhǔn),并且SQL具有通用而強(qiáng)大的查詢語(yǔ)言的簡(jiǎn)單性。實(shí)際上,每個(gè)仍然活著的NoSQL數(shù)據(jù)庫(kù)目前都在向他們的系統(tǒng)添加SQL或SQL接口以吸引企業(yè)。2023幾乎所有想要在企業(yè)中取得成功的數(shù)據(jù)管理系統(tǒng)都會(huì)嘗試?yán)肧QL,看起來(lái)像一個(gè)合適的數(shù)據(jù)庫(kù)。”
數(shù)據(jù)歷史上也經(jīng)歷了分分合合的階段,從集中到分布再到集中,如今再次盛行分布。Denodo首席執(zhí)行官兼創(chuàng)始人Angel Vi?a說(shuō),我們目前處于分布式階段,不太可能回到以前,因此需要采取新的方法來(lái)處理它,包括數(shù)據(jù)經(jīng)緯(Data Fabric)或數(shù)據(jù)網(wǎng)格(Data Mesh)。
“雖然兩者之間存在固有的差異,但數(shù)據(jù)經(jīng)緯是一組可組合的數(shù)據(jù)管理技術(shù),數(shù)據(jù)網(wǎng)格是分布式團(tuán)隊(duì)管理企業(yè)數(shù)據(jù)的過程導(dǎo)向。兩者都可以在企業(yè)范圍內(nèi)的數(shù)據(jù)訪問,集成,管理和交付中發(fā)揮關(guān)鍵作用,如果正確的數(shù)據(jù)基礎(chǔ)架構(gòu)到位,那么在2023年,預(yù)計(jì)在中大型企業(yè)內(nèi)這兩種架構(gòu)方法的采用將迅速增加?!?/span>
你聽說(shuō)過現(xiàn)代數(shù)據(jù)堆棧。但是在2023年,你會(huì)聽到更多關(guān)于后現(xiàn)代數(shù)據(jù)堆棧的信息,Snowplow的CDO Chris Lubasch說(shuō):“這是圍繞現(xiàn)代數(shù)據(jù)堆棧進(jìn)行的一年快速討論。盡管經(jīng)濟(jì)形勢(shì)充滿挑戰(zhàn),但仍有許多新供應(yīng)商涌現(xiàn),Snowflake和Databricks等主要供應(yīng)商繼續(xù)接管許多技術(shù)組件。同時(shí),出現(xiàn)質(zhì)疑現(xiàn)代數(shù)據(jù)堆棧的聲音,因?yàn)槠浞椒ㄍ鶎?dǎo)致許多工具成本過高,更不用說(shuō)將它們整合在一起的復(fù)雜性了。圍繞“后現(xiàn)代數(shù)據(jù)堆棧”(作為許多術(shù)語(yǔ)中的一個(gè))的討論已經(jīng)開始,我們都渴望看到這將在未來(lái)幾年引導(dǎo)我們?nèi)ツ睦铩!?/p>
作為對(duì)象存儲(chǔ)提供商Cleversafe(2015年被IBM收購(gòu)13億美元)的創(chuàng)始人,Chris Gladwin預(yù)測(cè),2023年是超大規(guī)模數(shù)據(jù)成為主流的一年。
數(shù)據(jù)密集型企業(yè)正在超越大數(shù)據(jù),進(jìn)入指數(shù)級(jí)更大的超大規(guī)模數(shù)據(jù)領(lǐng)域,這需要對(duì)數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行重新評(píng)估,到2023年,數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)商將開發(fā)新的方法來(lái)構(gòu)建和擴(kuò)展系統(tǒng)和服務(wù)。
這不僅僅是技術(shù)人員必須計(jì)劃的數(shù)據(jù)總量,還有新興的數(shù)據(jù)集和待處理的工作量。一些領(lǐng)先的IT組織現(xiàn)在正在處理包含數(shù)十億和數(shù)萬(wàn)億記錄的數(shù)據(jù)集。到2023年,我們甚至可以在數(shù)據(jù)密集型行業(yè)(比如廣告、電信和地理空間)看到數(shù)十億行的數(shù)據(jù)集。隨著組織利用來(lái)自運(yùn)營(yíng),客戶以及移動(dòng)設(shè)備的近實(shí)時(shí)數(shù)據(jù)量的增加,超大規(guī)模數(shù)據(jù)集將變得越來(lái)越普遍?!?/span>
Immuta首席執(zhí)行官兼聯(lián)合創(chuàng)始人Matt Carroll表示,2023年將看到數(shù)據(jù)處理協(xié)議(DPAs:data processing agreements)的興起?!暗?023年,我們將看到DPA成為SaaS合同和數(shù)據(jù)共享談判的標(biāo)準(zhǔn)要素。組織如何處理這些合同將從根本上改變他們?nèi)绾螛?gòu)建數(shù)據(jù)基礎(chǔ)架構(gòu)并定義數(shù)據(jù)的業(yè)務(wù)價(jià)值。因此,數(shù)據(jù)領(lǐng)導(dǎo)者最有興趣在2023年及以后完全接受DPA。這些冗長(zhǎng)的文件將很復(fù)雜,DPA的數(shù)字化和法律團(tuán)隊(duì)的參與將使他們更容易理解和實(shí)施。
“到2023年,隨著數(shù)據(jù)共享的不斷增長(zhǎng),數(shù)據(jù)和IT團(tuán)隊(duì)被迫跟上,數(shù)據(jù)交換將成為新標(biāo)準(zhǔn)。隨著組織生產(chǎn)現(xiàn)代化數(shù)據(jù)堆棧,規(guī)模和數(shù)量將會(huì)爆炸式增長(zhǎng)。數(shù)據(jù)集在共享之前制作副本將不再可行。到2023年,企業(yè)將涌入已建立的平臺(tái),如Snowflake的數(shù)據(jù)交換和Databricks的Delta共享協(xié)議,以使安全地共享和貨幣化流通數(shù)據(jù)更加容易。”
而在Rockset的聯(lián)合創(chuàng)始人兼首席技術(shù)官Dhruba Borthakur和RocksDB的創(chuàng)始工程師看來(lái),2023年將成為數(shù)據(jù)應(yīng)用程序的一年。
“在過去的10年中,我們看到了web應(yīng)用程序和移動(dòng)應(yīng)用程序的興起,但2023年是數(shù)據(jù)應(yīng)用程序的一年。可靠,高性能的數(shù)據(jù)應(yīng)用程序?qū)⒈蛔C明是成功的關(guān)鍵工具,因?yàn)槠髽I(yè)尋求新的解決方案以改善面向客戶的應(yīng)用程序和內(nèi)部業(yè)務(wù)運(yùn)營(yíng)。我們的指尖可以使用Uber,Lyft和Doordash等按需數(shù)據(jù)應(yīng)用程序。在實(shí)時(shí)分析基礎(chǔ)的支持下,我們將看到數(shù)據(jù)應(yīng)用程序不僅是實(shí)時(shí)的,而且故障安全的壓力越來(lái)越大?!?/span>
你的新年購(gòu)物清單上可能有很多東西。但Tamr首席產(chǎn)品官Anthony Deighton今年希望有一件事:干凈的數(shù)據(jù)。
“‘臟’數(shù)據(jù)是不正確,不完整,不一致,過時(shí),重復(fù)的數(shù)據(jù),可能會(huì)殺死你的業(yè)務(wù),這是一個(gè)常見問題。避免混亂和沮喪??蛻粽莆湛梢钥缦到y(tǒng)和來(lái)源創(chuàng)建統(tǒng)一,準(zhǔn)確和豐富的客戶數(shù)據(jù)視圖,以及能夠一致跟蹤客戶的唯一標(biāo)識(shí)符。大規(guī)模掌握客戶數(shù)據(jù)為銷售,營(yíng)銷和客戶體驗(yàn)團(tuán)隊(duì)提供了加速數(shù)據(jù)驅(qū)動(dòng)銷售的有效途徑。它還可以為客戶提供洞察力以獲得競(jìng)爭(zhēng)優(yōu)勢(shì)?!?/p>
根據(jù)Google Cloud Google數(shù)據(jù)庫(kù)副總裁兼總經(jīng)理Andi Gutmans的說(shuō)法,交易和分析工作量之間的障礙將在2023年開始消失。
Gutmans說(shuō):“傳統(tǒng)上,數(shù)據(jù)體系結(jié)構(gòu)已經(jīng)將這些工作負(fù)載分開,因?yàn)槊總€(gè)工作負(fù)載都需要一個(gè)適合目的的數(shù)據(jù)庫(kù),交互數(shù)據(jù)庫(kù)則針對(duì)快速讀取和寫入進(jìn)行了優(yōu)化,分析數(shù)據(jù)庫(kù)則針對(duì)聚合大數(shù)據(jù)集進(jìn)行了優(yōu)化。隨著基于云的數(shù)據(jù)體系結(jié)構(gòu)的發(fā)展,這些體系結(jié)構(gòu)通過高性能網(wǎng)絡(luò)利用高度可擴(kuò)展,分類的計(jì)算和存儲(chǔ),我們預(yù)測(cè)將會(huì)有新的數(shù)據(jù)庫(kù)體系結(jié)構(gòu),允許在一個(gè)系統(tǒng)內(nèi)進(jìn)行交易和分析工作負(fù)載,而不需要應(yīng)用程序折中工作負(fù)載需求?!?/span>
不看好大數(shù)據(jù)的人也有很多。但Altair數(shù)據(jù)分析和物聯(lián)網(wǎng)的高級(jí)副總裁Christian Buckner說(shuō),不相信炒作。
“大數(shù)據(jù)還沒有死,”他說(shuō)?!疤峁┥虒L試領(lǐng)先趨勢(shì),我們將看到許多人開始宣傳'大數(shù)據(jù)已經(jīng)死亡'。相反,許多組織傾向于'智能數(shù)據(jù)'以獲得更深入的見解。但大數(shù)據(jù)仍將繼續(xù)在業(yè)務(wù)運(yùn)營(yíng)中發(fā)揮重要作用。關(guān)鍵是確保擁有易于使用的自助工具來(lái)實(shí)現(xiàn)清潔,驗(yàn)證和準(zhǔn)備數(shù)據(jù),然后可以將其插入數(shù)據(jù)分析模型中以獲得有價(jià)值的結(jié)果和智能決策。將大數(shù)據(jù)轉(zhuǎn)化為智能數(shù)據(jù)的公司將從新的數(shù)據(jù)思考方式中受益。”
根據(jù)Snowflake產(chǎn)品管理總監(jiān)Torsten Grabs的說(shuō)法,在數(shù)據(jù)民主化方面,將以Python的形式出現(xiàn)。
“到2023年,Python將成為整個(gè)組織中每個(gè)人對(duì)數(shù)據(jù)的訪問和見解民主化的主要媒介,隨著Python周圍的運(yùn)行時(shí)基礎(chǔ)架構(gòu)變得更簡(jiǎn)單,更直接,并且包含更多安全性,Python將變得更加企業(yè)化,同時(shí),生成Python結(jié)果將進(jìn)一步簡(jiǎn)化,該代碼將被包裹在有意義的用戶體驗(yàn)中,以便公司營(yíng)銷團(tuán)隊(duì)等非IT用戶可以輕松消費(fèi)和理解它。我們將看到Python與15到20年前自助商業(yè)智能工具的出現(xiàn)相比,具有相同或更大的可能性,對(duì)數(shù)據(jù)民主化的轉(zhuǎn)型影響更大?!?/span>