2023年大數(shù)據(jù)行業(yè)預測
到2023年,大數(shù)據(jù)技術和產(chǎn)品日益成熟,從而提高企業(yè)數(shù)據(jù)的質量和信任度。這將導致企業(yè)內部出現(xiàn)更健壯的數(shù)據(jù)組織,從而增加對數(shù)據(jù)建模技術和數(shù)據(jù)團隊/工程師的需求。
Coalesce公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官Armon Petrossian指出,隨著企業(yè)推動變革,數(shù)據(jù)市場將不斷發(fā)展。隨著DBT、Snowflake、Databricks等技術的興起,過去十年一直是云計算和現(xiàn)代數(shù)據(jù)棧的時代。雖然這種趨勢對中小型企業(yè)影響極大,因為它們可以在幾分鐘內啟動數(shù)據(jù)平臺,但大型企業(yè)面臨著不同的挑戰(zhàn),主要圍繞現(xiàn)代化、變更管理和治理。這就是數(shù)據(jù)沿襲開始發(fā)揮關鍵作用的地方。如今的數(shù)據(jù)市場極其分散,其中一個大問題是,尤其是考慮到經(jīng)濟衰退以及數(shù)據(jù)是否會整合,以及如何整合。2023年,人們可能會看到更多的并購。此外,希望在非技術方面有更多的發(fā)展,包括數(shù)據(jù)契約、數(shù)據(jù)網(wǎng)格或高級聯(lián)邦治理流程,因為對于任何成熟的數(shù)據(jù)組織來說,這似乎是數(shù)據(jù)之旅的下一個明顯步驟。
Ocient公司首席執(zhí)行官兼聯(lián)合創(chuàng)始人Chris Gladwin指出,數(shù)據(jù)復雜性將增加:數(shù)據(jù)的性質正在發(fā)生變化。隨著結構化數(shù)據(jù)和半結構化數(shù)據(jù)之間的界限越來越模糊,數(shù)據(jù)類型越來越多,數(shù)據(jù)類型也越來越復雜。與此同時,用于管理和分析數(shù)據(jù)的軟件和平臺也在不斷發(fā)展。一類新的專用數(shù)據(jù)庫專門處理不同的數(shù)據(jù)類型——圖形、向量、空間、文檔、列表、視頻等等。下一代云數(shù)據(jù)倉庫必須具有多功能性,能夠原生支持多模式數(shù)據(jù),以確保其處理的工作負載的性能和靈活性。例如,OcientHyperscaleDataWarehouse支持數(shù)組、元組、矩陣、行、多邊形、地理空間數(shù)據(jù)、IP地址和大型變長字符字段。在數(shù)字化轉型和全球業(yè)務需求的推動下,分析新的、更復雜的數(shù)據(jù)類型(包括半結構化數(shù)據(jù))的需求將在未來幾年得到加強。例如,電信網(wǎng)絡運營商可能希望分析網(wǎng)絡元數(shù)據(jù),以了解其交換機和路由器的健康狀況?;蛘哌h洋運輸公司可能想要運行地理空間分析來進行物流和路線優(yōu)化。
Snowplow公司首席數(shù)據(jù)官(CDO)Chris Lubasch說,2023年將是圍繞現(xiàn)代數(shù)據(jù)棧進行快速討論的一年。許多新的供應商將會出現(xiàn),像Snowflake和Databricks這樣的主要供應商繼續(xù)他們的旅程,接管了許多技術組件,盡管經(jīng)濟形勢充滿挑戰(zhàn)。但與此同時,也出現(xiàn)了質疑現(xiàn)代數(shù)據(jù)堆棧的聲音,這些數(shù)據(jù)堆棧的解耦方法往往會導致許多工具和高成本,更不用說將它們組合在一起的復雜性了。圍繞“后現(xiàn)代數(shù)據(jù)棧”的討論已經(jīng)開始,人們都渴望看到這將在未來幾年引向何方。
Fivetran公司產(chǎn)品總監(jiān)Alexander Lovell表示,2023年將是數(shù)據(jù)團隊開工或停工的時間。盡管回報質量存在很大差異,但企業(yè)仍保持了對IT的投資。在經(jīng)濟領域普遍存在困惑的情況下,是時候讓數(shù)據(jù)團隊通過提供可操作的見解而大放異彩了,因為當市場處于波動之中時,高管的直覺不那么可靠。最好的數(shù)據(jù)團隊將會成長并變得更加重要。不能產(chǎn)生可操作見解的數(shù)據(jù)團隊將面臨更大的預算壓力。
MANTA公司研究與教育副總裁Jan Ulrych說,元數(shù)據(jù)將由數(shù)據(jù)譜系驅動。元數(shù)據(jù)是當今最引人注目的數(shù)據(jù)策略趨勢。然而,這不僅僅是收集元數(shù)據(jù),而是通過激活來釋放它的力量。數(shù)據(jù)沿襲是元數(shù)據(jù)的基本類型,能夠提供最強大的好處。如果操作得當,它可以實現(xiàn)自動化和智能的數(shù)據(jù)管理實踐。
元數(shù)據(jù)是當今最引人注目的數(shù)據(jù)策略趨勢。然而,這不僅僅是收集元數(shù)據(jù),而是通過激活來釋放它的力量。數(shù)據(jù)沿襲是元數(shù)據(jù)的基本類型,能夠提供最強大的好處。如果操作得當,它可以實現(xiàn)自動化和智能的數(shù)據(jù)管理實踐。
Snowplow公司聯(lián)合創(chuàng)始人Yali Sassoon表示,在2023年,“數(shù)據(jù)產(chǎn)品經(jīng)理”和“數(shù)據(jù)產(chǎn)品管理”將會興起,作為將數(shù)據(jù)視為產(chǎn)品、設計和實施正確的數(shù)據(jù)合同(作為數(shù)據(jù)產(chǎn)品的一部分)以及使組織構建“數(shù)據(jù)網(wǎng)格”所需的關鍵人物/關鍵技能集。此外,預計更多的組織將在云數(shù)據(jù)倉庫和數(shù)據(jù)湖上構建可操作(包括實時)用例,并由核心供應商(如Databricks和Snowflake)和生態(tài)系統(tǒng)中的公司提供更好的工具支持。最后,預測將會有更周到的方法/技術架構來管理個人身份數(shù)據(jù)的數(shù)據(jù)民主化和數(shù)據(jù)遵從性之間的緊張關系。增加對測量數(shù)據(jù)投資的投資回報率的關注。
vFunction公司首席生態(tài)系統(tǒng)官Bob Quillin表示,迭代取代大爆炸:對于高度復雜的大規(guī)?,F(xiàn)代化項目,業(yè)務領導者可能會尋找“簡單的按鈕”,但首席技術官和軟件架構師知道現(xiàn)實情況大不相同。從一個整體中開發(fā)出微服務是一個迭代過程,通常需要重構和平臺化。除非您的應用程序相當簡單,否則“一次一個”的方法是確保成功和管理風險的推薦方法,并實際上提高項目速度。嘗試一次性做太多事情,或者嘗試“大爆炸”的現(xiàn)代化或重寫是大多數(shù)應用現(xiàn)代化項目失敗、失敗或失敗的原因。這并不一定像看起來那樣緩慢而穩(wěn)定,因為迭代構建的速度將在短時間內超過任何大規(guī)模的任務。
Cherre公司客戶解決方案高級副總裁Raj Bhatti表示,在過去的幾年里,大數(shù)據(jù)被認為是一種將顛覆多個行業(yè)的技術。然而,由于元數(shù)據(jù)驅動的數(shù)據(jù)結構、AutoML和不斷增長的數(shù)據(jù)種類的進步,大數(shù)據(jù)的采用已經(jīng)激增。
數(shù)據(jù)技術社區(qū)在2022年開始討論元數(shù)據(jù)驅動的數(shù)據(jù)結構。由于數(shù)據(jù)結構中的主動元數(shù)據(jù)輔助自動化功能減少了人力資源的使用,同時提高了數(shù)據(jù)利用率,因此該技術將在2023年獲得巨大的吸引力。數(shù)據(jù)結構監(jiān)聽、學習并對元數(shù)據(jù)或“場景中的數(shù)據(jù)”采取行動,這有助于用戶訪問場景信息。關鍵的戰(zhàn)略區(qū)別之一將是能夠訪問場景數(shù)據(jù)。
由于AutoML的出現(xiàn),機器學習(ML)將在明年變得更容易為非專家所接受。這是一類機器學習算法,有助于自動化機器學習模型的設計和訓練。機器學習模型是由人類構建的算法創(chuàng)建的。
許多企業(yè)現(xiàn)在要么有內部人才,要么有合作伙伴,他們已經(jīng)交付了成功的大數(shù)據(jù)驅動解決方案。這些有據(jù)可稽的成功故事,加上更有效的分析技術,使得商業(yè)成果越來越成為大數(shù)據(jù)項目中必不可少的過濾器。因此,在2023年,預計很少會遇到使用研發(fā)預算的大數(shù)據(jù)項目。
大數(shù)據(jù)在2023年將變得觸手可及的一年。大多數(shù)公司現(xiàn)在都明白數(shù)據(jù)作為一種資產(chǎn)的價值,但許多企業(yè)仍在努力挖掘它的真正價值。嘗試這樣做在一定程度上推動了托管數(shù)據(jù)庫即服務和/或數(shù)據(jù)管理即服務的增長,從而降低了復雜性。2023年,人們將看到這一過程的下一步,企業(yè)高管將開始采用數(shù)據(jù)可視化平臺和工具,以更好地理解大數(shù)據(jù),并利用它做出更明智的決策。