Denodo預(yù)測2023年數(shù)據(jù)管理和分析的未來
然新冠肺炎疫情加速推進(jìn)了企業(yè)的數(shù)字化轉(zhuǎn)型,但普遍的共識是,數(shù)字業(yè)務(wù)模式已經(jīng)在很多企業(yè)(以傳統(tǒng)企業(yè)為主)一勞永逸地建立起來。即便傳統(tǒng)企業(yè)已全面恢復(fù)生產(chǎn)經(jīng)營,其大量業(yè)務(wù)交易仍將以數(shù)字方式進(jìn)行。事實(shí)上,數(shù)字和數(shù)據(jù)驅(qū)動的業(yè)務(wù)創(chuàng)新可能會使領(lǐng)先者從競爭中脫穎而出。
數(shù)據(jù)是數(shù)字業(yè)務(wù)的核心,通過實(shí)施適當(dāng)?shù)牟呗院鸵?guī)劃來管理數(shù)據(jù)及相關(guān)基礎(chǔ)設(shè)施,將是企業(yè)成功的關(guān)鍵。正因如此,我們可以看到,在與數(shù)據(jù)管理基礎(chǔ)設(shè)施和架構(gòu)相關(guān)的領(lǐng)域內(nèi)出現(xiàn)了很多創(chuàng)新。以下是Denodo認(rèn)為將在 2023 年產(chǎn)生最大影響的五大趨勢,這些趨勢與數(shù)據(jù)和分析有關(guān)。
趨勢 1:隨著經(jīng)濟(jì)即將進(jìn)入衰退周期的風(fēng)險升高,公司將尋求優(yōu)化基礎(chǔ)設(shè)施成本
無論北美地區(qū)目前是否處于衰退,各公司都在積極削減成本,減少 IT 基礎(chǔ)設(shè)施。這些措施對于首席執(zhí)行官而言都已經(jīng)習(xí)以為常。雖然可以通過使用云繼續(xù)降低計算和存儲成本,但由于在數(shù)據(jù)和分析基礎(chǔ)設(shè)施方面投入巨大,向云端遷移仍有可能給組織帶來高昂的成本和支出。部分得益于存儲、計算和應(yīng)用程序方面的廣泛選擇,公司通常采用淘汰并更換的策略來實(shí)現(xiàn)數(shù)據(jù)和分析工作的現(xiàn)代化。這種方法不僅成本高昂,而且通常會導(dǎo)致 IT 部門運(yùn)營中斷。
Denodo認(rèn)為2023 年,更多公司的 IT 部門將專注于以現(xiàn)代化、無中斷的方式來更新其 IT 基礎(chǔ)設(shè)施,無論其數(shù)據(jù)是完全駐留在單個云、多個云中,還是駐留在包括本地在內(nèi)的混合環(huán)境中。
趨勢 2 – 數(shù)據(jù)治理將更加重視對業(yè)務(wù)而言最重要的數(shù)據(jù)
隨著數(shù)據(jù)量的增長、行為數(shù)據(jù)等新數(shù)據(jù)類型的出現(xiàn)以及數(shù)據(jù)環(huán)境的分布式趨勢日益增強(qiáng),企業(yè)數(shù)據(jù)治理仍然是企業(yè)面臨的首要挑戰(zhàn)。在跨整個企業(yè)管理數(shù)據(jù)標(biāo)準(zhǔn)和訪問策略的同時,確保用戶能夠訪問可靠且與目標(biāo)相符的業(yè)務(wù)數(shù)據(jù),正變得越來越復(fù)雜和具有挑戰(zhàn)性。最近多起數(shù)據(jù)泄露事件引發(fā)了關(guān)于應(yīng)該保留多少數(shù)據(jù)以及應(yīng)該保留哪些數(shù)據(jù)的思考,并凸顯了監(jiān)控企業(yè)數(shù)據(jù)使用情況的必要性。
很多組織都依賴技術(shù)和數(shù)據(jù)治理平臺幫助他們解決這些數(shù)據(jù)管理難題。他們希望找到的解決方案能在異構(gòu)和碎片化的數(shù)據(jù)生態(tài)系統(tǒng)中提供集中管理和控制,同時支持?jǐn)?shù)據(jù)的發(fā)現(xiàn)、訪問和理解?!皵?shù)據(jù)公民”希望確保數(shù)據(jù)值得信賴并與業(yè)務(wù)目標(biāo)相符,而組織則希望更好地了解數(shù)據(jù)使用模式,以便更好地滿足業(yè)務(wù)部門對提供數(shù)據(jù)智能的數(shù)據(jù)需求。
在接下來的一年中,很多組織將開始關(guān)注對業(yè)務(wù)而言最重要的數(shù)據(jù),并將采用適當(dāng)?shù)闹卫砑墑e。
趨勢 3:加速采用數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格
在過去二十年間,數(shù)據(jù)管理經(jīng)歷了集中化與分散化的循環(huán),其中涉及的技術(shù)包括數(shù)據(jù)庫、數(shù)據(jù)倉庫、云數(shù)據(jù)存儲、數(shù)據(jù)湖等。雖然在哪種方法最好的爭論中,支持者和反對者勢均力敵,但過去幾年已經(jīng)證明,對于大多數(shù)組織而言,數(shù)據(jù)更加分散而非集中。部署企業(yè)數(shù)據(jù)架構(gòu)有多種選擇,但在 2022 年,為了更好地管理和訪問分布式數(shù)據(jù),兩種數(shù)據(jù)架構(gòu)方法(數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格)的采用速度明顯加快。雖然兩者之間存在固有差異,數(shù)據(jù)編織是多種數(shù)據(jù)管理技術(shù)組成的可組合體系,而數(shù)據(jù)網(wǎng)格是流程導(dǎo)向,旨在讓一組分布式團(tuán)隊在他們適合的領(lǐng)域管理企業(yè)數(shù)據(jù)。但對于希望更好地管理數(shù)據(jù)的企業(yè)而言,二者都至關(guān)重要。輕松訪問數(shù)據(jù)并確保其受到治理和安全保護(hù),對于每個數(shù)據(jù)利益相關(guān)者(從數(shù)據(jù)科學(xué)家一直到高管)來說都很重要。畢竟,它對于儀表板和報告、高級分析、機(jī)器學(xué)習(xí)和 AI 項目都至關(guān)重要。
如果通過部署正確的數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行適當(dāng)構(gòu)建,數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格都可以在企業(yè)范圍的數(shù)據(jù)訪問、集成、管理及交付中發(fā)揮關(guān)鍵作用。因此,Denodo預(yù)計在 2023 年,大中型企業(yè)對這兩種架構(gòu)方法的采用將迅速增加。
趨勢 4:隨著基于 AI 的決策在商業(yè)領(lǐng)域的采用增加,符合倫理要求的 AI 將變得至關(guān)重要
各行各業(yè)的很多公司都在加速使用 AI 進(jìn)行基于數(shù)據(jù)的決策,無論是社交媒體平臺控制帖子、幫助醫(yī)療保健專業(yè)人員與患者建立聯(lián)系,還是大型財富管理銀行向其最終消費(fèi)者提供信貸。然而,當(dāng)最終結(jié)果由人工智能決定時,目前尚無辦法抑制算法中的固有偏差。正因如此,擬議中的《歐盟人工智能法案》和《加拿大 C-27 法案》(如果頒布,可能會成為《人工智能和數(shù)據(jù)法案》)等新興法規(guī)開始圍繞人工智能在商業(yè)組織中的使用建立監(jiān)管框架。這些新法規(guī)將人工智能應(yīng)用程序的風(fēng)險分為“不可接受”、“高”、“中”或“低”風(fēng)險,并相應(yīng)禁止或管控這些應(yīng)用程序的使用。
在 2023 年,組織需要能夠遵守這些擬議中的法規(guī),包括關(guān)于隱私和數(shù)據(jù)治理、算法透明、公平和無歧視、問責(zé)制及可審核性的規(guī)定??紤]到這一點(diǎn),組織必須實(shí)施自己的框架,為符合倫理要求的 AI 提供支持,例如可信賴 AI 的指導(dǎo)方針、同行評審框架,以及 AI 倫理委員會。隨著越來越多的公司開始使用 AI,符合倫理要求的 AI 在未來一年必將變得比以往任何時候都更加重要。
趨勢 5: 增強(qiáng)數(shù)據(jù)質(zhì)量、數(shù)據(jù)準(zhǔn)備、元數(shù)據(jù)管理和分析
雖然很多數(shù)據(jù)管理工作的最終結(jié)果是為高級分析提供數(shù)據(jù)并支持 AI 和 ML,但適當(dāng)?shù)臄?shù)據(jù)管理本身對于組織的成功至關(guān)重要。數(shù)據(jù)常被稱為新石油,因為基于數(shù)據(jù)和分析的見解能夠不斷推動業(yè)務(wù)創(chuàng)新。隨著組織使用數(shù)據(jù)的速度不斷提高,公司密切關(guān)注數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量和元數(shù)據(jù)管理也變得至關(guān)重要。然而,隨著數(shù)據(jù)量、種類以及產(chǎn)生和使用速度的持續(xù)增長,數(shù)據(jù)管理的方方面面也變得非常復(fù)雜,為大規(guī)模管理造成嚴(yán)重困難。您可以思考一下數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師在開始利用數(shù)據(jù)之前查找和準(zhǔn)備數(shù)據(jù)所花費(fèi)的時間。正因如此,各種數(shù)據(jù)管理供應(yīng)商最近開始采用增強(qiáng)型數(shù)據(jù)管理方法,通過使用 AI,眾多組織能夠自動完成很多數(shù)據(jù)管理任務(wù)。
根據(jù)一些頂級分析公司的說法,數(shù)據(jù)編織的每一層(即數(shù)據(jù)攝取、數(shù)據(jù)處理、數(shù)據(jù)編排、數(shù)據(jù)治理等)均應(yīng)將 AI/ML 融入其中,以實(shí)現(xiàn)數(shù)據(jù)管理過程每個階段的自動化。在 2023 年,增強(qiáng)型數(shù)據(jù)管理將獲得強(qiáng)大的市場牽引力,幫助數(shù)據(jù)管理專業(yè)人員專注于提供數(shù)據(jù)驅(qū)動的見解,而不是被日常管理任務(wù)所阻礙。
這些是Denodo認(rèn)為的最重要的五個趨勢,數(shù)據(jù)和分析實(shí)踐的其他領(lǐng)域也對數(shù)字業(yè)務(wù)在 2023 年及以后的生存和蓬勃發(fā)展有所影響。過去兩到三年的經(jīng)驗明確告訴我們,線下模式也并非一直可行,因此數(shù)字業(yè)務(wù)并非后備選項,而是未來所在。