2022年數(shù)據(jù)管理五大趨勢(shì)
趨勢(shì)一:多云和跨云管理
企業(yè)上云后,很自然的想法就是能夠基于一個(gè)元數(shù)據(jù)管理系統(tǒng)管理多云的數(shù)據(jù),比如數(shù)據(jù)工程師可以通過(guò)運(yùn)行在AWS上的數(shù)據(jù)目錄來(lái)查找數(shù)據(jù),也可以使用運(yùn)行在Azure上的數(shù)據(jù)集成服務(wù)來(lái)訪問(wèn)Snowflake中的數(shù)據(jù),并將其移動(dòng)到谷歌云平臺(tái),以便在TensorFlow項(xiàng)目中使用,以上所有操作用一個(gè)數(shù)據(jù)管理引擎就能搞定。
趨勢(shì)二:AI驅(qū)動(dòng)的數(shù)據(jù)管理自動(dòng)化
基于人工智能提升數(shù)據(jù)管理自動(dòng)化水平提了很多年了,最近企業(yè)引入了一個(gè)敏感數(shù)據(jù)自動(dòng)掃描工具來(lái)進(jìn)行敏感數(shù)據(jù)的自動(dòng)識(shí)別,挺實(shí)用,希望這些案例多一點(diǎn)。
趨勢(shì)三:數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)
多云環(huán)境下使得數(shù)據(jù)編目、查找、集成和使用變得困難,數(shù)據(jù)編織是一種解決策略,其能在數(shù)據(jù)之間建立動(dòng)態(tài)的虛擬鏈接,能實(shí)現(xiàn)智能化且易用的數(shù)據(jù)目錄,能通過(guò)自服務(wù)的方式實(shí)現(xiàn)數(shù)據(jù)的準(zhǔn)備和訪問(wèn)。
趨勢(shì)四:多域主數(shù)據(jù)管理(MDM)
要打造多域主數(shù)據(jù)間的知識(shí)圖譜,形成業(yè)務(wù)的全局視圖,從而提升端到端的客戶(hù)體驗(yàn)。
趨勢(shì)五:數(shù)據(jù)市場(chǎng)
這點(diǎn)我最認(rèn)同了,企業(yè)要把數(shù)據(jù)開(kāi)放當(dāng)成淘寶賣(mài)貨,多關(guān)注點(diǎn)體驗(yàn),努力促進(jìn)交易。
《IDC全球首席數(shù)據(jù)官(CDO)大調(diào)研》對(duì)全球近900名數(shù)據(jù)領(lǐng)導(dǎo)者進(jìn)行了調(diào)研。根據(jù)調(diào)研結(jié)果,我們發(fā)現(xiàn)2022年的數(shù)據(jù)管理五大趨勢(shì):
- 趨勢(shì)#1 多云和跨云管理
- 趨勢(shì)#2 AI驅(qū)動(dòng)的數(shù)據(jù)管理自動(dòng)化
- 趨勢(shì)#3 數(shù)據(jù)編織的體系結(jié)構(gòu)
- 趨勢(shì)#4 多域主數(shù)據(jù)管理
- 趨勢(shì)#5 數(shù)據(jù)市場(chǎng)
趨勢(shì)#1 多云和跨云管理
調(diào)查發(fā)現(xiàn),82%的組織目前正在使用多個(gè)云,或者計(jì)劃在未來(lái)12個(gè)月內(nèi)使用多個(gè)云。
隨著越來(lái)越多的應(yīng)用程序和數(shù)據(jù)轉(zhuǎn)移到云中,數(shù)據(jù)領(lǐng)導(dǎo)者面臨著越來(lái)越復(fù)雜的數(shù)據(jù)管理需求:在同一個(gè)云中,跨不同的云中,以及使用本地資源。多云和跨云數(shù)據(jù)管理對(duì)于支持這些不同的拓?fù)浣Y(jié)構(gòu)至關(guān)重要。
圖1:多云中的更多數(shù)據(jù)增加了碎片和復(fù)雜性
多云意味著特定的數(shù)據(jù)管理服務(wù)可以在多個(gè)云生態(tài)系統(tǒng)上運(yùn)行。例如,能夠在亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)、微軟Azure和谷歌云平臺(tái)上運(yùn)行數(shù)據(jù)集成服務(wù)。無(wú)論是因?yàn)閿?shù)據(jù)主權(quán)問(wèn)題,還是為了避免供應(yīng)商鎖定或并購(gòu),多云環(huán)境的出現(xiàn),企業(yè)都希望能夠靈活地跨云生態(tài)系統(tǒng)運(yùn)行其數(shù)據(jù)管理服務(wù)。
同時(shí),云間數(shù)據(jù)管理使運(yùn)行在不同云生態(tài)系統(tǒng)上的服務(wù)能夠無(wú)縫地協(xié)同工作。例如,數(shù)據(jù)工程師可以通過(guò)運(yùn)行在AWS上的數(shù)據(jù)目錄和市場(chǎng)服務(wù)來(lái)查找數(shù)據(jù),該服務(wù)使用運(yùn)行在Azure上的數(shù)據(jù)集成服務(wù)來(lái)訪問(wèn)Snowflake中的數(shù)據(jù),并將其移動(dòng)到谷歌云平臺(tái),以便在TensorFlow項(xiàng)目中使用。
圖2:多云和跨云數(shù)據(jù)管理示例
圖2顯示了Informatica如何通過(guò)多云和跨云數(shù)據(jù)管理功能幫助您解決碎片和復(fù)雜性問(wèn)題。
趨勢(shì)#2 AI驅(qū)動(dòng)的數(shù)據(jù)管理自動(dòng)化
自動(dòng)化是解決大規(guī)模數(shù)據(jù)碎片化和復(fù)雜性的唯一可行選擇。然而,超過(guò)三分之二(68%)的受調(diào)查組織尚未在整個(gè)組織內(nèi)將人工智能用于數(shù)據(jù)管理。
圖3:用于數(shù)據(jù)管理的人工智能提高了生產(chǎn)率和靈活性
人工智能可以幫助實(shí)現(xiàn)數(shù)據(jù)管理各個(gè)方面的自動(dòng)化,包括數(shù)據(jù)發(fā)現(xiàn)和編目、數(shù)據(jù)和應(yīng)用程序集成、清理和掌握、治理、隱私和數(shù)據(jù)共享。它還提高了所有數(shù)據(jù)用戶(hù)的生產(chǎn)率,包括開(kāi)發(fā)人員、架構(gòu)師、應(yīng)用程序管理員、數(shù)據(jù)管理員、財(cái)務(wù)分析師和一線員工。
圖4:用于數(shù)據(jù)管理自動(dòng)化的人工智能示例
使用人工智能實(shí)現(xiàn)數(shù)據(jù)管理自動(dòng)化增加了人工智能在決策和業(yè)務(wù)流程中的可操作性。優(yōu)化的數(shù)據(jù)管理組織可以:
- 將人工智能全面用于數(shù)據(jù)管理的可能性是以往的五倍
- 為洞察和分析全面操作人工智能的可能性高出三倍
- 將人工智能全面用于過(guò)程自動(dòng)化和優(yōu)化的可能性提高了六倍
趨勢(shì)#3 數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)
隨著組織將更多數(shù)據(jù)放入更多的云中,他們需要一種方法來(lái)連接孤立的數(shù)據(jù)源,并使整個(gè)組織的數(shù)據(jù)更容易訪問(wèn)。為了解決這些云數(shù)據(jù)孤島問(wèn)題,數(shù)據(jù)管理領(lǐng)導(dǎo)者正在尋找數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)。
事實(shí)上,超過(guò)一半(54%)的被調(diào)查組織表示,他們正在研究方法和解決方案,或者已經(jīng)將數(shù)據(jù)架構(gòu)的體系結(jié)構(gòu)的某些部分落實(shí)到位。
圖5:數(shù)據(jù)架構(gòu)體系結(jié)構(gòu)有助于優(yōu)化數(shù)據(jù)管理
Data Fabric是一個(gè)設(shè)計(jì)概念,它作為一個(gè)架構(gòu)層,用于簡(jiǎn)化和擴(kuò)展數(shù)據(jù)管理任務(wù),并在整個(gè)組織中更廣泛、更一致地使用數(shù)據(jù)。
圖6:數(shù)據(jù)架構(gòu)的關(guān)鍵組件
數(shù)據(jù)架構(gòu)的關(guān)鍵組件包括(見(jiàn)圖6):
- 用于發(fā)現(xiàn)和管理數(shù)據(jù)資產(chǎn)的增強(qiáng)元數(shù)據(jù)目錄
- 用于理解數(shù)據(jù)資產(chǎn)之間關(guān)系的元數(shù)據(jù)知識(shí)圖
- 一個(gè)支持人工智能的推薦引擎,用于建議使用數(shù)據(jù)資產(chǎn)
- 支持ETL、流媒體和API數(shù)據(jù)移動(dòng)的數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)交付
- 不同數(shù)據(jù)管理服務(wù)協(xié)作的企業(yè)數(shù)據(jù)編排層
嵌入在這五個(gè)組件中的是一個(gè)AI引擎,它將數(shù)據(jù)架構(gòu)執(zhí)行的數(shù)據(jù)管理任務(wù)進(jìn)行了自動(dòng)化。例如,推薦可能感興趣的數(shù)據(jù)集,或自動(dòng)將業(yè)務(wù)術(shù)語(yǔ)和定義與底層技術(shù)數(shù)據(jù)關(guān)聯(lián),以使業(yè)務(wù)用戶(hù)能夠自助服務(wù)。
趨勢(shì)#4 多域主數(shù)據(jù)管理(MDM)
隨著企業(yè)的業(yè)務(wù)數(shù)字化進(jìn)一步發(fā)展,使用云應(yīng)用程序的數(shù)量也在增加。管理端到端的數(shù)字體驗(yàn)需要應(yīng)用程序中提供一致的主數(shù)據(jù)。
當(dāng)被問(wèn)及其數(shù)據(jù)管理的預(yù)算優(yōu)先事項(xiàng)時(shí),61%的受訪者表示,多域主數(shù)據(jù)管理(MDM)可以360度查看業(yè)務(wù),是首要考慮的。
圖7:主數(shù)據(jù)管理是優(yōu)化數(shù)據(jù)組織的最優(yōu)先級(jí)預(yù)算分配
雖然許多公司最初專(zhuān)注于管理客戶(hù)數(shù)據(jù),但他們很快意識(shí)到,需要管理和連接材料、供應(yīng)商、產(chǎn)品、位置和主數(shù)據(jù)的其他領(lǐng)域,以獲得360度的業(yè)務(wù)視圖,從而幫助他們提供卓越的數(shù)字體驗(yàn)。利用多域MDM改善體驗(yàn)的一些方法包括:
客戶(hù)體驗(yàn):使?fàn)I銷(xiāo)部門(mén)能夠通過(guò)客戶(hù)、產(chǎn)品和渠道數(shù)據(jù)來(lái)了解偏好并提供個(gè)性化服務(wù)。跨客戶(hù)接觸點(diǎn)提供個(gè)性化支持和服務(wù)。
產(chǎn)品體驗(yàn):使商務(wù)和商品銷(xiāo)售團(tuán)隊(duì)能夠使用客戶(hù)、產(chǎn)品和位置數(shù)據(jù),在整個(gè)客戶(hù)旅程中提供更加吸引的相關(guān)產(chǎn)品體驗(yàn)。
供應(yīng)商經(jīng)驗(yàn):使采購(gòu)和供應(yīng)商關(guān)系團(tuán)隊(duì)能夠使用供應(yīng)商、材料和位置數(shù)據(jù)簡(jiǎn)化供應(yīng)商入職流程,并更好地管理整個(gè)組織內(nèi)供應(yīng)商的總開(kāi)支。
財(cái)務(wù)經(jīng)驗(yàn):使財(cái)務(wù)規(guī)劃和分析團(tuán)隊(duì)能夠使用客戶(hù)、產(chǎn)品、渠道、供應(yīng)商、成本中心和位置數(shù)據(jù)來(lái)建模場(chǎng)景,制定計(jì)劃,并提供及時(shí)的報(bào)告和分析。
圖8:將多個(gè)主數(shù)據(jù)域連接到客戶(hù)的360度視圖中
圖8顯示了Informatica如何將客戶(hù)、策略和位置主數(shù)據(jù)與交互、交易和服務(wù)請(qǐng)求數(shù)據(jù)連接起來(lái),以創(chuàng)建一個(gè)知識(shí)圖,提供客戶(hù)及其與公司交互的全面360度視圖。
趨勢(shì)#5 數(shù)據(jù)市場(chǎng)
數(shù)據(jù)具有變革性。它推動(dòng)產(chǎn)品和服務(wù)的創(chuàng)新,增強(qiáng)協(xié)作能力,改變企業(yè)和社會(huì)。然而,72%的受訪者表示,大多數(shù)業(yè)務(wù)線員工無(wú)法自行獲取他們需要使用的所有數(shù)據(jù)。
為了滿(mǎn)足對(duì)更大數(shù)據(jù)訪問(wèn)和共享的需求,我們相信,2022年,從僅僅編目數(shù)據(jù)擴(kuò)展到更全面的數(shù)據(jù)市場(chǎng)功能的趨勢(shì)將會(huì)加快。
圖9:優(yōu)化的數(shù)據(jù)組織高度關(guān)注數(shù)據(jù)的訪問(wèn)和使用
雖然數(shù)據(jù)目錄是數(shù)據(jù)市場(chǎng)的一個(gè)組成部分,但該市場(chǎng)還提供訂單管理以及交付和履行功能。它通過(guò)類(lèi)似于零售行業(yè)在線購(gòu)物體驗(yàn)簡(jiǎn)化了數(shù)據(jù)消費(fèi)體驗(yàn)。只需點(diǎn)擊幾下,員工就可以搜索感興趣的主題或領(lǐng)域、將數(shù)據(jù)集添加到購(gòu)物車(chē)、結(jié)賬并安全地交付數(shù)據(jù)。
更先進(jìn)的數(shù)據(jù)市場(chǎng)還確保以合規(guī)和道德的方式使用組織的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)治理策略可以映射到數(shù)據(jù)集,然后使用這些數(shù)據(jù)集根據(jù)所訪問(wèn)的數(shù)據(jù)類(lèi)型創(chuàng)建數(shù)據(jù)使用的條款和條件。這為數(shù)據(jù)消費(fèi)者提供了正確使用的指導(dǎo),消費(fèi)者在獲得訪問(wèn)權(quán)限之前必須接受這些條款。市場(chǎng)提供了對(duì)誰(shuí)在使用什么數(shù)據(jù)、在哪里使用數(shù)據(jù)以及用于什么的完全可審計(jì)性。
圖10:使用數(shù)據(jù)市場(chǎng)簡(jiǎn)化業(yè)務(wù)自助服務(wù)
圖10顯示了Informatica如何利用云數(shù)據(jù)市場(chǎng)簡(jiǎn)化業(yè)務(wù)用戶(hù)的數(shù)據(jù)查找、理解和消費(fèi)。