GDPR和CCPA等數(shù)據(jù)隱私法本應(yīng)遏制大數(shù)據(jù)繁榮時(shí)期的過度行為，并引導(dǎo)我們進(jìn)入數(shù)據(jù)文明的新時(shí)代。然而數(shù)據(jù)集成提供商StreamSets表示，情況并非如此，該公司表示，在數(shù)據(jù)治理方面，我們?nèi)匀簧钤凇翱褚暗奈鞑俊薄?/span>

盡管GDPR和CCPA（后來被CPRA取代）已經(jīng)分別阻止了歐盟和加利福尼亞州一些最公然的侵犯數(shù)據(jù)隱私和安全的行為，但這些法律（以及其他國(guó)家的其他類似法律）并沒有影響到世界各地?cái)?shù)萬家正在收集、，存儲(chǔ)和處理數(shù)據(jù)的機(jī)構(gòu)組織。

StreamSets的一份題為《從混亂中創(chuàng)造秩序：數(shù)據(jù)狂野西部的治理》的報(bào)告稱，盡管有新的法律，但許多因素導(dǎo)致了建立堅(jiān)實(shí)的數(shù)據(jù)治理文化和實(shí)踐的困難。

一年多前被Software AG收購(gòu)的StreamSets調(diào)查了來自美國(guó)、英國(guó)、德國(guó)、法國(guó)、西班牙、意大利和澳大利亞大型企業(yè)的約650名數(shù)據(jù)決策者和從業(yè)者，以收集有關(guān)該領(lǐng)域數(shù)據(jù)治理情況的數(shù)據(jù)。這一結(jié)果將數(shù)據(jù)治理歸咎于一些常見的“罪魁禍?zhǔn)住?，但也揭示了成功的新障礙。

例如，54%的受訪者表示，跨本地和多個(gè)云環(huán)境的去中心化數(shù)據(jù)環(huán)境促成了“數(shù)據(jù)狂野的西部”。另有一小部分（57%）表示，數(shù)據(jù)供應(yīng)鏈的碎片化“使他們的組織更難理解、管理和管理數(shù)據(jù)”。

StreamSets發(fā)現(xiàn)企業(yè)聲稱擁有的數(shù)據(jù)治理功能類型與他們?cè)谙到y(tǒng)中實(shí)現(xiàn)的實(shí)際功能之間的差距。例如，調(diào)查顯示，71%的受訪者表示“他們有信心對(duì)自己的數(shù)據(jù)進(jìn)行完全的可見性控制。”

然而，調(diào)查發(fā)現(xiàn)，StreamSets在其報(bào)告中表示，“44%的組織無法維護(hù)治理和自動(dòng)化數(shù)據(jù)的策略控制，42%的組織無法執(zhí)行一致的安全措施，這是一個(gè)明顯的漏洞。”

該公司表示，缺乏對(duì)數(shù)據(jù)管道的可見性會(huì)增加其他數(shù)據(jù)安全問題的風(fēng)險(xiǎn)?！把芯勘砻鳎?8%的企業(yè)無法看到數(shù)據(jù)何時(shí)在多個(gè)系統(tǒng)中使用，40%的企業(yè)無法確保數(shù)據(jù)是從最佳來源提取的?！眻?bào)告說，“此外，54%的人不能將管道與數(shù)據(jù)目錄集成，57%的人不能把管道集成到數(shù)據(jù)結(jié)構(gòu)中?！?/span>

誰負(fù)責(zé)清理數(shù)據(jù)混亂？這是另一個(gè)有點(diǎn)模糊的區(qū)域。大約一半（47%）的StreamSets調(diào)查受訪者表示，集中的IT團(tuán)隊(duì)負(fù)責(zé)管理數(shù)據(jù)。然而，18%的人表示，業(yè)務(wù)線承擔(dān)主要責(zé)任，而在35%的情況下，業(yè)務(wù)線由業(yè)務(wù)和IT部門分擔(dān)。

StreamSets第二項(xiàng)調(diào)查突顯了在現(xiàn)代企業(yè)中運(yùn)行數(shù)據(jù)管道的困難。許多公司有數(shù)千條數(shù)據(jù)管道在使用，很難按照業(yè)務(wù)要求的速度構(gòu)建、管理和維護(hù)這些管道。

StreamSets在《揭開隱藏的數(shù)據(jù)集成問題的蓋子》一書中表示：“對(duì)數(shù)據(jù)的需求高于大多數(shù)技術(shù)團(tuán)隊(duì)提供數(shù)據(jù)的能力。”該書基于上述相同的調(diào)查。“超過一半（59%）的受訪者表示，數(shù)字化轉(zhuǎn)型優(yōu)先事項(xiàng)的加速給數(shù)據(jù)供應(yīng)鏈帶來了重大挑戰(zhàn)?！?/span>

盡管在ETL/ELT、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)管道構(gòu)建方面取得了進(jìn)展，但格式不一致的數(shù)據(jù)倉庫的快速擴(kuò)展意味著，通常需要訓(xùn)練有素的數(shù)據(jù)工程師的專業(yè)知識(shí)來構(gòu)建一次性（定制）數(shù)據(jù)管道。這些數(shù)據(jù)工程師根本無法滿足需求。

因此，68%的數(shù)據(jù)領(lǐng)導(dǎo)者表示數(shù)據(jù)摩擦“阻礙了他們以業(yè)務(wù)要求的速度交付數(shù)據(jù)”，或者65%的人表示“數(shù)據(jù)復(fù)雜性和摩擦可能會(huì)對(duì)數(shù)字化轉(zhuǎn)型產(chǎn)生嚴(yán)重影響”，這并不奇怪。盡管已經(jīng)制定了法律，防止消費(fèi)者遭受一些最嚴(yán)重的數(shù)據(jù)隱私和安全濫用，但事實(shí)仍然是，許多企業(yè)內(nèi)部的數(shù)據(jù)管理仍然很差。15年前引發(fā)大數(shù)據(jù)現(xiàn)象的因素——數(shù)據(jù)量爆炸、數(shù)據(jù)速度上升和準(zhǔn)確性存疑——自那以后，其規(guī)模只會(huì)越來越大。

這些年來，數(shù)據(jù)管理工具已經(jīng)稍微好了一些。數(shù)據(jù)網(wǎng)格（data mesh）和數(shù)據(jù)經(jīng)緯（data fabric）等體系結(jié)構(gòu)有所幫助，數(shù)據(jù)目錄、ETL/ELT、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)可觀察性的增量增強(qiáng)在許多情況下幫助我們跟上了變化的步伐。但很明顯，還有很多工作要做，離實(shí)現(xiàn)大數(shù)據(jù)完全治理還有一段路要走。