在數(shù)字時(shí)代的今天，企業(yè)對(duì)于高質(zhì)量、值得信賴的數(shù)據(jù)的需求越來(lái)越高。

目前，已經(jīng)有很多企業(yè)將數(shù)據(jù)質(zhì)量視為技術(shù)問(wèn)題而非業(yè)務(wù)問(wèn)題，這也是獲取高質(zhì)量數(shù)據(jù)的最大限制因素。只有查找技術(shù)缺陷，例如重復(fù)數(shù)據(jù)、缺失值、亂序序列，以及與歷史數(shù)據(jù)預(yù)期模式的偏差無(wú)疑是至關(guān)重要的，但這也僅是第一步。一個(gè)更加苛刻和關(guān)鍵的步驟，便是衡量業(yè)務(wù)質(zhì)量，檢查數(shù)據(jù)是否上下文正確。

讓我們看看提高現(xiàn)代數(shù)據(jù)質(zhì)量的四大有效方式：

1）自上而下的業(yè)務(wù)如果數(shù)據(jù)質(zhì)量——這個(gè)詞從未被創(chuàng)造出來(lái)，而“業(yè)務(wù)質(zhì)量”是目標(biāo)，也許 IT 團(tuán)隊(duì)更加會(huì)受益。在那種情況下，確保數(shù)據(jù)正確的主要理由本來(lái)是為了確保業(yè)務(wù)成果得到滿足。在這種情況下，需要重點(diǎn)從數(shù)據(jù)的基礎(chǔ)設(shè)施轉(zhuǎn)移到它的上下文。

但“上下文”到底是什么？

它是業(yè)務(wù)當(dāng)中對(duì)數(shù)據(jù)的應(yīng)用。例如，不同業(yè)務(wù)部門對(duì)“客戶”的定義可能不同。對(duì)于銷售來(lái)說(shuō)，是買家；對(duì)于營(yíng)銷來(lái)說(shuō)，是影響者；對(duì)于財(cái)務(wù)來(lái)說(shuō)，是買單者。因此，上下文的變化取決于誰(shuí)在處理數(shù)據(jù)。為此，數(shù)據(jù)質(zhì)量需要與上下文保持同步。

在另一個(gè)例子中，國(guó)家代碼 1 和地區(qū)美國(guó)與加拿大可能看起來(lái)類似，但事實(shí)并非如此。不同的團(tuán)隊(duì)可以出于截然不同的目的使用一個(gè)表格中的相同列。因此，數(shù)據(jù)質(zhì)量的定義各不相同。為此，就需要在業(yè)務(wù)上下文級(jí)別應(yīng)用數(shù)據(jù)質(zhì)量。

2）產(chǎn)品思維——數(shù)據(jù)網(wǎng)格原則上引發(fā)的概念非常引人注目，他們改變了我們的思維方式，使那些在實(shí)踐中可能行不通的舊方法在今天也能奏效。最大的變化是我們對(duì)數(shù)據(jù)的看法：作為一種產(chǎn)品，必須在管理時(shí)考慮到用戶及其期望的結(jié)果。

任何企業(yè)正在應(yīng)用產(chǎn)品管理實(shí)踐來(lái)使他們的數(shù)據(jù)資產(chǎn)可用。 “數(shù)據(jù)產(chǎn)品”的目標(biāo)是通過(guò)讓不同的消費(fèi)者群體更容易地消費(fèi)和分析，以此來(lái)鼓勵(lì)“可信數(shù)據(jù)”的更高利用率。反過(guò)來(lái)，又提高了企業(yè)以極低的方式從其數(shù)據(jù)資產(chǎn)中快速提取情報(bào)和見解的能力。

同樣，數(shù)據(jù)質(zhì)量也應(yīng)該采用相同的產(chǎn)品管理原則來(lái)處理。數(shù)據(jù)生產(chǎn)者應(yīng)發(fā)布一份“數(shù)據(jù)合同”，列出向消費(fèi)者承諾的數(shù)據(jù)質(zhì)量水平。通過(guò)將數(shù)據(jù)質(zhì)量視為最重要的資產(chǎn)，生產(chǎn)者應(yīng)該了解數(shù)據(jù)的使用方式及其質(zhì)量的影響。數(shù)據(jù)產(chǎn)品的數(shù)據(jù)質(zhì)量SLA旨在確保消費(fèi)者了解數(shù)據(jù)新鮮度等參數(shù)。

3）數(shù)據(jù)可觀察性——通常，數(shù)據(jù)消費(fèi)者是第一個(gè)發(fā)現(xiàn)異常的人，例如 CFO 在儀表板上發(fā)現(xiàn)錯(cuò)誤。如果這種情況發(fā)生，那么IT 團(tuán)隊(duì)將進(jìn)入了一種被動(dòng)的救火模式，試圖檢測(cè)復(fù)雜架構(gòu)中錯(cuò)誤出現(xiàn)的位置。

數(shù)據(jù)可觀察性通過(guò)持續(xù)監(jiān)控?cái)?shù)據(jù)管道并使用先進(jìn)的 ML 技術(shù)快速識(shí)別異常，甚至主動(dòng)預(yù)測(cè)異常來(lái)填補(bǔ)空白，以便在問(wèn)題到達(dá)下游系統(tǒng)之前對(duì)其進(jìn)行補(bǔ)救。

數(shù)據(jù)質(zhì)量問(wèn)題可能發(fā)生在管道中的任何地方。但是，如果越早發(fā)現(xiàn)問(wèn)題，修復(fù)成本就會(huì)越低。因此，采用“左移”的理念。數(shù)據(jù)可觀察性產(chǎn)品通過(guò)以下方式提高數(shù)據(jù)質(zhì)量：

·數(shù)據(jù)發(fā)現(xiàn)從數(shù)據(jù)源和數(shù)據(jù)管道的所有組件（例如轉(zhuǎn)換引擎和報(bào)告或儀表板）中提取元數(shù)據(jù)。

·監(jiān)控和分析——針對(duì)動(dòng)態(tài)和靜態(tài)數(shù)據(jù)，使用中的數(shù)據(jù)如何？

·預(yù)測(cè)性異常檢測(cè) - 使用內(nèi)置。

·警報(bào)和通知

數(shù)據(jù)質(zhì)量是數(shù)據(jù)可觀察性的基礎(chǔ)部分，下圖顯示了數(shù)據(jù)可觀察性的總體范圍。

4）整體數(shù)據(jù)治理——數(shù)據(jù)質(zhì)量子系統(tǒng)與整體元數(shù)據(jù)管理密不可分。

一方面，數(shù)據(jù)目錄存儲(chǔ)定義或推斷的規(guī)則；另一方面，DataOps 實(shí)踐生成進(jìn)一步細(xì)化數(shù)據(jù)質(zhì)量規(guī)則的元數(shù)據(jù)。數(shù)據(jù)質(zhì)量和 DataOps 確保數(shù)據(jù)管道以自動(dòng)方式使用正確的規(guī)則和上下文進(jìn)行持續(xù)測(cè)試，并在推斷出異常時(shí)發(fā)出警報(bào)。

事實(shí)上，數(shù)據(jù)質(zhì)量和 DataOps 只是元數(shù)據(jù)眾多用例中的兩個(gè)?，F(xiàn)代數(shù)據(jù)質(zhì)量與這些其他用例集成在一起，如下圖所示。

將數(shù)據(jù)質(zhì)量合并到數(shù)據(jù)治理的其他方面的綜合元數(shù)據(jù)平臺(tái)可改善業(yè)務(wù)用戶（例如數(shù)據(jù)使用者與數(shù)據(jù)產(chǎn)品的生產(chǎn)者和維護(hù)者）之間的協(xié)作。它們共享相同的上下文和指標(biāo)。

這種緊密集成有助于采用左移方法來(lái)提高數(shù)據(jù)質(zhì)量。持續(xù)測(cè)試、編排和自動(dòng)化有助于降低錯(cuò)誤率并加快數(shù)據(jù)產(chǎn)品的交付。需要這種方法來(lái)提高對(duì)數(shù)據(jù)團(tuán)隊(duì)的信任和信心。

可以說(shuō)，這種集成是企業(yè)采用數(shù)據(jù)產(chǎn)品、數(shù)據(jù)網(wǎng)格和數(shù)據(jù)共享選項(xiàng)（如交易所和市場(chǎng)）的現(xiàn)代數(shù)據(jù)交付方法的墊腳石。

原文標(biāo)題：4 pillars of modern data quality

原文作者：Vanitha