背景

在近期的項(xiàng)目當(dāng)中，我們?yōu)榭蛻袈涞貙?shí)施了數(shù)據(jù)資產(chǎn)平臺。隨后，在數(shù)據(jù)平臺中接入了客戶子公司的一個(gè)業(yè)務(wù)系統(tǒng)的明細(xì)數(shù)據(jù)。客戶希望在我們的數(shù)據(jù)平臺上通過數(shù)據(jù)探索和數(shù)據(jù)分析，來挖掘一些業(yè)務(wù)價(jià)值和業(yè)務(wù)創(chuàng)新點(diǎn)。

當(dāng)我們拿到數(shù)據(jù)開始進(jìn)行一些初步探索的時(shí)候，發(fā)現(xiàn)導(dǎo)入平臺的數(shù)據(jù)質(zhì)量存在一定的問題：例如一些用于數(shù)據(jù)分析的關(guān)鍵字段的值為空、一些本應(yīng)該有主從關(guān)系的數(shù)據(jù)對應(yīng)不上、數(shù)據(jù)分類混亂等。這些問題直接影響到了對業(yè)務(wù)數(shù)據(jù)的分析和價(jià)值挖掘。因此，我們決定先對這份業(yè)務(wù)數(shù)據(jù)進(jìn)行一次質(zhì)量評估。如果評估的結(jié)果太差，不能做太多有價(jià)值的數(shù)據(jù)分析，那么我們的工作方向可能就需要轉(zhuǎn)變?yōu)閹椭蛻糁贫ㄕ臄?shù)據(jù)質(zhì)量的計(jì)劃和方案。

[[236182]]

數(shù)據(jù)質(zhì)量問題

什么是質(zhì)量

關(guān)于質(zhì)量是有個(gè)一個(gè)標(biāo)準(zhǔn)定義的：一組固有特性滿足明示的、通常隱含的或必須履行的需求或期望(要求)的​程度。這里面包含了兩層意思，一個(gè)是說質(zhì)量其實(shí)是一組特性，另一個(gè)是說質(zhì)量需要滿足需求或期望。所以如果從數(shù)據(jù)分析的角度來說數(shù)據(jù)質(zhì)量，就是看當(dāng)前數(shù)據(jù)的特性能否滿足我們做數(shù)據(jù)分析或挖掘這個(gè)需求。

質(zhì)量問題的來源

數(shù)據(jù)問題的來源可能產(chǎn)生于從數(shù)據(jù)源頭到數(shù)據(jù)存儲介質(zhì)的各個(gè)環(huán)節(jié)。在數(shù)據(jù)采集階段，數(shù)據(jù)的真實(shí)性、準(zhǔn)確性、完整性、時(shí)效性都會影響數(shù)據(jù)質(zhì)量。除此之外，數(shù)據(jù)的加工、存儲過程都有可能涉及對原始數(shù)據(jù)的修改，從而引發(fā)數(shù)據(jù)的質(zhì)量問題。所以，技術(shù)、流程、管理等多方面的因素都有可能會影響到數(shù)據(jù)質(zhì)量。

在企業(yè)中，隨著企業(yè)業(yè)務(wù)的增長，數(shù)據(jù)也是一個(gè)增量積累的過程。隨著數(shù)據(jù)類型、數(shù)據(jù)來源的不斷豐富以及數(shù)據(jù)數(shù)量的快速增長，企業(yè)在數(shù)據(jù)管理工作和數(shù)據(jù)流程中面臨越來越多的數(shù)據(jù)質(zhì)量問題。而且數(shù)據(jù)質(zhì)量的管理并沒有被企業(yè)重視起來，其根本原因還是ROI并沒有那么明顯。

數(shù)據(jù)質(zhì)量管理相對來說成本比較高。因?yàn)樗婕暗狡髽I(yè)數(shù)據(jù)標(biāo)準(zhǔn)的制定、規(guī)范的落地、生命周期的管理等多個(gè)環(huán)節(jié)。從收益上來說，數(shù)據(jù)質(zhì)量的效益和結(jié)果并不是十分明顯，大部分企業(yè)不會把數(shù)據(jù)質(zhì)量作為KPI。在企業(yè)的不同系統(tǒng)中，業(yè)務(wù)領(lǐng)域的關(guān)鍵指標(biāo)不一致，數(shù)據(jù)無法共享導(dǎo)致出現(xiàn)數(shù)據(jù)孤島，大量數(shù)據(jù)無法關(guān)聯(lián)，并且有明顯的數(shù)據(jù)冗余等問題，還有數(shù)據(jù)的維護(hù)需要投入大量的人員、時(shí)間、軟硬件成本。所以數(shù)據(jù)的質(zhì)量管理往往被會邊緣化甚至趨向于無。

[[236183]]

數(shù)據(jù)質(zhì)量評估

那么我們?nèi)绾螌σ环輸?shù)據(jù)進(jìn)行質(zhì)量評估呢?這是一個(gè)比較難以回答的問題。因?yàn)閿?shù)據(jù)質(zhì)量本身有這么幾個(gè)問題。首先是數(shù)據(jù)質(zhì)量定義不一致，人們對數(shù)據(jù)質(zhì)量的理解并沒有一個(gè)參考標(biāo)準(zhǔn)或者標(biāo)準(zhǔn)的定義，所以人們理解的數(shù)據(jù)質(zhì)量就會呈現(xiàn)出多樣性，而無論是數(shù)據(jù)評估體系還是數(shù)據(jù)質(zhì)量控制體系，都離不開關(guān)于數(shù)據(jù)質(zhì)量的清晰定義。其次，沒有權(quán)威性的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)模型或參考模型。再者，沒有系統(tǒng)化的數(shù)據(jù)質(zhì)量評估指標(biāo)，也沒有對數(shù)據(jù)質(zhì)量評估的指標(biāo)形成一個(gè)量化的標(biāo)準(zhǔn)。所以現(xiàn)在多數(shù)對于數(shù)據(jù)質(zhì)量的研究都是針對特定領(lǐng)域或特定問題的研究，并不具有普適性，很難推廣成為標(biāo)準(zhǔn)化的體系或模型。

那我們能不能像CMMI(能力成熟度模型， Capability Maturity Model Integration)和 AMM(敏捷成熟度模型，Agile Maturity Model)一樣對數(shù)據(jù)質(zhì)量建立一個(gè)模型，我們暫且稱之為DQAM(數(shù)據(jù)質(zhì)量評估模型，Data Quality Assessment Model)。

首先思考一下，在進(jìn)行數(shù)據(jù)質(zhì)量評估時(shí)我們會選取多個(gè)指標(biāo)，所以很自然會想到借用一下模糊綜合評價(jià)理論。搜集了一下資料，這里選取以下若干個(gè)指標(biāo)來作為我們的數(shù)據(jù)質(zhì)量評價(jià)指標(biāo)(當(dāng)然，可以根據(jù)實(shí)際需要選取其他指標(biāo)，指標(biāo)的數(shù)量也可多可少)：

• Completeness：完整性，用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用
• Conformity：規(guī)范性，用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲
• Consistency：一致性，用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的
• Accuracy：準(zhǔn)確性，用于度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的
• Uniqueness：唯一性，用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復(fù)的
• Integration：關(guān)聯(lián)性，用于度量哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引

那么評估模型應(yīng)該有這么幾個(gè)要素：

• Dataset：被評估的數(shù)據(jù)集，對于關(guān)系型數(shù)據(jù)庫來說就是一張表
• Indicators：評估指標(biāo)，就是上面列出來的6個(gè)指標(biāo)
• Rule：評估規(guī)則，與上面的評估指標(biāo)對應(yīng)，后續(xù)會根據(jù)規(guī)則的描述來編寫腳本。
• Weight：權(quán)重，此處的權(quán)重是每一條評估規(guī)則在全部規(guī)則的所占比重
• Expectation：期望，根據(jù)每個(gè)評估規(guī)則給出一個(gè)評估前的期望值(0-100)
• Score：結(jié)果，每個(gè)評估規(guī)則應(yīng)用到數(shù)據(jù)集后計(jì)算出來的結(jié)果值(0-100)

[[236184]]

那么構(gòu)造整個(gè)模型的過程基本就可以確定下來，首先根據(jù)需要選取數(shù)據(jù)集當(dāng)中要進(jìn)行評估的數(shù)據(jù)視圖，再選取所需要的評估指標(biāo)。下一步需要制定規(guī)則集，根據(jù)所選的評估指標(biāo)來制定相應(yīng)的數(shù)據(jù)質(zhì)量評估規(guī)則，并確定它們相應(yīng)的權(quán)值和期望值。***一步就是根據(jù)規(guī)則集來計(jì)算結(jié)果得分。

對于數(shù)據(jù)集的N個(gè)規(guī)則計(jì)算出來的得分，***計(jì)算其加權(quán)平均值，得到質(zhì)量評估的絕對量化值。用該量化值和期望進(jìn)行差值比較，可以得出該數(shù)據(jù)集是比預(yù)期的好，還是不如預(yù)期。

以上是一個(gè)簡單的評估模型，目前并沒有在實(shí)際的場景中應(yīng)用，當(dāng)然這個(gè)模型的精度并不會很高，也沒有處理誤差。僅僅提供一個(gè)思路，或許質(zhì)量的評估可以朝著這個(gè)方向來進(jìn)行。

數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)工作流質(zhì)量管理

下面來談?wù)剶?shù)據(jù)質(zhì)量管理。質(zhì)量管理前面提到了，涉及到數(shù)據(jù)工作流的各個(gè)環(huán)節(jié)。數(shù)據(jù)的工作流可以分為以下幾部分：數(shù)據(jù)產(chǎn)生、加工處理、存儲、挖掘和應(yīng)用。質(zhì)量管理的前提是在每一個(gè)環(huán)節(jié)建立質(zhì)量標(biāo)準(zhǔn)。數(shù)據(jù)的來源包括：業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)、外部系統(tǒng)的數(shù)據(jù)、手動錄入的數(shù)據(jù)等，從這些源頭采集數(shù)據(jù)，然后經(jīng)過數(shù)據(jù)通道進(jìn)行加工處理(ETL，Extract-Transform-Load)，數(shù)據(jù)進(jìn)入到數(shù)據(jù)倉庫或數(shù)據(jù)集市當(dāng)中。然后業(yè)務(wù)人員、數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師等，會在數(shù)據(jù)平臺對數(shù)據(jù)進(jìn)行探索和挖掘，這個(gè)過程可能發(fā)生在數(shù)據(jù)倉庫，也可能是在數(shù)據(jù)沙箱中進(jìn)行，***對數(shù)據(jù)探索分析挖掘的產(chǎn)出結(jié)果，會以數(shù)據(jù)應(yīng)用的方式發(fā)布出來，具體的形式包括：數(shù)據(jù)報(bào)表、數(shù)據(jù)門戶、OLAP、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)、智能模型等等。

數(shù)據(jù)質(zhì)量監(jiān)督

除了制定質(zhì)量標(biāo)準(zhǔn)外，還需要對系統(tǒng)中的數(shù)據(jù)本身和數(shù)據(jù)工作流進(jìn)行監(jiān)督管理。

對數(shù)據(jù)系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控，監(jiān)測數(shù)據(jù)工作環(huán)境的服務(wù)器軟硬件運(yùn)行狀態(tài)、性能、磁盤空間、數(shù)據(jù)庫事務(wù)、鎖、緩沖、會話量、備份等等一系列指標(biāo)，實(shí)施預(yù)警機(jī)制，并監(jiān)測一些異常情況的發(fā)生。

對數(shù)據(jù)進(jìn)行定期校驗(yàn)，除了對數(shù)據(jù)系統(tǒng)進(jìn)行實(shí)施監(jiān)控外，還需要對數(shù)據(jù)進(jìn)行校驗(yàn)：日常校驗(yàn)、數(shù)據(jù)抽檢、全面校驗(yàn)等。

審核制度也是保證質(zhì)量的一個(gè)重要措施，特別是對于敏感數(shù)據(jù)和敏感操作。建立數(shù)據(jù)變更時(shí)候的分級審核制度，尤其是一些影響較大或者權(quán)限較高的操作。建立審批制度，對于數(shù)據(jù)的讀取，如果涉及到敏感數(shù)據(jù)，必要時(shí)，也需要數(shù)據(jù)審批或者是數(shù)據(jù)脫敏。

數(shù)據(jù)生命周期管理

數(shù)據(jù)的生命周期從數(shù)據(jù)規(guī)劃開始，中間是一個(gè)包括產(chǎn)生、處理、部署、應(yīng)用、監(jiān)控、存檔、銷毀這幾個(gè)步驟并不斷循環(huán)的過程。隨著業(yè)務(wù)的發(fā)展，系統(tǒng)的業(yè)務(wù)數(shù)據(jù)類型和業(yè)務(wù)規(guī)范不斷變化，一個(gè)完備的數(shù)據(jù)生命周期管理方案還應(yīng)當(dāng)包括對系統(tǒng)的優(yōu)化調(diào)整，根據(jù)業(yè)務(wù)系統(tǒng)實(shí)際運(yùn)行情況、新的業(yè)務(wù)類型和規(guī)范、技術(shù)改進(jìn)等調(diào)整原有的數(shù)據(jù)存儲遷移策略和訪問方式，以滿足業(yè)務(wù)系統(tǒng)發(fā)展及新的業(yè)務(wù)規(guī)范需求。數(shù)據(jù)生命周期管理的目的是對不同階段的數(shù)據(jù)采取不同的管理策略用來降低數(shù)據(jù)管理運(yùn)營成本，并提高數(shù)據(jù)質(zhì)量度，實(shí)現(xiàn)數(shù)據(jù)價(jià)值***化的***目的。

總結(jié)

數(shù)據(jù)質(zhì)量在任何系統(tǒng)當(dāng)中都是十分重要卻容易被忽視的一部分。構(gòu)建完整的數(shù)據(jù)質(zhì)量管理體系，既是支持企業(yè)系統(tǒng)穩(wěn)定運(yùn)行的基本保障，同時(shí)也是企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型、創(chuàng)新的必備條件。