數(shù)據通常被描述為新油，但與種植精致水果相比，確保數(shù)據質量更好。就像一棵果樹一樣，數(shù)據質量需要從源頭上得到滋養(yǎng)。這就是為什么無法在數(shù)據倉庫中解決數(shù)據質量問題的原因。

數(shù)據科學家大部分時間都在清理在這個關鍵階段被忽視的數(shù)據集，不僅浪費了寶貴的時間，而且還產生了另一個問題。

當稍后清理數(shù)據時，會做出許多可能扭曲結果的假設。然而，數(shù)據科學家別無選擇，只能做出這些假設。這就是為什么數(shù)據治理對提高數(shù)據質量非常重要。

談到質量，數(shù)據不像油，而是像更水果，質量需要在源頭和運輸過程中得到培養(yǎng)。數(shù)據質量無法在數(shù)據倉庫中修復。

獨立用戶的問題在于傾向于將精力集中在受影響最大的領域。例如，項目經理可能更關心 IT 資產管理流程中的低效率，而 CFO 可能會向董事會或股東提交報告，并發(fā)現(xiàn)缺少重要數(shù)據。

為什么數(shù)據質量會受到影響？

可以使用幾個相互關聯(lián)的參數(shù)來確定數(shù)據的質量。這些參數(shù)包括數(shù)據的一致性、及時性或相關性、準確性和完整性。

質量差的數(shù)據有兩個關鍵原因。第一個與源系統(tǒng)有關，第二個發(fā)生在分析階段。

源系統(tǒng)

當組織在沒有適當控制或標準化流程的情況下收集數(shù)據時，可能會出現(xiàn)問題。這些問題發(fā)生在四個核心領域：

(1) 采集期間：數(shù)據采集是質量控制過程的重要組成部分。這個初始步驟可以為質量差的數(shù)據集設置路線。

例如，如果在此階段錯誤地輸入了電話號碼，那么在數(shù)據旅程的后期，此信息可能會與其他系統(tǒng)中的記錄發(fā)生沖突，從而很難確認客戶的身份。

(2) 轉換期間：隨著數(shù)據從用戶傳遞到用戶和系統(tǒng)傳遞到系統(tǒng)，被轉換。例如，當一個流程沒有正確記錄時，就不可能有效地跟蹤這些數(shù)據的沿襲，結果，數(shù)據的質量就會受到影響。

想象一個場景，會計記錄從財務部門的一名工作人員傳遞給另一名工作人員。如果第一位員工在轉移記錄之前未能更新記錄，他們可能會無意中讓客戶跳過到期付款。

(3) 由于時效性：:即使數(shù)據捕獲階段產生了高質量的數(shù)據，隨著時間的推移，它也可能會減少。例如，有人可能會在捕獲數(shù)據時提供正確的地址或職位，但如果同一個人改變了他們的工作或地址，則必須更新這些字段。

(4) 由于不一致的流程和標準：當您使用不同標準從不同系統(tǒng)捕獲數(shù)據時會發(fā)生這種情況。例如，當您在一個系統(tǒng)中捕獲計量單位時，您可能會使用 EA 或 LB 之類的代碼。在另一個系統(tǒng)中，可能會使用不同的標準，例如 EACH 或 POUND。

以國家代碼的類比來更詳細地解釋其中一些問題。許多系統(tǒng)要求用戶輸入國家代碼以完成注冊文件、進行預訂等。在某些情況下，用戶需要手動輸入這些代碼，而不是從預先建立的列表中選擇一個選項。

問題是，不能保證每個用戶都會輸入相同的信息。事實上，這幾乎是不可能的。當要求人們獨立鍵入此信息時，會無意中為同一個國家/地區(qū)創(chuàng)建許多代碼，并且系統(tǒng)將充滿相互沖突的數(shù)據點。

分析階段

由于多種原因，數(shù)據質量可能會在分析階段受到影響。例如，字段可能被錯誤地映射，或者用戶可能根據數(shù)據做出錯誤的假設。

這種缺乏連貫性和標準的缺失也會影響數(shù)字化轉型。當公司合并時——糟糕的數(shù)據質量使這些合并變得困難。如果沒有定義標準或常見問題，數(shù)據質量就會成為一個大問題。

當數(shù)據質量不完美時，它就會變得不可信，從而難以說服員工將其用于數(shù)據驅動的計劃。

為什么需要獨立的數(shù)據質量經理？

正如文章開頭提到的，數(shù)據質量是數(shù)據治理計劃的核心成果。因此，數(shù)據治理團隊、小組和部門的一個關鍵問題是提高數(shù)據的整體質量。但是有一個問題：協(xié)調。

如果與來自不同部門的不同人談論數(shù)據質量，總會得到不同的回應。例如，如果詢問 ETL 開發(fā)人員他們如何衡量數(shù)據質量，他們可能會依賴一組特定的參數(shù)或規(guī)則來確保他們輸入的數(shù)據符合要求。

如果源頭質量不好，他們就不太可能舉報，甚至不會將其視為他們的擔憂。或者，如果與處理 CRM 系統(tǒng)的人交談，他們將關注數(shù)據的一致性，因為他們無法匹配系統(tǒng)中的沖突術語。簡而言之，每個人都從不同的角度看待數(shù)據質量。

由于大多數(shù)數(shù)據質量問題是由于跨多個應用程序的集成和數(shù)據轉換問題而發(fā)生的，因此擁有一個獨立的數(shù)據質量經理或數(shù)據治理經理來負責提高整個組織的數(shù)據質量非常重要。

因為有很多相互矛盾的意見，需要一個獨立的機構來調解和實施全公司范圍內的數(shù)據質量改進工作，沒有偏見，并且基于重要性等級。該主體可以是數(shù)據治理經理或組。

為了有效地解決數(shù)據質量問題，需要確定優(yōu)先級。應根據業(yè)務影響、流行程度和數(shù)據質量問題的復雜性等參數(shù)對這些問題進行優(yōu)先級排序。

數(shù)據質量改進生命周期

每個人的個人數(shù)據質量問題對該個人都非常重要。但是，為了避免迷失在問題的海洋中，需要確定優(yōu)先級。應根據業(yè)務影響、普遍性和數(shù)據質量問題的復雜性等參數(shù)對數(shù)據質量問題進行優(yōu)先級排序。這能夠有效地解決這些問題。

以下是用于提高數(shù)據質量的久經考驗的策略：數(shù)據質量改進生命周期。

1. 定義

第一步是定義數(shù)據質量標準。這些標準將成為努力實現(xiàn)的基準。此步驟能夠設定目標并建立關于如何提高數(shù)據質量最終發(fā)展業(yè)務的愿景。

例如，每次捕獲社會安全號碼時，都應該捕獲九位數(shù)字?；蛘?，每次收集電子郵件地址時，請確保輸入兩次作為輔助確認步驟。

2. 收集

接下來，需要使用框架記錄組織中的所有數(shù)據質量問題，以定位數(shù)據質量問題。有兩種方法可以成功地做到這一點。首先是在公司內部創(chuàng)建一個數(shù)據素養(yǎng)計劃。

一旦組織內建立了廣泛的素養(yǎng)，就可以建立一個報告機制，用戶可以去那里交流他們的數(shù)據質量問題。此步驟的唯一目標是從所有來源收集數(shù)據質量問題，以便數(shù)據治理組將列出必須解決的問題。

捕獲數(shù)據質量問題時，必須記錄以下信息：

• 商業(yè)價值
• 問題所在
• 問題是什么
• 優(yōu)先級(從客戶的角度)

一旦在組織內建立了廣泛的數(shù)據素養(yǎng)，就可以建立一個報告機制，用戶可以去那里交流他們的數(shù)據質量問題。

3. 優(yōu)先

下一部分是開發(fā)一種機制，幫助我們了解這些數(shù)據質量問題對業(yè)務的影響。這是數(shù)據治理經理需要做的最重要的任務。他們在評估中必須考慮以下幾點：

• 商業(yè)價值
• 主要原因分析
• 解決問題的大致努力
• 更換管理層

此過程使治理團隊能夠有效地確定問題的優(yōu)先級。這種優(yōu)先排序過程通常會造成瓶頸，因為很難做出一致的決定。

以國家代碼為例，不同的系統(tǒng)可能有不同的選擇，要做出決定，需要有一個框架，而這個框架的核心是一個數(shù)據治理委員會。該委員會應由組織中所有不同業(yè)務部門的領導組成。

當數(shù)據治理經理提出問題時，需要將其提交給委員會進行評估。他們將根據包括成本/收益比和業(yè)務影響在內的許多因素來權衡問題。

當做出關鍵的數(shù)據質量決策時，需要對業(yè)務流程進行某種更改。實質上會導致額外的工作和支出，因此需要在跨部門、公正、委員會層面做出決定。

4. 分析

一旦確定了問題并確定了優(yōu)先級，負責批準和解決問題的人員需要進行進一步的根本原因分析。這個過程涉及提出問題，例如每個問題的根源來自哪里。問題的真正原因是什么？

使用國家代碼示例，需要確定這個無效字段是如何導致數(shù)據質量問題的。問題的根源是用戶手動輸入代碼，還是因為公司購買數(shù)據而無法控制？

5. 改進

解決數(shù)據質量問題有四種關鍵方法：

• 可以通過直接使用源代碼并在那里進行相關更改來手動修復問題。
• 可以在 ETL 管道中進行更改。為此，需要開發(fā)代碼來決定如何通過已安裝的集成處理數(shù)據，也稱為 ETL 邏輯。
• 另一種選擇是對特定流程進行更改。例如，在國家代碼字段中選擇數(shù)據的過程會發(fā)生變化。可以添加一個下拉菜單，而不是要求用戶手動輸入國家/地區(qū)代碼，這樣就別無選擇，只能選擇的國家/地區(qū)選擇正確的代碼。
• 第四種方法稱為主數(shù)據和參考數(shù)據管理。當缺少主數(shù)據時，明確定義的數(shù)據質量問題會很明顯。例如，可能需要手動輸入客戶名稱字段，因為沒有正確的主數(shù)據，所以沒有其他方法。

一種常見的主數(shù)據管理解決方案是創(chuàng)建一個存儲所有主數(shù)據的地方，其他系統(tǒng)可以使用密鑰來引用這些數(shù)據。主數(shù)據管理需要大量資金并且可能相當復雜，但它非常有效。

參考數(shù)據通常是主數(shù)據可以參考的列表。與主數(shù)據不同，往往是相對靜態(tài)的。采取措施管理參考數(shù)據，例如訪問控制和關系映射，也將有助于提高數(shù)據質量。

6. 控制

該過程的最后一步是編寫一組數(shù)據質量規(guī)則。這將確保如果再次出現(xiàn)此問題，則會創(chuàng)建通知或票證來解決問題。

通過這樣的通知，可以更輕松地快速處理問題，而不必咨詢多個人并進行復雜的分析。