近年來(lái)，隨著新技術(shù)模型出現(xiàn)、各行業(yè)應(yīng)用場(chǎng)景價(jià)值打磨與海量數(shù)據(jù)積累下的產(chǎn)品效果提升，人工智能應(yīng)用已從消費(fèi)、互聯(lián)網(wǎng)等泛C端領(lǐng)域，向制造、能源、電力等傳統(tǒng)行業(yè)輻射。各行業(yè)企業(yè)在設(shè)計(jì)、采購(gòu)、生產(chǎn)、管理、營(yíng)銷等經(jīng)濟(jì)生產(chǎn)活動(dòng)主要環(huán)節(jié)的人工智能技術(shù)與應(yīng)用成熟度在不斷提升，加速人工智能在各環(huán)節(jié)的落地覆蓋，逐漸將其與主營(yíng)業(yè)務(wù)相結(jié)合，以實(shí)現(xiàn)產(chǎn)業(yè)地位提高或經(jīng)營(yíng)效益優(yōu)化，進(jìn)一步擴(kuò)大自身優(yōu)勢(shì)。

AI技術(shù)創(chuàng)新應(yīng)用的大規(guī)模落地，帶動(dòng)了大數(shù)據(jù)智能市場(chǎng)的蓬勃發(fā)展，同樣也為底層的數(shù)據(jù)治理服務(wù)注入了市場(chǎng)活力。

伴隨著大數(shù)據(jù)、云計(jì)算以及算法的發(fā)展，人工智能的熱潮從幾年前一直延續(xù)至今，并且廣泛應(yīng)用于多個(gè)行業(yè)和領(lǐng)域，成為當(dāng)前正在進(jìn)行的科技革命的一個(gè)領(lǐng)軍技術(shù)。而人工智能在如火如荼的數(shù)據(jù)治理領(lǐng)域又怎么能缺席呢？數(shù)據(jù)治理和人工智能，看似不相關(guān)的兩個(gè)詞，他們兩者放一起，會(huì)發(fā)生什么故事呢？

一、數(shù)據(jù)治理為人工智能奠定基礎(chǔ)

大數(shù)據(jù)是不斷持續(xù)的數(shù)據(jù)采集、清洗、轉(zhuǎn)換、分類等的數(shù)據(jù)積累，而數(shù)據(jù)治理則為大數(shù)據(jù)的呈現(xiàn)提供了更為規(guī)范的管理模式。由于目前大部分人工智能的形式需要通過(guò)大量的數(shù)據(jù)運(yùn)算實(shí)現(xiàn)，因此離不開(kāi)大數(shù)據(jù)和數(shù)據(jù)治理的支持。人工智能需要依賴大數(shù)據(jù)平臺(tái)和技術(shù)來(lái)幫助完成深度學(xué)習(xí)進(jìn)化。

1.數(shù)據(jù)治理為人工智能提供優(yōu)質(zhì)數(shù)據(jù)

大部分的人工智能分為訓(xùn)練（Training）和預(yù)測(cè)（Predict）兩個(gè)環(huán)節(jié)。機(jī)器訓(xùn)練算法的效果依賴于所輸入的數(shù)據(jù)質(zhì)量的優(yōu)劣，如果輸入的數(shù)據(jù)存在偏差，那么輸出的算法也將產(chǎn)生偏差，這可能直接導(dǎo)致所得結(jié)果的不可用。數(shù)據(jù)治理在提升數(shù)據(jù)質(zhì)量方面具有重要作用。通過(guò)梳理數(shù)據(jù)質(zhì)量需求、定義數(shù)據(jù)質(zhì)量檢查規(guī)則、制定數(shù)據(jù)質(zhì)量改善方案、設(shè)計(jì)并實(shí)施數(shù)據(jù)質(zhì)量管理工具、監(jiān)控?cái)?shù)據(jù)質(zhì)量管理操作程序和績(jī)效等數(shù)據(jù)質(zhì)量管理環(huán)節(jié)，企業(yè)可以獲得干凈的、結(jié)構(gòu)清晰的數(shù)據(jù)，為深度學(xué)習(xí)等人工智能技術(shù)提供可信的數(shù)據(jù)輸入。

2.數(shù)據(jù)治理為人工智能保障數(shù)據(jù)隱私

當(dāng)前人工智能發(fā)展中面臨的很大制約就是數(shù)據(jù)權(quán)屬和隱私保護(hù)問(wèn)題。個(gè)人隱私數(shù)據(jù)應(yīng)該受到保護(hù)，這些數(shù)據(jù)的濫用可能對(duì)個(gè)人造成巨大的財(cái)產(chǎn)損失甚至人身傷害。所謂隱私保護(hù)，其實(shí)就是對(duì)隱私數(shù)據(jù)的保護(hù)，歸根結(jié)底是對(duì)數(shù)據(jù)用戶的隱私保護(hù)。數(shù)據(jù)治理工具從技術(shù)層面設(shè)計(jì)了保護(hù)隱私數(shù)據(jù)的諸多環(huán)節(jié)，提供數(shù)據(jù)模糊化、數(shù)據(jù)脫敏、數(shù)據(jù)加密，可為企業(yè)個(gè)人數(shù)據(jù)保護(hù)奠定基礎(chǔ)，從而實(shí)現(xiàn)人工智能應(yīng)用的數(shù)據(jù)合規(guī)性。

二、人工智能提升數(shù)據(jù)治理智能化水平

1.元數(shù)據(jù)管理

在傳統(tǒng)的元數(shù)據(jù)管理中，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)采集通常是通過(guò)創(chuàng)建非結(jié)構(gòu)化數(shù)據(jù)的搜索索引的方式。而語(yǔ)音識(shí)別、圖像識(shí)別、文本分析等人工智能技術(shù)能幫助實(shí)現(xiàn)元數(shù)據(jù)的最初業(yè)務(wù)詞庫(kù)的構(gòu)建，成為提取各類有價(jià)值的非結(jié)構(gòu)化元數(shù)據(jù)的資源池。

2.數(shù)據(jù)標(biāo)準(zhǔn)管理

在數(shù)據(jù)標(biāo)準(zhǔn)的實(shí)施初期，需要對(duì)存量系統(tǒng)的數(shù)據(jù)庫(kù)字段進(jìn)行摸底，識(shí)別出共有的、重復(fù)使用的業(yè)務(wù)字段，作為建立數(shù)據(jù)標(biāo)準(zhǔn)的依據(jù)。如果完全靠人工梳理，需要協(xié)調(diào)各業(yè)務(wù)部門大量人員參與，工作量巨大且容易出錯(cuò)。借助機(jī)器學(xué)習(xí)、自然語(yǔ)言處理技術(shù)，可以根據(jù)字段業(yè)務(wù)名快速的整理出高頻詞根，將可能需要幾個(gè)月的工作在幾天內(nèi)完成。

數(shù)據(jù)標(biāo)準(zhǔn)管理的另一個(gè)重要環(huán)節(jié)是標(biāo)準(zhǔn)與元數(shù)據(jù)的映射。在業(yè)務(wù)系統(tǒng)眾多，數(shù)據(jù)標(biāo)準(zhǔn)與業(yè)務(wù)系統(tǒng)的元數(shù)據(jù)進(jìn)行映射往往是實(shí)施工程師的惡夢(mèng)，一不小心就容易出錯(cuò)。有了人工智能技術(shù)，可以對(duì)業(yè)務(wù)字段名進(jìn)行自然語(yǔ)言處理，精確分詞，根據(jù)詞根相似性將數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)自動(dòng)映射起來(lái)。

3.數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量是保證數(shù)據(jù)高效應(yīng)用的基礎(chǔ)。衡量數(shù)據(jù)質(zhì)量的指標(biāo)體系包括完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性、時(shí)效性。在實(shí)施數(shù)據(jù)質(zhì)量提升方案之前，需要依據(jù)不同的業(yè)務(wù)規(guī)則和業(yè)務(wù)期望選擇合適的數(shù)據(jù)質(zhì)量指標(biāo)體系，并進(jìn)行數(shù)據(jù)的清洗。

一般數(shù)據(jù)質(zhì)量改善的理想模式是從數(shù)據(jù)源頭剔除臟數(shù)據(jù)，但是在現(xiàn)實(shí)中并不可行。因此，根據(jù)業(yè)務(wù)期望，應(yīng)針對(duì)性地提升各個(gè)業(yè)務(wù)階段的數(shù)據(jù)質(zhì)量。機(jī)器學(xué)習(xí)（如分類學(xué)習(xí)、聚類、回歸等）可提取并識(shí)別存在的質(zhì)量問(wèn)題，從而制定有效的數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)，最大化實(shí)現(xiàn)該指標(biāo)下的數(shù)據(jù)質(zhì)量的提升。同時(shí)，監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)也將實(shí)現(xiàn)對(duì)數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量的效果評(píng)估，進(jìn)而改善轉(zhuǎn)換規(guī)則和數(shù)據(jù)質(zhì)量評(píng)估維度，并隨著數(shù)據(jù)量和業(yè)務(wù)期望的逐漸變化，使數(shù)據(jù)質(zhì)量提升方案動(dòng)態(tài)更新。

4.數(shù)據(jù)安全

數(shù)據(jù)安全是指讓信息或信息系統(tǒng)免受未經(jīng)授權(quán)的訪問(wèn)、使用、破壞、修改、銷毀的過(guò)程或狀態(tài)。人工智能技術(shù)可以進(jìn)行敏感數(shù)據(jù)的分類分級(jí)。應(yīng)用機(jī)器學(xué)習(xí)、自然語(yǔ)言處理和文本聚類分類技術(shù)，能對(duì)數(shù)據(jù)進(jìn)行基于內(nèi)容的實(shí)時(shí)精準(zhǔn)分類分級(jí)，而數(shù)據(jù)的分類分級(jí)是數(shù)據(jù)安全治理的核心環(huán)節(jié)。例如，利用數(shù)據(jù)分類引擎在郵件內(nèi)容過(guò)濾、保密文件管理、情報(bào)分析、反欺詐、數(shù)據(jù)防泄露等領(lǐng)域明顯提升了安全性。

5.主數(shù)據(jù)管理

主數(shù)據(jù)指企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，也叫黃金數(shù)據(jù)，是在整個(gè)價(jià)值鏈上被重復(fù)、共享應(yīng)用于多個(gè)業(yè)務(wù)流程的、各個(gè)業(yè)務(wù)部門與各個(gè)系統(tǒng)之間共享的基礎(chǔ)數(shù)據(jù)，是各業(yè)務(wù)應(yīng)用和各系統(tǒng)之間進(jìn)行信息交互的基礎(chǔ)。但是在主數(shù)據(jù)管理的過(guò)程中，企業(yè)可能面臨如何在數(shù)量龐大的數(shù)據(jù)項(xiàng)中識(shí)別主數(shù)據(jù)、如何建立統(tǒng)一的主數(shù)據(jù)標(biāo)準(zhǔn)等問(wèn)題。

確定主數(shù)據(jù)依賴于企業(yè)對(duì)于業(yè)務(wù)需求的理解和相應(yīng)“黃金數(shù)據(jù)”的定義。通常來(lái)說(shuō)，每個(gè)主數(shù)據(jù)主題域都有自己專用的記錄系統(tǒng)，并且分散在各個(gè)業(yè)務(wù)系統(tǒng)中。人工智能相關(guān)技術(shù)可以幫助我們?cè)谒袛?shù)據(jù)中篩選出頻繁出現(xiàn)或流動(dòng)的數(shù)據(jù)，同時(shí)快速確定主數(shù)據(jù)的可靠與可信數(shù)據(jù)來(lái)源，構(gòu)建完整的主數(shù)據(jù)視圖。

6.人工智能幫助重復(fù)數(shù)據(jù)自動(dòng)匹配和合并據(jù)

數(shù)劇管理面臨的一個(gè)挑戰(zhàn)是在企業(yè)眾多的系統(tǒng)中對(duì)于同一數(shù)據(jù)項(xiàng)或者重復(fù)的數(shù)據(jù)項(xiàng)進(jìn)行匹配和合并，解決該挑戰(zhàn)的一個(gè)方法是構(gòu)建數(shù)據(jù)匹配規(guī)則，包括不同置信水平的匹配接受度。有些匹配需要極高的信任度，可以基于跨多個(gè)字段的準(zhǔn)確數(shù)據(jù)匹配實(shí)現(xiàn)；有些匹配僅僅由于數(shù)據(jù)值的沖突，可以采用較低的信任度。機(jī)器學(xué)習(xí)、自然語(yǔ)言處理可幫助建立重復(fù)數(shù)據(jù)識(shí)別的匹配規(guī)則，在識(shí)別字段重復(fù)的主數(shù)據(jù)之后不進(jìn)行自動(dòng)合并，并確定與主數(shù)據(jù)相關(guān)的記錄，建立交叉引用關(guān)系。

三、數(shù)據(jù)治理平臺(tái)的智能化

通過(guò)人工智能技術(shù)降低數(shù)據(jù)治理的門檻將成為數(shù)據(jù)治理發(fā)展的重要方向。充分考慮到數(shù)據(jù)治理高復(fù)雜性的特點(diǎn)，數(shù)據(jù)治理平臺(tái)不斷融合AI新技術(shù)，力求通過(guò)智能化管理來(lái)簡(jiǎn)化數(shù)據(jù)治理實(shí)施過(guò)程，大大地解放技術(shù)人員，幫助企業(yè)實(shí)現(xiàn)更高效的數(shù)據(jù)治理，遠(yuǎn)離“數(shù)據(jù)黑洞”。

1、智能化元數(shù)據(jù)服務(wù)。睿治平臺(tái)支持全自動(dòng)元數(shù)據(jù)采集和關(guān)聯(lián)，實(shí)現(xiàn)元模型智能化應(yīng)用，提供圖形化元數(shù)據(jù)分析視圖。

2、智能化探查數(shù)據(jù)質(zhì)量。睿治平臺(tái)內(nèi)置數(shù)理統(tǒng)計(jì)算法、綁定機(jī)器學(xué)習(xí)算法，實(shí)現(xiàn)自動(dòng)探查數(shù)據(jù)質(zhì)量，同時(shí)支持智能修復(fù)。

3、智能化構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)。睿治平臺(tái)支持智能化映射及落標(biāo)，形成的數(shù)據(jù)標(biāo)準(zhǔn)和業(yè)務(wù)數(shù)據(jù)雙向評(píng)估。

4、智能化識(shí)別主數(shù)據(jù)。睿治平臺(tái)自動(dòng)識(shí)別主數(shù)據(jù)，幫助重復(fù)數(shù)據(jù)自動(dòng)匹配和合并，構(gòu)建完整的主數(shù)據(jù)視圖。

隨著數(shù)據(jù)治理和人工智能兩個(gè)領(lǐng)域的快速發(fā)展，二者的融合將會(huì)有更多場(chǎng)景和商業(yè)模式。

四、數(shù)據(jù)治理+AI的行業(yè)融合

AI技術(shù)創(chuàng)新應(yīng)用大規(guī)模落地，帶動(dòng)大數(shù)據(jù)智能市場(chǎng)蓬勃發(fā)展

企業(yè)在部署AI應(yīng)用時(shí)，數(shù)據(jù)資源的優(yōu)劣極大程度決定了AI應(yīng)用的落地效果。因此，為推進(jìn)AI應(yīng)用的高質(zhì)量落地，開(kāi)展針對(duì)性的數(shù)據(jù)治理工作為首要且必要的環(huán)節(jié)。而對(duì)于企業(yè)本身已搭建的傳統(tǒng)數(shù)據(jù)治理體系，目前多停留在對(duì)于結(jié)構(gòu)性數(shù)據(jù)的治理優(yōu)化，在數(shù)據(jù)質(zhì)量、數(shù)據(jù)字段豐富度、數(shù)據(jù)分布和數(shù)據(jù)實(shí)時(shí)性等維度尚難滿足AI應(yīng)用對(duì)數(shù)據(jù)的高質(zhì)量要求。為保證AI應(yīng)用的高質(zhì)落地，企業(yè)仍需進(jìn)行面向人工智能應(yīng)用的二次數(shù)據(jù)治理工作。

面向人工智能的數(shù)據(jù)治理是傳統(tǒng)數(shù)據(jù)治理體系在以AI應(yīng)用落地為導(dǎo)向下的體系“升級(jí)”。

從數(shù)據(jù)管理維度來(lái)看，面向人工智能的數(shù)據(jù)治理體系仍會(huì)根據(jù)數(shù)據(jù)結(jié)構(gòu)化流向、數(shù)據(jù)資產(chǎn)管理需要、數(shù)據(jù)安全需求等角度順應(yīng)搭建元數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)管理、主數(shù)據(jù)管理、數(shù)據(jù)生命周期管理和數(shù)據(jù)安全隱私管理等組件模塊。而在數(shù)據(jù)治理過(guò)程中，則會(huì)更強(qiáng)調(diào)底層實(shí)現(xiàn)多源數(shù)據(jù)融合、數(shù)據(jù)采集頻率、數(shù)據(jù)標(biāo)準(zhǔn)建立、數(shù)據(jù)質(zhì)量管理，滿足AI模型所需數(shù)據(jù)的規(guī)模、質(zhì)量和時(shí)效，以AI應(yīng)用的數(shù)據(jù)需求為核心，優(yōu)化對(duì)應(yīng)模塊的體系建設(shè)。

AI應(yīng)用驅(qū)動(dòng)成為面向人工智能的數(shù)據(jù)治理服務(wù)的核心立足點(diǎn)

面向人工智能的數(shù)據(jù)治理服務(wù)常包含于數(shù)據(jù)服務(wù)、平臺(tái)能力和數(shù)據(jù)產(chǎn)品三類采購(gòu)形式中。第一類，數(shù)據(jù)服務(wù)即以單獨(dú)的數(shù)據(jù)治理產(chǎn)品形式出現(xiàn)；第二類，數(shù)據(jù)平臺(tái)，主要包括大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)和AI能力平臺(tái)等項(xiàng)目；第三類，數(shù)據(jù)產(chǎn)品，范圍限定在應(yīng)用AI算法的數(shù)據(jù)產(chǎn)品，可劃分為機(jī)器學(xué)習(xí)產(chǎn)品、自然語(yǔ)言理解產(chǎn)品和知識(shí)圖譜三類AI產(chǎn)品。

如今AI產(chǎn)品需求旺盛，AI開(kāi)發(fā)平臺(tái)陸續(xù)推進(jìn)AI產(chǎn)品的規(guī)?；涞兀褹I數(shù)據(jù)治理效果與最終平臺(tái)產(chǎn)品交付效果緊密相連。

總體來(lái)看，前沿技術(shù)手段應(yīng)用可以讓數(shù)據(jù)治理工作趨于流程化、自動(dòng)化與智能化，同時(shí)讓數(shù)據(jù)變得可擴(kuò)展、更負(fù)責(zé)可溯、更可信，已然成為未來(lái)數(shù)據(jù)管理發(fā)展的必由之路。

打造“治理+AI”體系的良性循環(huán)

相互關(guān)聯(lián)，互為依托，共同促進(jìn)人工智能應(yīng)用的內(nèi)外發(fā)展

面向人工智能的數(shù)據(jù)治理充分利用機(jī)器學(xué)習(xí)技術(shù)，將數(shù)據(jù)治理環(huán)節(jié)自動(dòng)化智能化，可極大提升數(shù)據(jù)治理工作效率，同時(shí)基于自然語(yǔ)言理解和知識(shí)圖譜挖掘關(guān)聯(lián)非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用價(jià)值，解決數(shù)據(jù)質(zhì)量管理的傳統(tǒng)難題，使治理后的數(shù)據(jù)更加契合AI應(yīng)用的要求，從效率和質(zhì)量雙側(cè)推進(jìn)AI模型的落地應(yīng)用。

與此同時(shí)，AI應(yīng)用落地效果的顯著優(yōu)化也會(huì)給企業(yè)帶來(lái)更多智能化轉(zhuǎn)型信心，讓其加大相關(guān)AI項(xiàng)目的預(yù)算投入，進(jìn)一步推進(jìn)相關(guān)治理體系建設(shè)，打造“治理+AI”的良性循環(huán)