數(shù)據(jù)管理的發(fā)展與數(shù)據(jù)生成的快速增長保持同步，從簡單的關(guān)系數(shù)據(jù)庫和 ETL 開始，大數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)為自動化數(shù)據(jù)管道和數(shù)據(jù)湖的發(fā)展鋪平了道路。  

當(dāng)前，數(shù)據(jù)因其復(fù)雜性、高度非結(jié)構(gòu)化性以及來源多樣性，正在超越傳統(tǒng)技術(shù)的管理能力。值得慶幸的是，人工智能可以幫助我們解決數(shù)據(jù)管理問題。

人工智能與數(shù)據(jù)管理的融合

2023年，生成式人工智能的發(fā)布，加速了人工智能的應(yīng)用。麥肯錫最近的民意調(diào)查數(shù)據(jù)中中，有三分之一的參與者表示，至少有一個業(yè)務(wù)正在使用生成式人工智能，更是有高達(dá)40% 的企業(yè)報告正在使用人工智能，并且他們的企業(yè)計劃增加人工智能支出。

更為重要的是，隨著人工智能出現(xiàn)在數(shù)據(jù)管理中，數(shù)據(jù)要求也在發(fā)生著變化，數(shù)據(jù)共享正在整個社會迅速普及。其中，有一部分公司希望分享他們的數(shù)據(jù)，并將其作為產(chǎn)品提供給客戶。此外，由于對數(shù)據(jù)結(jié)構(gòu)的需求不斷增長，市場正在尋找能夠增強(qiáng)和自動化數(shù)據(jù)集成的解決方案。

那么后臺會發(fā)生什么呢？人工智能是如何實現(xiàn)的？機(jī)器學(xué)習(xí)算法等人工智能 (AI) 技術(shù)可以加速分類、數(shù)據(jù)凈化、異常檢測等重復(fù)操作。此外，通過深度學(xué)習(xí)和自然語言處理，文本分析、情感分析、圖片分析等變得更加簡單。

人工智能如何影響數(shù)據(jù)管理？

為了展示人工智能如何影響數(shù)據(jù)管理，讓我們剖析一下在哪個階段能夠用上人工智能。

1）數(shù)據(jù)提取

數(shù)據(jù)提取是任何數(shù)據(jù)管理周期的第一階段。對于文本、PDF、圖片等非結(jié)構(gòu)化數(shù)據(jù)源，傳統(tǒng)工具的處理變得更加困難。

企業(yè)雖然可以使用基于模板的技術(shù)從遵循相同模式的文檔中自動提取數(shù)據(jù)，但是人工智能已經(jīng)取消了模板一致性的要求。

不過，自然語言處理正在使用人工智能驅(qū)動的數(shù)據(jù)提取系統(tǒng)來理解公司需要提取的領(lǐng)域。例如，公司只需指定域，應(yīng)用程序?qū)牟少徲唵位虬l(fā)票中提取客戶數(shù)據(jù)，而與采用的格式無關(guān)。

2）數(shù)據(jù)映射

數(shù)據(jù)被提取后，將從源映射到預(yù)期位置，這一操作曾經(jīng)是 IT 專家編寫代碼的手動過程。由于無代碼數(shù)據(jù)映射工具的快速發(fā)展，數(shù)據(jù)專家現(xiàn)在可以通過簡單的拖放來可視化并執(zhí)行數(shù)據(jù)映射。

如今，人工智能已經(jīng)改變了數(shù)據(jù)映射。

人工智能使得自動發(fā)現(xiàn)數(shù)據(jù)源、屬性和鏈接成為可能。機(jī)器學(xué)習(xí)算法通過分析最近的數(shù)據(jù)來尋找聯(lián)系和趨勢，從而節(jié)省時間和精力。此外，人工智能簡化了映射模式的過程，因為計算機(jī)采用語義分析和模式識別來尋找不同模式之間的共性。

3）數(shù)據(jù)質(zhì)量

盡管有很多企業(yè)正在成為生成大量數(shù)據(jù)的專家，但他們?nèi)匀淮嬖跀?shù)據(jù)質(zhì)量問題。  

IBM 估計，美國每年因數(shù)據(jù)質(zhì)量不足造成的損失高達(dá) 3.1 萬億美元，這表明盡管數(shù)據(jù)管理工具不斷進(jìn)步，但取得的進(jìn)展卻微乎其微。然而，人工智能可能會變得獨一無二。

人工智能系統(tǒng)可以快速識別并修復(fù)數(shù)據(jù)集中的錯誤、不一致和異常。人工智能系統(tǒng)管理缺失數(shù)據(jù)的能力是其獨特功能之一，在不犧牲精度的情況下，人工智能算法可以識別數(shù)據(jù)中的缺失值并用近似值替換它們。

4）數(shù)據(jù)分析

數(shù)據(jù)分析是任何數(shù)據(jù)管理流程的最后階段，也是人工智能可能產(chǎn)生最大影響的地方。 GPT 發(fā)布后，數(shù)據(jù)分析中的 NLP 集成變得更加普遍。使用 NLP 算法分析來自文檔、社交媒體和消費者評論的文本信息。使用聚類技術(shù)，人工智能還能夠組合相關(guān)數(shù)據(jù)。

在數(shù)據(jù)分析中，兩個基本方法是回歸分析和決策。即使數(shù)據(jù)集具有多個維度，人工智能驅(qū)動的機(jī)器學(xué)習(xí)算法也可以輕松生成復(fù)雜的決策。

在數(shù)據(jù)管理中采用人工智能的一些挑戰(zhàn)

任何新平臺要充分發(fā)揮其性能，就必須滿足理想的要求。在企業(yè)成功實現(xiàn)數(shù)據(jù)驅(qū)動之前，他們必須克服一些主要的采用和實施困難。

1）數(shù)據(jù)孤島

很多企業(yè)經(jīng)常與構(gòu)成其基礎(chǔ)設(shè)施的孤島作斗爭。它們通常沒有將數(shù)據(jù)集成，這就阻礙了良好合作。這些孤島中包含的數(shù)據(jù)變得難以訪問。因此，與公司投資更新的技術(shù)相比，能夠訪問數(shù)據(jù)的個人更少。

當(dāng)然，轉(zhuǎn)向云是改善基礎(chǔ)設(shè)施的關(guān)鍵一步。

2）人才緊缺

許多媒體表明數(shù)據(jù)科學(xué)領(lǐng)域持續(xù)缺乏熟練的人才。隨著數(shù)據(jù)工程流程變得更加自動化，對數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和人工智能方面的廣泛技能的需求不斷增長。為此，年輕一代的專業(yè)人士必須跟上數(shù)據(jù)科學(xué)所需的廣泛能力。  

3）改變心態(tài)

管理團(tuán)隊?wèi)?yīng)專注于重新調(diào)整心態(tài)，以接受新的數(shù)據(jù)、分析和自動化流程。必須讓員工放心，他們的工作不會受到威脅，因為人工智能系統(tǒng)可以讓技術(shù)工人解放出來，去執(zhí)行可能引發(fā)市場顛覆的困難任務(wù)。當(dāng)然，提升技能和特定知識是必要的。

當(dāng)然，觀點的轉(zhuǎn)變需要從最高管理層開始，并逐步發(fā)展到公司的每個人。  

最后的建議

綜上所述，人工智能對企業(yè)數(shù)據(jù)管理的影響，給企業(yè)帶來機(jī)遇和挑戰(zhàn)。人工智能 (AI) 可以提高數(shù)據(jù)質(zhì)量、自動化分析并加快數(shù)據(jù)處理速度，從而實現(xiàn)有效的數(shù)據(jù)驅(qū)動決策。

然而，將人工智能融入數(shù)據(jù)管理也需要大量的人員和技術(shù)投入，以及對當(dāng)前工作流程和業(yè)務(wù)流程的調(diào)整。

為了讓企業(yè)充分享受人工智能（AI）在企業(yè)數(shù)據(jù)管理中的好處，必須仔細(xì)考慮這些問題，并制定成功部署的全面計劃。

原文標(biāo)題：From Confusion to Clarity: How AI Simplifies Data Management for Enterprises

原文作者：Pritesh Patel