掌握和處理大量數(shù)據(jù)對(duì)于IT部門來說是一個(gè)挑戰(zhàn)。以下是人工智能(AI)和機(jī)器學(xué)習(xí)如何幫助人們分類、組織和匯總大量信息的方法。

根據(jù)三星公司的調(diào)查，2016年全球互聯(lián)網(wǎng)流量超過了1ZB，即10億兆字節(jié)。這個(gè)數(shù)字是巨大的，但這個(gè)數(shù)據(jù)量與全球各企業(yè)正在存儲(chǔ)的全部數(shù)據(jù)相比還相差甚遠(yuǎn)。

更重要的是，在大多數(shù)公司中，數(shù)據(jù)處在“管理之下”的這個(gè)用詞有些不當(dāng)。

[[197398]]

數(shù)據(jù)管理挑戰(zhàn)的關(guān)鍵領(lǐng)域是：

• 理解暗數(shù)據(jù)
• 數(shù)據(jù)保留
• 實(shí)現(xiàn)***分析結(jié)果的數(shù)據(jù)集成
• 數(shù)據(jù)訪問

IT部門在這些領(lǐng)域進(jìn)行艱苦努力的原因如下：

• 所有類型的輸入數(shù)據(jù)流(其中大部分是非結(jié)構(gòu)化的)太大，無法每天進(jìn)行管理，因此最終將數(shù)據(jù)放在任何地方。
• 電子發(fā)現(xiàn)和行業(yè)法規(guī)對(duì)歷史數(shù)據(jù)的法律和審計(jì)流程的要求使得業(yè)務(wù)決策者不愿放棄數(shù)據(jù)，最終用戶并不喜歡在年度審查會(huì)議上討論數(shù)據(jù)保留政策。
• 數(shù)據(jù)集成是IT部門面臨的最困難的任務(wù)之一，像數(shù)據(jù)聚合這樣的概念在分析中發(fā)揮更大的作用才會(huì)加強(qiáng)，因此看似不同的數(shù)據(jù)集合可以組合成可搜索的存儲(chǔ)庫，用于新型的業(yè)務(wù)查詢。
• 快速訪問數(shù)據(jù)是一種業(yè)務(wù)需求，但是高端存儲(chǔ)在現(xiàn)場或云端的價(jià)格昂貴，因此一些數(shù)據(jù)必須歸檔到速度更慢，成本更低的存儲(chǔ)空間中。為了解決這些問題，組織管理層將項(xiàng)目的人力物力主要放在了其他重要的目標(biāo)上。

現(xiàn)在的問題是：機(jī)器學(xué)習(xí)、人工智能(AI)和分析學(xué)是否能在數(shù)據(jù)管理方面提供幫助，特別是對(duì)于大量非結(jié)構(gòu)化數(shù)據(jù)?

以下是機(jī)器學(xué)習(xí)，人工智能和分析可以在以下幾個(gè)方面提供幫助：

(1) 暗數(shù)據(jù)排序

每個(gè)企業(yè)系統(tǒng)和每個(gè)業(yè)務(wù)部門都有一些積累的數(shù)據(jù)，但是人們對(duì)此一無所知。通過使用機(jī)器學(xué)習(xí)并結(jié)合其功能與算法，可以解決如何排序和處理存儲(chǔ)在服務(wù)器上的不同類型的電子郵件，文檔，圖像等文件，機(jī)器學(xué)習(xí)，人工智能(AI)和分析可以對(duì)這個(gè)未發(fā)布的數(shù)據(jù)進(jìn)行處理，而經(jīng)驗(yàn)豐富，知識(shí)淵博的工作人員可以查看和回顧自動(dòng)化推薦的數(shù)據(jù)分類方案，調(diào)整并執(zhí)行方案。該過程的一部分還可以解決數(shù)據(jù)保留問題，其分析將產(chǎn)生一組可能從文件中清除數(shù)據(jù)的建議。

(2) 決定丟棄哪些數(shù)據(jù)

機(jī)器學(xué)習(xí)，分析和人工智能(AI)可以客觀地識(shí)別那些很少使用或從未使用過的數(shù)據(jù)，并建議工作人員將其丟棄，但它并不具備與工作人員相同的識(shí)別能力。例如，這些進(jìn)程可以選擇未訪問五年以上的數(shù)據(jù)或記錄，表明數(shù)據(jù)可能已過時(shí)。這樣可以節(jié)省員工的時(shí)間來查找這個(gè)潛在的過時(shí)數(shù)據(jù)，因?yàn)楝F(xiàn)在他們需要做的只是確定是否有任何理由保留它。

(3) 匯總數(shù)據(jù)

當(dāng)分析開發(fā)人員確定需要聚合查詢的數(shù)據(jù)類型時(shí)，他們常常為應(yīng)用程序生成一個(gè)存儲(chǔ)庫，然后從不同的源中提取各種類型的數(shù)據(jù)，以形成一個(gè)分析數(shù)據(jù)池。要做到這一點(diǎn)，他們必須開發(fā)集成方法來訪問不同的數(shù)據(jù)源。機(jī)器學(xué)習(xí)可以通過自動(dòng)開發(fā)數(shù)據(jù)源和應(yīng)用程序的數(shù)據(jù)存儲(chǔ)庫之間的“映射”，使這種人工過程更加高效。這減少了集成和聚合時(shí)間。

(4) 組織數(shù)據(jù)存儲(chǔ)以獲得***訪問

在過去的五年中，由于低成本固態(tài)存儲(chǔ)的發(fā)展，數(shù)據(jù)存儲(chǔ)供應(yīng)商已經(jīng)在自動(dòng)化存儲(chǔ)管理方面取得了重大進(jìn)展。這些技術(shù)進(jìn)步使IT部門能夠使用“智能”存儲(chǔ)引擎，使用機(jī)器學(xué)習(xí)來查看最常使用哪些類型的數(shù)據(jù)，哪些數(shù)據(jù)很少使用或從不使用。根據(jù)插入到機(jī)器算法中的業(yè)務(wù)規(guī)則，自動(dòng)化能夠以快速存儲(chǔ)或慢速存儲(chǔ)來自動(dòng)存儲(chǔ)數(shù)據(jù)。自動(dòng)化可以讓存儲(chǔ)管理員不必人工解決存儲(chǔ)優(yōu)化問題。

數(shù)據(jù)管理是一個(gè)主要的IT挑戰(zhàn)，在大多數(shù)組織中并沒有很好的解決方案，這是因?yàn)殡S著數(shù)據(jù)的不斷流入，數(shù)據(jù)管理將會(huì)變得更糟。

***信息官，數(shù)據(jù)架構(gòu)師，以及存儲(chǔ)管理者需要向企業(yè)高管強(qiáng)調(diào)這個(gè)問題，但數(shù)據(jù)管理項(xiàng)目并不容易通過花費(fèi)費(fèi)用來解決。

然而，IT經(jīng)理通過指出數(shù)據(jù)管理的分析時(shí)間，以及可以降低人力和存儲(chǔ)成本的價(jià)值，至少在與企業(yè)管理者討論如何提高戰(zhàn)略敏捷性并降低運(yùn)營成本的同時(shí)，這將成為一個(gè)至關(guān)重要的切入點(diǎn)。