IT領導者需要了解大數(shù)據(jù)帶來的機遇，以便他們能夠克服各種挑戰(zhàn)，在不斷增長的以數(shù)據(jù)為中心的經濟中保持競爭力。

數(shù)據(jù)的指數(shù)級增長促使研究人員尋找新的方式來觀察和分析世界。它是關于發(fā)現(xiàn)捕獲、搜索、共享、存儲、分析、呈現(xiàn)數(shù)據(jù)的新數(shù)量級。“大數(shù)據(jù)”就是這樣誕生的。大數(shù)據(jù)是在數(shù)字基礎上存儲大量信息的概念。

大數(shù)據(jù)是指非常大的數(shù)據(jù)集，傳統(tǒng)的數(shù)據(jù)庫管理或信息管理工具對其無法真正發(fā)揮作用。實際上，人們每天產生大約2.5萬億字節(jié)的數(shù)據(jù)。這些數(shù)據(jù)來自不同的平臺：人們發(fā)送的消息、發(fā)布的視頻、天氣信息、GPS信號、在線交易購物記錄等。這些數(shù)據(jù)稱為大數(shù)據(jù)或海量數(shù)據(jù)。雅虎、Facebook、谷歌等網絡巨頭是首先部署這種技術的公司。

雖然沒有大數(shù)據(jù)的具體或通用的定義。作為一個復雜的術語，大數(shù)據(jù)的定義根據(jù)社區(qū)、用戶或服務提供商而有所不同。跨學科方法可以了解不同參與者的行為：工具的設計者和供應者(計算機科學家)，用戶類別(經理、企業(yè)主、決策者、研究人員)以及專業(yè)人士。

大數(shù)據(jù)是一個雙重技術系統(tǒng)。實際上，它既有好處又面臨挑戰(zhàn)。大數(shù)據(jù)的到來現(xiàn)在被許多文章描述為一場新的工業(yè)革命，類似于蒸汽機(19世紀早期)、電力(19世紀晚期)和計算機科學(20世紀晚期)的產生。另一些人則將這一現(xiàn)象描述為第三次工業(yè)革命的最后階段，實際上這是一個“信息時代”。在任何情況下，大數(shù)據(jù)都被認為是導致社會深層次變革的根源。

大數(shù)據(jù)在各行業(yè)組織的應用中越來越廣泛，而開展大數(shù)據(jù)項目并不容易。根據(jù)NewVantage Partners進行的一項研究，在接受調查的“財富1000強”的企業(yè)中，95%的企業(yè)在過去五年中實施了大數(shù)據(jù)項目，但只有48.4%的企業(yè)從這些項目中成功獲益。

以下是企業(yè)面臨的一些主要的大數(shù)據(jù)挑戰(zhàn)：

管理數(shù)據(jù)增長

顯然，要克服的最大的大數(shù)據(jù)挑戰(zhàn)之一就是存儲和分析所有信息。IDC公司估計，全球各地的計算機系統(tǒng)中存儲的信息量每兩年翻一番。大多數(shù)數(shù)據(jù)是非結構化的，這意味著它沒有存儲在數(shù)據(jù)庫中。而照片、文檔、視頻和音頻文件很難分析。

為了克服這個挑戰(zhàn)，企業(yè)可以使用不同的技術來管理不斷增加的數(shù)據(jù)。在存儲方面，融合和超融合的基礎設施以及軟件定義的存儲都證明可以使硬件易于擴展。壓縮數(shù)據(jù)、重復數(shù)據(jù)消除以及分層等技術還可以減少存儲大數(shù)據(jù)所需的空間和成本。在管理和分析方面，企業(yè)可以使用NoSQL、Hadoop、Spark等大數(shù)據(jù)分析軟件，以及商務智能軟件、人工智能和機器學習等工具來獲得所需的洞察力。

快速生成洞察力

企業(yè)不僅希望存儲它們生成的大數(shù)據(jù)，還希望使用大數(shù)據(jù)來實現(xiàn)他們的目標。根據(jù)NewVantage Partners進行的研究，與大數(shù)據(jù)項目相關的主要目標是減少開支，實施數(shù)據(jù)驅動的文化和創(chuàng)新，加速部署新功能和服務，以及推出新產品和服務。這些不同的目標可以使企業(yè)更具競爭力，但他們需要獲得洞察力，并迅速加以利用。

為了幫助他們快速實現(xiàn)，企業(yè)可以使用新一代的分析工具，顯著減少生成報告所需的時間。他們大量投資分析工具，幫助實時獲得結果。通過這種方式，可以盡快響應市場的發(fā)展。

招募大數(shù)據(jù)人才

為了開發(fā)和管理能夠產生見解的應用程序，企業(yè)需要掌握大數(shù)據(jù)技能的專業(yè)人員。事實上，對大數(shù)據(jù)專家的需求以及為他們提供的薪酬都在大幅增加。

為了解決大數(shù)據(jù)人才匱乏的問題，企業(yè)具有多種選擇。他們可以增加預算，招聘人才，并提供工作崗位。其他的選擇是培訓現(xiàn)有員工學習和掌握大數(shù)據(jù)，在企業(yè)內部培養(yǎng)大數(shù)據(jù)人才。最后，許多企業(yè)購買了自助分析解決方案或機器學習軟件，專為沒有數(shù)據(jù)科學背景的專業(yè)人士使用而設計。這些工具可以幫助企業(yè)克服大數(shù)據(jù)挑戰(zhàn)，并實現(xiàn)目標，甚至無需聘請大數(shù)據(jù)專家。

整合多種大數(shù)據(jù)源

各種各樣的數(shù)據(jù)使集成成為最大的數(shù)據(jù)挑戰(zhàn)之一。實際上，數(shù)據(jù)來自不同的來源：業(yè)務應用、社交網絡、電子郵件、員工文檔......將所有這些數(shù)據(jù)有效地結合起來，并使用它們來創(chuàng)建報告，對于高級用戶來說，數(shù)據(jù)驅動的洞察力和業(yè)務決策支持解決方案可能非常困難。為了解決這個問題，不同的供應商提供了集成工具，旨在簡化流程。然而，許多企業(yè)承認他們還沒有克服這一挑戰(zhàn)。

數(shù)據(jù)驗證

數(shù)據(jù)驗證也是大數(shù)據(jù)的主要挑戰(zhàn)之一。許多企業(yè)從不同的系統(tǒng)接收類似的數(shù)據(jù)，這些數(shù)據(jù)有時是矛盾的。

為了協(xié)調這些數(shù)據(jù)，企業(yè)必須使用數(shù)據(jù)治理。數(shù)據(jù)治理也帶來了各種挑戰(zhàn)，事實上，根據(jù)AtScale 2016“大數(shù)據(jù)成熟度調查”，數(shù)據(jù)流通量是受訪者表示增長最快的領域。

解決數(shù)據(jù)治理挑戰(zhàn)通常并不容易。它需要技術和政策變化的結合。但是，一些嘗試包括分配人員來監(jiān)視數(shù)據(jù)并定義規(guī)則和過程。另一種選擇是投資數(shù)據(jù)管理解決方案，旨在簡化面向大數(shù)據(jù)準確性和存儲的數(shù)據(jù)治理。

保護大數(shù)據(jù)安全

安全性也是大數(shù)據(jù)領域面對的一個重要問題。商業(yè)數(shù)據(jù)可能對黑客具有吸引力。但是，根據(jù)IDG公司的一項研究，只有39%的公司對其數(shù)據(jù)存儲庫使用額外的安全措施。一些最主要的附加措施包括訪問和身份控制、數(shù)據(jù)加密和數(shù)據(jù)隔離。

組織面臨的挑戰(zhàn)

除了大數(shù)據(jù)挑戰(zhàn)的技術方面，員工還面臨大數(shù)據(jù)的挑戰(zhàn)。在試圖啟動大數(shù)據(jù)項目的企業(yè)遇到的主要挑戰(zhàn)中，三個主要問題是組織協(xié)調性不足、管理者缺乏理解、業(yè)務面臨阻力。

因此，要解決這一挑戰(zhàn)，必須讓商業(yè)領袖相信大數(shù)據(jù)的有用性，并任命一名首席數(shù)據(jù)官。同樣重要的是，企業(yè)的高管、董事和經理必須了解大數(shù)據(jù)帶來的機遇，以便他們能夠克服各種挑戰(zhàn)，并在不斷增長的以數(shù)據(jù)為中心的經濟中保持競爭力。