當(dāng)前，整個(gè)互聯(lián)網(wǎng)正在從IT時(shí)代向DT時(shí)代演進(jìn)，大數(shù)據(jù)技術(shù)也正在助力企業(yè)和公眾敲開(kāi)DT世界大門(mén)。雖然大數(shù)據(jù)潮流在默默的推進(jìn)各種變革，但您真的了解大數(shù)據(jù)么?

大數(shù)據(jù)定義

一般而言，大數(shù)據(jù)是指數(shù)量龐大而復(fù)雜，傳統(tǒng)的數(shù)據(jù)處理產(chǎn)品無(wú)法在合理的時(shí)間內(nèi)捕獲、管理和處理的數(shù)據(jù)集合。

這些大數(shù)據(jù)集可以包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

究竟有多少數(shù)據(jù)才能實(shí)構(gòu)成“大”數(shù)據(jù)呢?這也是有爭(zhēng)議的，大數(shù)據(jù)的大小經(jīng)常改變，截至2012年，單一數(shù)據(jù)集的大小從數(shù)太字節(jié)(TB)至數(shù)十兆億字節(jié)(PB)不等。

大數(shù)據(jù)通常以三個(gè)V來(lái)表征：

1. 數(shù)據(jù)量的大小(volume)
2. 數(shù)據(jù)類型的多樣性(Variety)
3. 數(shù)據(jù)處理和分析的速度(Velocity)

構(gòu)成大數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)可以來(lái)自包括網(wǎng)站、社交媒體、桌面和移動(dòng)應(yīng)用、科學(xué)實(shí)驗(yàn)以及物聯(lián)網(wǎng)(IoT)中越來(lái)越多的傳感器和其他設(shè)備。

大數(shù)據(jù)概念包含了一組相關(guān)的組件，使企業(yè)能夠?qū)?shù)據(jù)實(shí)際使用并解決一些業(yè)務(wù)問(wèn)題。其中包括支持大數(shù)據(jù)所需的IT基礎(chǔ)架構(gòu)、分析應(yīng)用于數(shù)據(jù)、大數(shù)據(jù)項(xiàng)目所需的技術(shù)、相關(guān)技能組合、以及對(duì)大數(shù)據(jù)有意義的實(shí)際使用案例。

大數(shù)據(jù)和分析

應(yīng)用于數(shù)據(jù)的分析才是真正能夠從大數(shù)據(jù)集合中獲得價(jià)值的所在。沒(méi)有分析，大數(shù)據(jù)集合也只是一堆有限的商業(yè)數(shù)據(jù)。

通過(guò)對(duì)大數(shù)據(jù)進(jìn)行分析，企業(yè)可以從分析結(jié)果中得出諸如增加銷售額、改善客戶服務(wù)、提高效率等結(jié)論，全面提升企業(yè)競(jìng)爭(zhēng)力。數(shù)據(jù)分析包括檢查數(shù)據(jù)集，以獲得對(duì)其所包含內(nèi)容得出的結(jié)論，例如關(guān)于未來(lái)活動(dòng)的趨勢(shì)和預(yù)測(cè)。通過(guò)分析數(shù)據(jù)，企業(yè)可以做出更明智的業(yè)務(wù)決策，例如該在何時(shí)何地進(jìn)行營(yíng)銷活動(dòng)等。

分析可以參考基本的商業(yè)智能應(yīng)用程序或更高級(jí)的預(yù)測(cè)性分析，例如科學(xué)組織使用的分析。在最先進(jìn)的數(shù)據(jù)分析類型中，數(shù)據(jù)挖掘是分析師評(píng)估大型數(shù)據(jù)集以識(shí)別關(guān)系的一種方式。

數(shù)據(jù)分析可以包括探索性數(shù)據(jù)分析(識(shí)別數(shù)據(jù)中的模式和關(guān)系)和驗(yàn)證性數(shù)據(jù)分析(應(yīng)用統(tǒng)計(jì)技術(shù)來(lái)確定關(guān)于特定數(shù)據(jù)集的假設(shè)是否屬實(shí))。另一個(gè)區(qū)分是定量數(shù)據(jù)分析(或數(shù)字?jǐn)?shù)據(jù)分析，其中有可量化的變量，可以進(jìn)行統(tǒng)計(jì)比較)與定性數(shù)據(jù)分析(側(cè)重于非數(shù)字?jǐn)?shù)據(jù)、如視頻、圖像和文本)。

IT基礎(chǔ)架構(gòu)來(lái)支持大數(shù)據(jù)

為了能讓大數(shù)據(jù)概念發(fā)揮作用，企業(yè)需要有適當(dāng)?shù)幕A(chǔ)設(shè)施來(lái)收集和存儲(chǔ)數(shù)據(jù)，提供對(duì)數(shù)據(jù)的訪問(wèn)，并在存儲(chǔ)和傳輸過(guò)程中保護(hù)信息。在高層次上，這其中包括為大數(shù)據(jù)、數(shù)據(jù)管理和集成軟件、商業(yè)智能和數(shù)據(jù)分析軟件以及大數(shù)據(jù)應(yīng)用設(shè)計(jì)的存儲(chǔ)系統(tǒng)和服務(wù)器。

由于公司希望繼續(xù)利用數(shù)據(jù)中心投資，因此大部分基礎(chǔ)架構(gòu)可能都是內(nèi)部部署的。但越來(lái)越多的企業(yè)依靠云計(jì)算服務(wù)來(lái)處理大部分大數(shù)據(jù)需求。

數(shù)據(jù)收集這一過(guò)程需要數(shù)據(jù)源。網(wǎng)絡(luò)應(yīng)用程序、社交媒體渠道、移動(dòng)應(yīng)用程序和電子郵件檔案已經(jīng)到位，但隨著物聯(lián)網(wǎng)逐漸成熟，企業(yè)可能需要在各種設(shè)備、車(chē)輛和產(chǎn)品上部署傳感器來(lái)收集數(shù)據(jù)，以及生成用戶數(shù)據(jù)的新應(yīng)用程序。

為了存儲(chǔ)所有傳入的數(shù)據(jù)，企業(yè)需要有適當(dāng)?shù)臄?shù)據(jù)存儲(chǔ)。存儲(chǔ)選項(xiàng)包括傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和基于云的存儲(chǔ)。

安全基礎(chǔ)設(shè)施工具可能包括數(shù)據(jù)加密、用戶身份驗(yàn)證和其他訪問(wèn)控制、監(jiān)控系統(tǒng)、防火墻、企業(yè)移動(dòng)管理以及其他保護(hù)系統(tǒng)和數(shù)據(jù)的產(chǎn)品。

大數(shù)據(jù)的特定技術(shù)

一般來(lái)說(shuō)，除了上述用于數(shù)據(jù)的IT基礎(chǔ)設(shè)施之外。您的IT基礎(chǔ)架構(gòu)應(yīng)該支持特定于大數(shù)據(jù)的幾種技術(shù)。

1. Hadoop生態(tài)系統(tǒng)

Hadoop是與大數(shù)據(jù)密切相關(guān)的技術(shù)之一。 Apache Hadoop項(xiàng)目為可擴(kuò)展的分布式計(jì)算開(kāi)發(fā)開(kāi)源軟件。Hadoop軟件庫(kù)是一個(gè)框架，可以使用簡(jiǎn)單的編程模型在整個(gè)計(jì)算機(jī)集群上分布式處理大型數(shù)據(jù)集。它旨在從單個(gè)服務(wù)器擴(kuò)展到數(shù)千個(gè)服務(wù)器，每一個(gè)都提供本地計(jì)算和存儲(chǔ)。該項(xiàng)目包括幾個(gè)模塊：

• Hadoop Common，支持其他Hadoop模塊的常用工具;
• Hadoop分布式文件系統(tǒng)，提供對(duì)應(yīng)用程序數(shù)據(jù)的高吞吐量訪問(wèn);
• Hadoop YARN，作業(yè)調(diào)度和集群資源管理的框架;
• Hadoop MapReduce，一個(gè)基于YARN的并行處理大型數(shù)據(jù)集的系統(tǒng)。

2. Apache Spark

作為Hadoop生態(tài)系統(tǒng)的一部分，Apache Spark是一個(gè)開(kāi)源的集群計(jì)算框架，可用作在Hadoop中處理大數(shù)據(jù)的引擎。 Spark已經(jīng)成為關(guān)鍵的大數(shù)據(jù)分布式處理框架之一，并且可以以各種方式進(jìn)行部署。它為Java、Scala、Python和R編程語(yǔ)言提供本地綁定，并支持SQL、流數(shù)據(jù)、機(jī)器學(xué)習(xí)和圖形處理。

3. 數(shù)據(jù)湖

數(shù)據(jù)湖泊是存儲(chǔ)庫(kù)，它以本機(jī)格式存儲(chǔ)極大量的原始數(shù)據(jù)。數(shù)字化轉(zhuǎn)型舉措和物聯(lián)網(wǎng)的發(fā)展促進(jìn)了數(shù)據(jù)湖的發(fā)展。數(shù)據(jù)湖的設(shè)計(jì)是為了方便用戶在需要時(shí)訪問(wèn)大量的數(shù)據(jù)。

4. NoSQL數(shù)據(jù)庫(kù)

傳統(tǒng)的SQL數(shù)據(jù)庫(kù)是為可靠的事務(wù)和即席查詢而設(shè)計(jì)的，但是它們有嚴(yán)格的架構(gòu)等限制，這使得它們不太適合某些類型的應(yīng)用程序。NoSQL數(shù)據(jù)庫(kù)解決了這些限制，并以高速運(yùn)行和高度靈活性的方式存儲(chǔ)和管理數(shù)據(jù)。與SQL數(shù)據(jù)庫(kù)不同，許多NoSQL數(shù)據(jù)庫(kù)可以在數(shù)百或數(shù)千臺(tái)服務(wù)器上橫向擴(kuò)展。

5. 內(nèi)存數(shù)據(jù)庫(kù)

內(nèi)存數(shù)據(jù)庫(kù)(IMDB)是一種數(shù)據(jù)庫(kù)管理系統(tǒng)，主要依靠主內(nèi)存來(lái)存儲(chǔ)數(shù)據(jù)。內(nèi)存數(shù)據(jù)庫(kù)比磁盤(pán)優(yōu)化數(shù)據(jù)庫(kù)要快。

大數(shù)據(jù)技能

大數(shù)據(jù)和大數(shù)據(jù)分析工作都需要特定的技能。這些技能中的很多都與關(guān)鍵的大數(shù)據(jù)技術(shù)組件(如Hadoop、Spark、NoSQL數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)和分析軟件)相關(guān)。

其他則專門(mén)針對(duì)數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘、統(tǒng)計(jì)和定量分析、數(shù)據(jù)可視化、通用編程以及數(shù)據(jù)結(jié)構(gòu)和算法等學(xué)科，還需要有整體管理技能。鑒于大數(shù)據(jù)分析項(xiàng)目已經(jīng)非常普及，卻缺乏擁有這些技能的人才，尋找有經(jīng)驗(yàn)的專業(yè)人員可能是企業(yè)面臨的最大挑戰(zhàn)之一。

大數(shù)據(jù)用例

大數(shù)據(jù)和分析可以應(yīng)用于許多業(yè)務(wù)問(wèn)題和用例。這里有一些例子：

• 客戶分析。公司可以檢查客戶數(shù)據(jù)以改善客戶體驗(yàn)，提高轉(zhuǎn)換率并增加留存率。
• 運(yùn)營(yíng)分析。提高運(yùn)營(yíng)績(jī)效，更好地利用企業(yè)資產(chǎn)是許多公司的目標(biāo)。大數(shù)據(jù)分析可以幫助企業(yè)找到更高效運(yùn)營(yíng)和提高績(jī)效的方法。
• 預(yù)防詐騙。數(shù)據(jù)分析可幫助組織識(shí)別可能指示欺詐行為并有助于降低風(fēng)險(xiǎn)的可疑活動(dòng)和模式。
• 價(jià)格優(yōu)化。公司可以使用大數(shù)據(jù)分析來(lái)優(yōu)化產(chǎn)品和服務(wù)收取的價(jià)格，從而幫助提高收入。