[[153575]]

我們談?wù)摿撕芏嚓P(guān)于復(fù)雜數(shù)據(jù)及其為你的商業(yè)智能帶來的挑戰(zhàn)和機遇，但是導(dǎo)致數(shù)據(jù)復(fù)雜化的是什么呢？

以及你如何區(qū)分你的公司當(dāng)前的數(shù)據(jù)是否是“復(fù)雜的”，亦或不久的將來會變得復(fù)雜？本文將解決這些問題。

當(dāng)你試圖將數(shù)據(jù)轉(zhuǎn)化為商業(yè)價值時，它的復(fù)雜度很可能會預(yù)示你將面對的困難程度——復(fù)雜數(shù)據(jù)的準(zhǔn)備和分析通常要比簡單數(shù)據(jù)更加困難，以及通常需要一組不同的BI 工具來實現(xiàn)。復(fù)雜數(shù)據(jù)在可以“成熟的”分析和可視化之前需要額外的準(zhǔn)備工作和數(shù)據(jù)模型。因此重要的是，通過了解您目前的數(shù)據(jù)的復(fù)雜程度以及它在未來的復(fù)雜性趨向，來評估您的大數(shù)據(jù)/商業(yè)智能項目是否能夠勝任這一任務(wù)。

在高級層面上，有兩種基本的跡象表明你的數(shù)據(jù)可能被視為是復(fù)雜的：

你的數(shù)據(jù)很“大”：我們把大放在引號里是因為它貌似符合“大數(shù)據(jù)”術(shù)語的含義。然而事實是，處理海量數(shù)據(jù)在計算資源需要處理巨大的數(shù)據(jù)集方面提出了一個挑戰(zhàn)， 就像把小麥從谷殼分開的困難，或者說在一個巨大的原始信息中辨別信號和雜音。

你的數(shù)據(jù)來自許多不同的數(shù)據(jù)源：多重數(shù)據(jù)源通常意味著臟數(shù)據(jù)，或者遵循著不同的內(nèi)部邏輯結(jié)構(gòu)的簡單的多個數(shù)據(jù)集。為了確保數(shù)據(jù)源有統(tǒng)一的數(shù)據(jù)語言，數(shù)據(jù)必須被轉(zhuǎn)換或整合到一個中央資源庫。

可以認(rèn)為這是兩個最初的（可供選擇的）征兆：如果你正處理大數(shù)據(jù)或異構(gòu)數(shù)據(jù)，你應(yīng)當(dāng)開始思考數(shù)據(jù)的復(fù)雜性。但是深究一下，對你的公司的數(shù)據(jù)的復(fù)雜性，以下有7個更具體的指標(biāo)。

（注意，以上兩點之間有相似之處，但不互相排除——反之，例如，離散數(shù)據(jù)往往意味著各種各樣的數(shù)據(jù)結(jié)構(gòu)類型）

1、數(shù)據(jù)結(jié)構(gòu)

不同數(shù)據(jù)源的數(shù)據(jù)，或甚至來自同一個源的不同表，通常設(shè)計同樣的信息但結(jié)構(gòu)卻完全不同：

舉例來說，想象你們?nèi)肆Y源部有三種不同的表格，一個是員工個人信息表，另一個是員工職位和薪資表第三個是員工職位要求表，諸如此類——而你們財務(wù)部門隨同保險、福利和其他花費一起記錄同樣的信息到單個表中。另外，在這些表中的一些表可能提到員工的全名，而另一些則只有名字的首字母，或者二者的結(jié)合。為了從所有表中有效使用數(shù)據(jù)，同時不丟失或重復(fù)信息，需要數(shù)據(jù)建?；驕?zhǔn)備工作。

這是最簡單的用例：更進一步復(fù)雜化的是處理最初沒有適當(dāng)?shù)啬Ｊ降姆墙Y(jié)構(gòu)化數(shù)據(jù)源（例如NoSQL 數(shù)據(jù)庫）。

2、數(shù)據(jù)大小

再次回到模糊的“大數(shù)據(jù)”概念，你收集的數(shù)據(jù)量會影響你需要用來分析它的軟硬件的類型。這個可以通過原始大小來衡量：字節(jié)，TB或PB——數(shù)據(jù)增長越大，越有可能“窒息”廣泛使用的內(nèi)存數(shù)據(jù)庫（IMDB），依賴于轉(zhuǎn)化壓縮數(shù)據(jù)到服務(wù)器內(nèi)存。其他因素包括多元異構(gòu)數(shù)據(jù)——包含很多數(shù)據(jù)行的表（Excel，可以說是最常用的數(shù)據(jù)分析工具，***行數(shù)限制為1048576行），或結(jié)構(gòu)化數(shù)據(jù)——包含很多數(shù)據(jù)列的表。

你將會發(fā)現(xiàn)在分析工具和方法上用于分析100,000行數(shù)據(jù)和那些用于分析1億行數(shù)據(jù)的是明顯不同的。

3、數(shù)據(jù)細節(jié)

你想要探索的數(shù)據(jù)的粒度水平。當(dāng)創(chuàng)建一個儀表盤或報表，展現(xiàn)總結(jié)或聚合數(shù)據(jù)時常常比讓終端用戶鉆取到每一個細節(jié)更容易實現(xiàn)——然而這是以犧牲數(shù)據(jù)分析的深度和數(shù)據(jù)挖掘為代價而做的權(quán)宜之計。

創(chuàng)建一個BI系統(tǒng)，使其具有顆粒向海量數(shù)據(jù)鉆取處理分析的能力，（不依賴于預(yù)定義查詢，聚合或匯總表）

4、查詢語言

不同的數(shù)據(jù)源有不同的數(shù)據(jù)語言：雖然SQL是從常見數(shù)據(jù)源和RDBMS提取數(shù)據(jù)的主要手段，但是當(dāng)使用第三方平臺時你會經(jīng)常需要通過它自己的API和語法去連接它，以及解析用于訪問數(shù)據(jù)的數(shù)據(jù)模型和協(xié)議。

你的BI工具需要足夠靈活的根據(jù)數(shù)據(jù)源允許這種本地連接的方式，或者通過內(nèi)置插件或API訪問，否則你會發(fā)現(xiàn)你自己將不得不重復(fù)一個繁瑣的導(dǎo)出數(shù)據(jù)到表格\SQL數(shù)據(jù)庫\數(shù)據(jù)倉庫的過程，然后導(dǎo)入到你的商業(yè)智能軟件里，從而使你的分析變得麻煩。

5、數(shù)據(jù)類型

一方面動態(tài)數(shù)據(jù)以表格形式存儲，處理的大多是數(shù)值型數(shù)據(jù)，但是大規(guī)模和非結(jié)構(gòu)化的機器數(shù)據(jù)完全是另外一回事兒，就像是文字?jǐn)?shù)據(jù)集存儲在MongoDB中，當(dāng)然了，更別提像視頻音頻這種超大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)了。

不同的數(shù)據(jù)類型具有不同的規(guī)則，為使得商業(yè)決策建立在對公司數(shù)據(jù)的全面考慮的基礎(chǔ)上，找到一種建立單一可信來源的方法是至關(guān)重要的。

6、離散數(shù)據(jù)

數(shù)據(jù)存儲在多個位置：例如，組織里的不同部門，本地或云（付費存儲或通過云應(yīng)用），來自客戶或供應(yīng)商的外部數(shù)據(jù)等。這種數(shù)據(jù)不僅收集起來很困難（簡單來說是由于及時而有效的接收數(shù)據(jù)而需要的利益相關(guān)者的數(shù)量）。而且一旦收集了——在不同的數(shù)據(jù)集交叉引用和分析之前，通常需要“清理”或標(biāo)準(zhǔn)化，因為每個本地數(shù)據(jù)集是根據(jù)相關(guān)組織\應(yīng)用程序自身的實際和關(guān)注收集數(shù)據(jù)。

7、數(shù)據(jù)量的增長

最終，你不僅需要考慮當(dāng)前數(shù)據(jù)，還有數(shù)據(jù)的增長或變化的速度。如果經(jīng)常更新數(shù)據(jù)源，或經(jīng)常增加新的數(shù)據(jù)源，這將會消耗你的軟硬件資源（無論何時當(dāng)源數(shù)據(jù)發(fā)生重大更改時,不是非常先進的系統(tǒng)都需要重新獲取整個數(shù)據(jù)集）,以及上述提到的關(guān)于結(jié)構(gòu)、類型、大小的復(fù)合性問題等。

如果你認(rèn)同上述的一個或更多以及你的數(shù)據(jù)剛剛好是復(fù)雜的，不要絕望：理解，是找到一個合適的解決方案的***步，以及復(fù)雜數(shù)據(jù)的分析本身不需要過于復(fù)雜。我們將在未來的文章中涉及解決復(fù)雜數(shù)據(jù)的方法，但是你將想問自己的***件事可能是——控制復(fù)雜數(shù)據(jù)你實際需要多少BI系統(tǒng)。