關(guān)于大數(shù)據(jù)的三大誤區(qū) 隨著整個(gè)行業(yè)對(duì)大數(shù)據(jù)的興趣越來(lái)越大，我最愛(ài)的話題之一，我在2013年做過(guò)的大數(shù)據(jù)的公眾演講超過(guò)我職業(yè)生涯中的任何往年。我在行業(yè)大會(huì)、活動(dòng)，大學(xué)以及EMC內(nèi)部共做過(guò)許多次演講。在這些演講中一次又一次地接觸到了一大堆關(guān)于大數(shù)據(jù)的評(píng)論，提問(wèn)以及錯(cuò)誤的理解。我相信將我聽(tīng)到的分享給大家會(huì)很有用。 以下是對(duì)于大數(shù)據(jù)的三大誤區(qū)：

[[129480]]

1. 最重要的，是關(guān)于大數(shù)據(jù)本身的大小

大數(shù)據(jù)主要是數(shù)據(jù)的大小，因?yàn)榇髷?shù)據(jù)就是大的，對(duì)嗎?其實(shí)，并不完全是。哈佛的定量社科學(xué)院的Gary King說(shuō)。當(dāng)然，如今的數(shù)據(jù)處理量要遠(yuǎn)超過(guò)去(這里是指”3Vs”的量-量，多變性及速度)，但如果人們只關(guān)注于GB、TB或PB，他們將僅僅視大數(shù)據(jù)為關(guān)于存儲(chǔ)和科技的問(wèn)題。盡管這也是絕對(duì)重要的，但大數(shù)據(jù)的更突出的幾個(gè)方面通常是另外兩個(gè)V：多變性(Variety)和速度(Velocity)。速度指的是數(shù)據(jù)流及非?？斓臄?shù)據(jù)，數(shù)據(jù)積累或進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)時(shí)的低延遲，以使人們可以更加快速地(或者甚至自動(dòng)地)做出決定。數(shù)據(jù)流的確是個(gè)大問(wèn)題，但是對(duì)我來(lái)說(shuō)，其多變性是3V當(dāng)中最有趣的。

上面顯示的這些圖標(biāo)正是大數(shù)據(jù)產(chǎn)生的來(lái)源。實(shí)際上，這正說(shuō)明了一個(gè)哲學(xué)問(wèn)題—不僅僅是大數(shù)據(jù)改變了，更多的是，數(shù)據(jù)的定義本身已經(jīng)發(fā)生了變化。也就是說(shuō)，大多數(shù)的人認(rèn)為數(shù)據(jù)就是成行成列的數(shù)據(jù)，如Excel表格，RDBMS數(shù)據(jù)庫(kù)，或存儲(chǔ)著TB級(jí)結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)。這些的確沒(méi)有錯(cuò)，大數(shù)據(jù)主要是有關(guān)半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 大數(shù)據(jù)包含了所有人們并不認(rèn)為是數(shù)據(jù)的所有其他的事物，如RFID芯片，智能手機(jī)的地理空間傳感器，圖像，視頻文件，點(diǎn)擊流，語(yǔ)音識(shí)別數(shù)據(jù)以及這些數(shù)據(jù)的元數(shù)據(jù)。 當(dāng)然，我們需要找到有效的方法來(lái)

存儲(chǔ)大量的數(shù)據(jù)，然而我發(fā)現(xiàn)，當(dāng)人們開(kāi)始抓取數(shù)據(jù)的多變性及其速度，他們也開(kāi)始尋找更加創(chuàng)新的方式來(lái)使用這些數(shù)據(jù)。

2. 你確定要雞蛋碰石頭嗎?

“好吧，但是為什么我一定需要新的工具?我不能用原來(lái)的軟件工具來(lái)分析大數(shù)據(jù)嗎?”我們?cè)谟懻撌褂肏adoop去排列成百上千的非結(jié)構(gòu)數(shù)據(jù)輸入。討論中有位聽(tīng)眾提問(wèn)，為什么他不能簡(jiǎn)單地使用SPSS來(lái)分析大量的文本語(yǔ)料庫(kù)。事實(shí)上，一旦你領(lǐng)會(huì)了#1中的內(nèi)容，那么你將意識(shí)到你需要一個(gè)可以理解、存儲(chǔ)和分析不同數(shù)據(jù)輸入(圖像，點(diǎn)擊流，視頻，聲紋，元數(shù)據(jù)，XML，等)，并且可以并行處理他們的新的工具。這就是為什么內(nèi)存中的桌面工具足以處理本地內(nèi)存中的分析(SPSS，R，WEKA，等)卻無(wú)法處理大量的大數(shù)據(jù)源。所以我們需要新的技術(shù)來(lái)管理這些各不相干的數(shù)據(jù)源，并以并行的原則管理他們。

3. 不完整的數(shù)據(jù)質(zhì)量代表大數(shù)據(jù)毫無(wú)意義

“是的，那么大數(shù)據(jù)，數(shù)據(jù)的質(zhì)量會(huì)怎么樣呢?是不是意味著更大規(guī)模的“無(wú)用出入(GIGO)”? 大數(shù)據(jù)也一定可能會(huì)亂，而數(shù)據(jù)質(zhì)量對(duì)任何分析都非常重要。然而，關(guān)鍵是要記住數(shù)據(jù)將不可避免地混亂。即，會(huì)有很多雜亂，各種異常情況，以及不一致性。而重要的是要把重點(diǎn)放在數(shù)據(jù)的數(shù)量和種類，以及它們可否可修剪并用以做有價(jià)值的分析。換句話說(shuō)，在這些混亂之中要尋找某種信號(hào)。在某些情況下，組織可能要解析和清理大量的數(shù)據(jù)源，而在其他情況下，這些也可能不太重要?？梢钥紤]谷歌趨勢(shì)分析。

谷歌趨勢(shì)分析顯示人們搜索的最熱門(mén)事情，如整個(gè)2013年在谷歌搜索的最多的事情，如上圖所示照片。這需要大量的存儲(chǔ)空間，處理能力以及強(qiáng)大的分析技術(shù)以從搜索中篩選并排名。這是使用大數(shù)據(jù)而忽略GIGO的一個(gè)好例子。 從這個(gè)觀點(diǎn)來(lái)看，許多人們會(huì)說(shuō)“哦!這聽(tīng)起來(lái)的確是大的改變”是的!正如我的一個(gè)同事所說(shuō)，可以用大數(shù)據(jù)的名字或動(dòng)詞意義做一個(gè)區(qū)分。也就是說(shuō)，作為名詞，把大數(shù)據(jù)僅僅當(dāng)作需要被存儲(chǔ)和安置的“非常多的東西”。作為動(dòng)詞，大數(shù)據(jù)就意味著動(dòng)作。這個(gè)陣營(yíng)的人們視大數(shù)據(jù)為破壞性的力量，是改變他們的操作方式的動(dòng)力。利用大數(shù)據(jù)以創(chuàng)造性的方式測(cè)試好點(diǎn)子，從而以分析的方式解決業(yè)務(wù)問(wèn)題，如進(jìn)行A/B測(cè)試—請(qǐng)參考谷歌測(cè)試50色調(diào)的藍(lán)色，去尋找人們最愿意點(diǎn)擊的Gmail用戶，而不是僅憑營(yíng)銷經(jīng)理的猜測(cè)?；蛘呦朕k法衡量沒(méi)法衡量的事情，比如公司和大學(xué)找更好的方式來(lái)實(shí)現(xiàn)圖像歸類的自動(dòng)化。以新的方式探索新點(diǎn)子—以數(shù)據(jù)來(lái)回答“假如„„”的問(wèn)題。 在這個(gè)競(jìng)賽中，那些把大數(shù)據(jù)視作動(dòng)詞的組織將是最大贏家!