在大數(shù)據(jù)領(lǐng)域里，經(jīng)常會看到例如數(shù)據(jù)挖掘、OLAP、數(shù)據(jù)統(tǒng)計等等的專業(yè)詞匯。如果僅僅從字面上，我們很難說清楚每個詞匯的意義和區(qū)別。今天，我們就來通過一些大數(shù)據(jù)在高校應(yīng)用的例子，來為大家說明白—數(shù)據(jù)挖掘、大數(shù)據(jù)、OLAP、數(shù)據(jù)統(tǒng)計的區(qū)別。

一、數(shù)據(jù)分析

數(shù)據(jù)分析是一個大的概念，理論上任何對數(shù)據(jù)進(jìn)行計算、處理從而得出一些有意義的結(jié)論的過程，都叫數(shù)據(jù)分析。從數(shù)據(jù)本身的復(fù)雜程度、以及對數(shù)據(jù)進(jìn)行處理的復(fù)雜度和深度來看，可以把數(shù)據(jù)分析分為以下4個層次：數(shù)據(jù)統(tǒng)計，OLAP，數(shù)據(jù)挖掘，大數(shù)據(jù)。

二、數(shù)據(jù)統(tǒng)計

數(shù)據(jù)統(tǒng)計是最基本、最傳統(tǒng)的數(shù)據(jù)分析，自古有之。是指通過統(tǒng)計學(xué)方法對數(shù)據(jù)進(jìn)行排序、篩選、運(yùn)算、統(tǒng)計等處理，從而得出一些有意義的結(jié)論。

舉例，對全年級學(xué)生按照平均成績從高到低排序，前10%的學(xué)生可以獲得申請研究生免試資格。

傳統(tǒng)的查詢和報表工具是告訴你數(shù)據(jù)庫中有什么(What happened)

三、OLAP

聯(lián)機(jī)分析處理(On-Line Analytical Processing，OLAP)是指基于數(shù)據(jù)倉庫的在線多維統(tǒng)計分析。它允許用戶在線地從多個維度觀察某個度量值，從而為決策提供支持。

舉例，學(xué)校招生時要決定今年在江蘇的招生指標(biāo)，不能簡單地參照去年的計劃，而是要參考多個維度的數(shù)據(jù)積累。學(xué)校要在這些數(shù)據(jù)的支持下做出合理的決策。

OLAP更進(jìn)一步告訴你下一步會怎么樣(What next)，如果我采取這樣的措施又會怎么樣(What if)

四、數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是指從海量數(shù)據(jù)中找到人們未知的、可能有用的、隱藏的規(guī)則，可以通過關(guān)聯(lián)分析、聚類分析、時序分析等各種算法發(fā)現(xiàn)一些無法通過觀察圖表得出的深層次原因。

舉例，學(xué)校發(fā)現(xiàn)高等數(shù)學(xué)等主干課的不及格率有逐年上升的趨勢，一般認(rèn)為是學(xué)習(xí)不認(rèn)真所致，但做了很多工作效果并不明縣，這時通過數(shù)據(jù)挖掘……

針對此可以采取有針對性的管理措施。

五、大數(shù)據(jù)

大數(shù)據(jù)是指用現(xiàn)有的計算機(jī)軟硬件設(shè)施難以采集、存儲、管理、分析和使用的超大規(guī)模的數(shù)據(jù)集。大數(shù)據(jù)具有規(guī)模大、種類雜、快速化、價值密度低等特點(diǎn)(4V特性)。大數(shù)據(jù)的“大”是一個相對概念，沒有具體標(biāo)準(zhǔn)，如果一定要給一個標(biāo)準(zhǔn)，那么10-100TB通常稱為大數(shù)據(jù)的門檻。

總結(jié)

從數(shù)據(jù)分析的角度來看，目前絕大多數(shù)學(xué)校的數(shù)據(jù)應(yīng)用產(chǎn)品都還處在數(shù)據(jù)統(tǒng)計和報表分析的階段，能夠?qū)崿F(xiàn)有效的OLAP分析與數(shù)據(jù)挖掘的還很少，而能夠達(dá)到大數(shù)據(jù)應(yīng)用階段的非常少，至少還沒有用過有效的大數(shù)據(jù)集。

點(diǎn)評：

我們不需要糾結(jié)所謂的“專業(yè)名詞”，作為一個數(shù)據(jù)分析師，我們的目標(biāo)是幫助業(yè)務(wù)更好的發(fā)展、減少決策的風(fēng)險、提取重要的信息，所以業(yè)務(wù)的套路和理解才是我們的立足之本，數(shù)據(jù)分析畢竟是我們達(dá)成某種目標(biāo)的工具，療效才是對我們更深層次的驗(yàn)證。