大數(shù)據(jù)時代小數(shù)據(jù)分析
大數(shù)據(jù)挖掘需要精通數(shù)據(jù)庫、計(jì)算機(jī)編程和深厚的統(tǒng)計(jì)學(xué)基礎(chǔ),有的甚至要涉及運(yùn)籌學(xué)范疇,是一門復(fù)合型的應(yīng)用科學(xué)。大數(shù)據(jù)的案例現(xiàn)在著實(shí)是一抓一大把,比如國外典型的”啤酒與尿布”的案例,在了解數(shù)據(jù)分析之前,不妨來看看幾個有趣的應(yīng)用案例。
Case1 數(shù)據(jù)新聞讓英國撤軍

2010年10月23日《衛(wèi)報(bào)》利用維基解密的數(shù)據(jù)做了一篇“數(shù)據(jù)新聞”。將伊拉克戰(zhàn)爭中所有的人員傷亡情況均標(biāo)注于地圖之上。地圖上一個紅點(diǎn)便代表一次死傷事件,鼠標(biāo)點(diǎn)擊紅點(diǎn)后彈出的窗口則有詳細(xì)的說明:傷亡人數(shù)、時間,造成傷亡的具體原因。密布的紅點(diǎn)多達(dá)39萬,顯得格外觸目驚心。一經(jīng)刊出立即引起朝野震動,推動英國最終做出撤出駐伊拉克軍隊(duì)的決定。
Case2 大數(shù)據(jù)與喬布斯癌癥治療
喬布斯是世界上第一個對自身所有DNA和腫瘤DNA進(jìn)行排序的人。為此,他支付了高達(dá)幾十萬美元的費(fèi)用。他得到的不是樣本,而是包括整個基因的數(shù)據(jù)文檔。醫(yī)生按照所有基因按需下藥,最終這種方式幫助喬布斯延長了好幾年的生命。
Case3 Google成功預(yù)測冬季流感
2009年,Google通過分析5000萬條美國人最頻繁檢索的詞匯,將之和美國疾病中心在2003年到2008年間季節(jié)性流感傳播時期的數(shù)據(jù)進(jìn)行比較,并建立一個特定的數(shù)學(xué)模型。最終google成功預(yù)測了2009冬季流感的傳播甚至可以具體到特定的地區(qū)和州。
Case4 奢侈品銷售
PRADA 在紐約的旗艦店中每件衣服上都有RFID碼。每當(dāng)一個顧客拿起一件PRADA進(jìn)試衣間,RFID會被自動識別。同時,數(shù)據(jù)會傳至PRADA總部。每一件衣服在哪個城市哪個旗艦店什么時間被拿進(jìn)試衣間停留多長時間,數(shù)據(jù)都被存儲起來加以分析。如果有一件衣服銷量很低,以往的作法是直接干掉。但如果RFID傳回的數(shù)據(jù)顯示這件衣服雖然銷量低,但進(jìn)試衣間的次數(shù)多。那就能另外說明一些問題。也許這件衣服的下場就會截然不同,也許在某個細(xì)節(jié)的微小改變就會重新創(chuàng)造出一件非常流行的產(chǎn)品。
除了國外這些經(jīng)常用于商業(yè)培訓(xùn)課程的案例外,數(shù)據(jù)分析其實(shí)并不遙遠(yuǎn),在國內(nèi)也不乏應(yīng)用,比如共和國的開國元帥林彪就曾經(jīng)依靠敏銳的數(shù)據(jù)嗅覺和軍事天賦,成功搗毀敵營總部。
從 2008年的一個偶然機(jī)會第一次接觸“數(shù)據(jù)挖掘”(DataMining)這個新名詞以來,掐指一算在數(shù)據(jù)挖掘應(yīng)用相關(guān)領(lǐng)域度過了6年。我的本專業(yè)是化工,整天應(yīng)該與塔、釜、換熱器、化學(xué)反應(yīng)、物料守恒等打交道。開始接觸這個專業(yè)的目的是為了利用數(shù)據(jù)分析的一些功能來優(yōu)化生產(chǎn)運(yùn)營,讓企業(yè)以更高的效率、更低的成本和更好的質(zhì)量去運(yùn)營。那如何可以做到效率更高、成本最低和質(zhì)量更好,它們的關(guān)鍵改善點(diǎn)和控制點(diǎn)在哪里呢?這需要數(shù)據(jù)積累,需要數(shù)據(jù)分析,需要數(shù)據(jù)模型,它們在哪里呢?
2008年時國內(nèi)企業(yè)在數(shù)據(jù)挖掘應(yīng)用中摸索起步,遠(yuǎn)不如現(xiàn)在大數(shù)據(jù)火熱。如今大數(shù)據(jù)最火的商業(yè)應(yīng)用主要集中在互聯(lián)網(wǎng)、銀行、電信等領(lǐng)域?;谛袠I(yè)應(yīng)用限制,我無法接觸到真正的大數(shù)據(jù)挖掘,但是幸運(yùn)的是我還是碰到了職業(yè)和興趣的重合點(diǎn)。
這幾年的摸索是我職業(yè)生涯很重要的一段時光,可能在以后的職業(yè)生涯中我觸碰到數(shù)據(jù)挖掘的機(jī)會不會太多,但我覺得有必要將自己一路走來的心得與體會、感悟和挫折整理出來,一則是對自己的這段職業(yè)生涯做一個交代,特別是對一路引導(dǎo)、鼓勵和支持我的師友和家人;二則是合理地引導(dǎo)類似我半道出家的學(xué)習(xí)者,對數(shù)據(jù)分析有興趣卻沒有深厚的統(tǒng)計(jì)學(xué)知識和IT功底人士。我相信本書整理出來的內(nèi)容對于廣大對數(shù)據(jù)分析應(yīng)用感興趣的初學(xué)者來說都是一種寶貴經(jīng)驗(yàn)。在學(xué)習(xí)數(shù)據(jù)分析的道路上我深刻認(rèn)識到一個道理:一個成功的數(shù)據(jù)分析實(shí)踐,核心的因素不是數(shù)據(jù)分析技術(shù),而是對業(yè)務(wù)理解和分析思路,這也是當(dāng)初學(xué)習(xí)數(shù)據(jù)分析的初衷,初學(xué)者切不可為數(shù)據(jù)分析而去分析數(shù)據(jù)。
目前國內(nèi)的大部分高校還沒有開通數(shù)據(jù)挖掘這門專業(yè)課程。大數(shù)據(jù)分析需要依靠龐大的數(shù)據(jù)庫,需要各專業(yè)的人士通力合作,是一個團(tuán)隊(duì)作業(yè)。類似我們這種半道出家的個人學(xué)習(xí)者,在不具備團(tuán)隊(duì)協(xié)作的條件下,可以在樣本數(shù)據(jù)的分析下點(diǎn)功夫。樣本數(shù)據(jù)我們也可以稱之為小數(shù)據(jù)。因此,書的名稱就定為《大數(shù)據(jù)時代小數(shù)據(jù)分析》。