基于常規(guī)法則的大數(shù)據(jù)分析最佳實(shí)踐
由于出現(xiàn)了新詞匯、新技術(shù)、新產(chǎn)品和新提供商,“大數(shù)據(jù)”分析讓人很陌生,但是經(jīng)過(guò)檢驗(yàn)的數(shù)據(jù)管理***實(shí)踐方法一樣能夠在這個(gè)仍然屬于新興學(xué)科的領(lǐng)域發(fā)揮作用。
與各種商業(yè)智能(BI)和數(shù)據(jù)倉(cāng)庫(kù)一樣,專家認(rèn)為在開(kāi)始進(jìn)行大數(shù)據(jù)分析項(xiàng)目之前,清晰理解組織的數(shù)據(jù)管理需求和明確策略是非常重要的。大數(shù)據(jù)分析被廣泛地進(jìn)行討論,而且各種行業(yè)的公司都充斥著新數(shù)據(jù)源和不斷增多的信息。但是,在未明確這樣做能夠真正給公司帶來(lái)什么價(jià)值之前,就投入大量的資源應(yīng)用大數(shù)據(jù)技術(shù),這就是所謂用戶的最嚴(yán)重失誤。
David Menninger是Ventana研究公司的一名分析師,他主要關(guān)注于BI、分析與信息管理技術(shù)。他認(rèn)為不要在這個(gè)技術(shù)上表現(xiàn)得太激進(jìn),要先從業(yè)務(wù)角度著手,并且要與CIO、數(shù)據(jù)科學(xué)家和業(yè)務(wù)人員進(jìn)行交流,一起確定業(yè)務(wù)目標(biāo)和預(yù)期價(jià)值,然后再開(kāi)始動(dòng)手。
準(zhǔn)確定義可用的數(shù)據(jù)和確定組織***利用這些資源的方式是整個(gè)過(guò)程中最關(guān)鍵的部分。Menninger指出,CIO、IT經(jīng)理和BI人員需要確定所保留、聚集和使用的數(shù)據(jù)是什么,并且將它們與丟棄的數(shù)據(jù)進(jìn)行比較。同時(shí)一定要考慮目前仍未涉及但可能會(huì)加入的外部數(shù)據(jù)源。
Menninger指出,即使公司不確定何時(shí)及如何應(yīng)用大數(shù)據(jù)分析,盡早進(jìn)行這種評(píng)估仍然是有好處的。此外,開(kāi)始數(shù)據(jù)捕捉的過(guò)程能夠幫助您準(zhǔn)備好實(shí)現(xiàn)最終的跳躍。他說(shuō):“即使您不知道將使用它來(lái)做什么,也要先捕捉數(shù)據(jù)。否則,您就會(huì)失去一個(gè)機(jī)會(huì),因?yàn)槟鷽](méi)有足夠的歷史數(shù)據(jù)可以分析。”
大數(shù)據(jù)要從小開(kāi)始
分析大數(shù)據(jù)集也一樣要從小機(jī)會(huì)開(kāi)始,然后再使用它們作為起點(diǎn)。隨著公司不斷地?cái)U(kuò)大分析的數(shù)據(jù)源和信息類型,以及開(kāi)始創(chuàng)建最重要的分析模型,幫助他們發(fā)現(xiàn)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的模式和相關(guān)性,他們需要注意那些對(duì)于預(yù)期業(yè)務(wù)目標(biāo)而言最重要的結(jié)果。
Gartner公司的分析師Yvonne Genovese指出:“如果您最終只能尋找新的模式,而且它們毫無(wú)用處,那么您肯定遇到死角了。”
ComScore公司專門(mén)跟蹤互聯(lián)網(wǎng)使用,為企業(yè)客戶提供Web分析和銷售智能服務(wù)。它們很早就認(rèn)識(shí)到需要某種大數(shù)據(jù)策略。但是,ComScore選取了一些非常有針對(duì)性的點(diǎn),然后再慢慢建立自己的大數(shù)據(jù)分析項(xiàng)目。
ComScore的軟件工程副總裁Will Duckworth說(shuō):“我們從小開(kāi)始——提取各個(gè)數(shù)據(jù)流,再將它們傳輸?shù)讲煌南到y(tǒng)。如果您無(wú)法達(dá)到一定的規(guī)模,您是無(wú)法一夜之間做到這一點(diǎn)的。”
鑒于公司處理的數(shù)據(jù)量,規(guī)模正是comScore重視的方面。早在2009年,當(dāng)它一開(kāi)始每天只采集到3億條記錄的時(shí)候——現(xiàn)在每天達(dá)到230億條記錄并仍在增長(zhǎng),Duckworth就開(kāi)始尋找一些新系統(tǒng)和技術(shù)基礎(chǔ)架構(gòu),以高效地完成comScore的數(shù)據(jù)處理。
不要忘記最終目標(biāo)仍是大數(shù)據(jù)
通過(guò)利用開(kāi)源Hadoop 技術(shù)和新型分析工具,Duckworth對(duì)開(kāi)源環(huán)境進(jìn)行了優(yōu)化,這樣SQL的業(yè)務(wù)分析人員便可以更容易地接受。他指出,在確定大數(shù)據(jù)分析實(shí)施計(jì)劃時(shí),公司一定要重視規(guī)模因素。
他解釋說(shuō):“您一定要考慮到變化——從現(xiàn)在開(kāi)始的半年內(nèi),您需要處理多少數(shù)據(jù),您需要增加多少服務(wù)器,是否由軟件來(lái)完成這些任務(wù)。人們并沒(méi)有考慮到數(shù)據(jù)增長(zhǎng)的程度,以及觖決方案部署到生產(chǎn)環(huán)境后的流行程度。”
在陷入大數(shù)據(jù)“新常態(tài)”之后,許多公司經(jīng)常忽略的另一個(gè)方面是數(shù)據(jù)管理的“舊常態(tài)”仍然是有效的。
Gartner的另一位分析師Marcus Collins指出,“信息管理實(shí)踐方法對(duì)于現(xiàn)在的大數(shù)據(jù)和以前的數(shù)據(jù)倉(cāng)庫(kù)都是一樣重要的。即使是對(duì)于希望增加處理靈活性的公司而言,他們也要記住一點(diǎn),信息是企業(yè)資產(chǎn),應(yīng)該一如繼往地保持重視。”