引子

　　【51CTO專稿】在剛剛過去的四月份里，我們51CTO傳媒在京舉辦了《2013大數(shù)據(jù)全球技術(shù)峰會》，相信關(guān)注大數(shù)據(jù)、關(guān)注51CTO的朋友們，在這次大規(guī)模的技術(shù)盛宴里，更多地了解了大數(shù)據(jù)的奧秘。如果沒有趕上參加這場峰會的朋友，也不要心急，因?yàn)橛嘘P(guān)此次峰會概況的的視頻已經(jīng)出爐，感興趣的網(wǎng)友可以去我們的官網(wǎng)查看相關(guān)信息。本次峰會我們邀請了30多位來自國內(nèi)外的資深技術(shù)專家，能和這些專家近距離接觸，面對面交流，小編深感榮幸。為了深入挖掘大數(shù)據(jù)分析系統(tǒng)這方面信息，小編力邀到了某上市互聯(lián)網(wǎng)公司高級工程師馬先生，來共同探討了這一話題。

[[72900]]

（圖片來自百度）

　　大數(shù)據(jù)分析前期要做的事

　　其實(shí)，每一個數(shù)據(jù)都有一個ETL，就是抽取、轉(zhuǎn)化，然后去加載，包括做數(shù)據(jù)的清洗。如果數(shù)據(jù)大批量進(jìn)來的話，有些數(shù)據(jù)可能是有問題的，馬先生舉了個例子：比如說，好多地址會寫得比較模糊，如果要搜索北京這個詞的時(shí)候，數(shù)據(jù)倉庫里可能只有一個京字，這些都要統(tǒng)一整理成一個，比如說北京，這樣后面分析就會簡單，比如山東，有人會輸入“魯”字來進(jìn)行搜索，而不是山東，這就需要在大數(shù)據(jù)分析前期做好數(shù)據(jù)清理工作，做規(guī)范化，這樣后面的數(shù)據(jù)分析起來就方便很多。

搭建大數(shù)據(jù)分析系統(tǒng)的注意事項(xiàng)

　　在搭建大數(shù)據(jù)分析系統(tǒng)時(shí)，有哪些需要注意的事項(xiàng)？馬老師提到：首先要弄明白你所在企業(yè)需要什么樣的數(shù)據(jù)，或者你想得到什么價(jià)值，想明白了再去做。因?yàn)樽鰯?shù)據(jù)不像做別的東西，一定明確知道要知道你要干什么，不然這個系統(tǒng)搭的時(shí)候會有很多困難，不知道該怎么搭，不知道用什么技術(shù)，也不知道數(shù)據(jù)進(jìn)去是否在浪費(fèi)。而目前的情況是：很多企業(yè)可能會先把架構(gòu)搭出來，實(shí)際上這數(shù)據(jù)每天在算，但是不知道這數(shù)據(jù)帶來什么價(jià)值，所以更多是一個業(yè)務(wù)驅(qū)動的。再舉個例子：比如說中國移動就想挖一挖，到底是哪一個用戶老欠費(fèi)，哪一個用戶用得多，用的多的就給他優(yōu)惠多一點(diǎn)……如果他有這個需求，你再把這個需求下轉(zhuǎn)給下面的人，按照這個需求去開發(fā)；

　　其次，需要選擇適當(dāng)?shù)募夹g(shù)。比如說你一臺機(jī)器夠用的，不要用兩臺機(jī)器，能夠進(jìn)來報(bào)表就不要用交互報(bào)表，因?yàn)槟莻€都是有技術(shù)成本的，并且上線的速度會慢很多。所以建議任何一個企業(yè)在搭建數(shù)據(jù)分析以前，要特別清晰地知道其搭建的需求和目的，選擇什么方案，搭它來解決什么問題，針對需求你去做一個數(shù)據(jù)分析；

　　再次，在沒有時(shí)時(shí)性要求時(shí)，你不要自作主張，向老大提這個。因?yàn)榇蠊镜呐恳呀?jīng)做得非常完美了，可能批量已經(jīng)帶來35%的收入增加了，他要再做時(shí)時(shí)，再增加5%，而你現(xiàn)在什么都沒有。如果說先要做時(shí)時(shí)，或者先要全部搞出來的話，可能要先一步一部把35%做好，把那個批量先做出來，然后再做時(shí)時(shí)，這樣效果會更好。

　　不要濫搭大數(shù)據(jù)分析系統(tǒng)

　　技術(shù)這個東西都是相通的，沒有一項(xiàng)改進(jìn)都是說完全是重新造出來的，都是在改的，但是它帶來的價(jià)值不一樣，它帶來的人的思考，就跟人從零售店買東西和網(wǎng)商這種不一樣，但是技術(shù)，零售店也會用一些數(shù)據(jù)庫，網(wǎng)上也可能用，要在這個上面做一些轉(zhuǎn)變。馬老師談到，好多國企（這里就不點(diǎn)名），就是為了上項(xiàng)目去上項(xiàng)目，稱自己有海量數(shù)據(jù)。當(dāng)問他需要搭建的大數(shù)據(jù)系統(tǒng)是用來干什么，他們的答案很出乎意料：先給搭起來，先存起來，需要的時(shí)候再用，就這種思想。其實(shí)這個是沒有必要的。

　　總結(jié)

　　雖然大數(shù)據(jù)現(xiàn)在炙手可熱，大數(shù)據(jù)分析越來越火爆，很多企業(yè)都在試圖擁抱大數(shù)據(jù)技術(shù)。但還是應(yīng)該具體問題具體分析，因?yàn)榇髷?shù)據(jù)分析系統(tǒng)并非適合所有的企業(yè)，一些小型規(guī)模的企業(yè)在舊系統(tǒng)能滿足需求的時(shí)候，就不要盲目地去追隨潮流，舍棄舊的系統(tǒng)重新搭建，也可能解決了這個小缺口，但是可能會滋生其它更大的問題，這就得不償失了。