提到當(dāng)下IT領(lǐng)域最時(shí)髦的詞，大家一定會(huì)想到“大數(shù)據(jù)”。隨著大數(shù)據(jù)技術(shù)的進(jìn)一步落地，各行各業(yè)的企業(yè)紛紛擁抱大數(shù)據(jù)。我們知道，豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。然而，雖然如今幾乎任何規(guī)模企業(yè)，每時(shí)每刻也都在產(chǎn)生大量的數(shù)據(jù)，但這些數(shù)據(jù)如何采集、提煉始終是一個(gè)困擾。于是，針對(duì)大數(shù)據(jù)的采集問題，51CTO記者在【WOT2015"互聯(lián)網(wǎng)+"時(shí)代大數(shù)據(jù)技術(shù)峰會(huì)】現(xiàn)場采訪了資深數(shù)據(jù)平臺(tái)架構(gòu)師，來自汽車之家的周紅剛。 

周紅剛畢業(yè)于中國傳媒大學(xué)，目前在汽車之家主要負(fù)責(zé)APP和WEB站點(diǎn)的數(shù)據(jù)采集工作，專注于將采集工作流程化、產(chǎn)品化。加入汽車之家前從事過電子商務(wù)、三維虛擬現(xiàn)實(shí)、視頻媒體應(yīng)用以及影視制作等多種行業(yè)和業(yè)務(wù)，充分體會(huì)數(shù)據(jù)采集工作在各行業(yè)應(yīng)用中的重要性和復(fù)雜性，并對(duì)如何建設(shè)一套高效的數(shù)據(jù)采集系統(tǒng)有充分的實(shí)戰(zhàn)經(jīng)驗(yàn)。

大數(shù)據(jù)時(shí)代，我們需要更加全面的數(shù)據(jù)來提高分析預(yù)測(cè)的準(zhǔn)確度，而全面的數(shù)據(jù)需要從海量的數(shù)據(jù)中來找到。如何才能采集到有價(jià)值的全面的數(shù)據(jù)呢?數(shù)據(jù)采集對(duì)很多企業(yè)來說并不是一件容易的事情，需要一定的方式方法。周紅剛表示，采集工作并不太復(fù)雜，針對(duì)APP的數(shù)據(jù)采集可以通過SDK，針對(duì)網(wǎng)頁數(shù)據(jù)的采集可以通過GS。其實(shí)說到底，就是提供一個(gè)地址，給這個(gè)地址發(fā)送數(shù)據(jù)，SGP的請(qǐng)求可以完成所有的事情，這是在大部分的流量常用的方式；還有一種是在服務(wù)器端，從文件里直接解讀；另外，還可以通過黑客的方式，從路由器、網(wǎng)絡(luò)里面直接截取，但這不屬于常規(guī)方法。

在數(shù)據(jù)的采集工作中，除了技術(shù)以外更多還要考慮業(yè)務(wù)，特別是滿足業(yè)務(wù)方的需求是個(gè)難點(diǎn)。另外，因?yàn)閿?shù)據(jù)的采集處在數(shù)據(jù)的前端，如果采集過程中數(shù)據(jù)丟失了，這是件可怕的事情。所以數(shù)據(jù)采集前首先要充分了解需求，在發(fā)生問題的時(shí)候能快速解決，還要避免數(shù)據(jù)的丟失。

周紅剛表示，雖然數(shù)據(jù)采集的技術(shù)上的技巧不多，但是還是有很多小的方法的。比如：通過自動(dòng)化，自動(dòng)部署統(tǒng)計(jì)代碼，自動(dòng)排查加碼錯(cuò)誤以及自動(dòng)預(yù)警系統(tǒng)異常。或者通過學(xué)習(xí)第三方的方法，融合對(duì)方的長處。

后記

作為中國傳媒大學(xué)的畢業(yè)生，周紅剛在經(jīng)歷電子商務(wù)、安卓開發(fā)等工作后，為何最終選擇了數(shù)據(jù)平臺(tái)架構(gòu)師這份工作。周紅剛戲稱：“我是中國傳媒大學(xué)廣播學(xué)院表演系畢業(yè)的，我一直在扮演一個(gè)程序員。”并告訴筆者，“‘架構(gòu)師’是一個(gè)職務(wù)的名稱。因?yàn)槲覀儠?huì)系統(tǒng)性地去看待一個(gè)東西，不管你是做事、還是做技術(shù)，你看得越上層越全面會(huì)越好。做架構(gòu)師，能讓我能站在寫代碼之上的東西來更好地看待它，對(duì)我很有幫助。”

周紅剛表示要想做好一名數(shù)據(jù)平臺(tái)架構(gòu)師，首先要思路要跟上，多做除技術(shù)之外還要多考慮架構(gòu)問題，確定方向，這樣更容易進(jìn)行以后的工作。再次，讓采集系統(tǒng)之外的人能夠理解這個(gè)架構(gòu)，并抽象出來。

 戳下方圖片，更有料！

（WOT2015大數(shù)據(jù)技術(shù)峰會(huì)總結(jié)專題）