【51CTO專稿】說到大數(shù)據(jù)，你先想到什么？

超過PB級(jí)的流量和存儲(chǔ)，電子商務(wù)網(wǎng)站的各種購買記錄、購物車記錄和頁面瀏覽記錄，上億用戶級(jí)別的社交網(wǎng)絡(luò)，抓取整個(gè)互聯(lián)網(wǎng)的搜索引擎，金融領(lǐng)域以秒作為時(shí)間間隔的、快速變更的交易信息，3D地圖，每天增長(zhǎng)飛速的圖片、音頻和視頻流……

業(yè)界對(duì)大數(shù)據(jù)普遍進(jìn)行了幾方面的特征定義，如數(shù)據(jù)量大、數(shù)據(jù)類型復(fù)雜、處理速度快。再說的直白點(diǎn)，大數(shù)據(jù)相比“傳統(tǒng)”上的數(shù)據(jù)處理，不過是各方面維度的量級(jí)增加而已，由于技術(shù)的進(jìn)步，把以前需要用大型機(jī)計(jì)算一個(gè)月的數(shù)據(jù)，變成用一個(gè)普通的機(jī)器或廉價(jià)的集群用幾秒鐘就能處理完畢的工作。

從這個(gè)角度來看，大數(shù)據(jù)的趨勢(shì)其實(shí)針對(duì)各行各業(yè)都適用，而并非只是互聯(lián)網(wǎng)、金融、搞氣象或天文的科研機(jī)構(gòu)這幾個(gè)行業(yè)的專屬趨勢(shì)。所以，當(dāng)微軟的CIO也開始談?wù)摯髷?shù)據(jù)的時(shí)候，各位也不必感到驚訝。

上周，微軟公司副總裁兼首席信息官Tony Scott（@kncukier）在北京微軟大廈與幾家媒體見面，一起聊了一些大數(shù)據(jù)方面的話題，51CTO記者也受邀參加。在談到大數(shù)據(jù)的整體趨勢(shì)時(shí)，Scott很高興的將自己兒子的一個(gè)案例故事分享給大家聽：

“我兒子最近在洛杉磯，自己創(chuàng)辦了一家小企業(yè)。我非常驚訝的發(fā)現(xiàn)，他免費(fèi)的獲得了很多的洛杉磯本土的人文信息，他從事行業(yè)的業(yè)務(wù)信息以及流量信息。對(duì)大量的免費(fèi)信息進(jìn)行綜合分析之后，能夠準(zhǔn)確地做一個(gè)業(yè)務(wù)決策：這個(gè)業(yè)務(wù)從哪兒開始做，如業(yè)務(wù)門店的選址等。如果是在十年之前，這樣的數(shù)據(jù)要么是無法獲得，要么就是要花高昂的成本購買。但是現(xiàn)在令人驚喜的一點(diǎn)是，所有的數(shù)據(jù)是免費(fèi)的，而且為他提供很好的知情的業(yè)務(wù)決策。”

[[78301]]

微軟全球CIO Tony Scott

一個(gè)獨(dú)立創(chuàng)業(yè)者涉及到的數(shù)據(jù)量雖然還稱不上多“大”，但要知道這可僅僅是冰山一角。單單是“門店選址”這一塊需求，不用說面向整個(gè)城市，想想看單就海淀區(qū)有多少這方面的需求：就算不考慮那些街邊賣水果煎餅的路攤，要考慮到人流量、時(shí)間段、購買能力、購買欲望等等因素，這個(gè)數(shù)據(jù)量就已經(jīng)相當(dāng)可觀了。

大數(shù)據(jù)在微軟

根據(jù)Scott的介紹，目前微軟內(nèi)部的IT部門負(fù)責(zé)對(duì)微軟在全球的9萬名直接員工提供服務(wù)，加上微軟服務(wù)供應(yīng)商和外部咨詢員等第三方人員，總用戶數(shù)量大約在27萬左右。IT部門本身不擁有數(shù)據(jù)中心：他們自己也是微軟各種云計(jì)算業(yè)務(wù)的租戶之一，如Azure，Office 365，MSN，Bing搜索，Hotmail等等。

針對(duì)這27萬用戶的服務(wù)，微軟IT部門直接可管理的物理服務(wù)器有8000臺(tái)，如果考慮虛擬化的情況則是至少24000個(gè)虛機(jī)，整個(gè)集群上運(yùn)行著代號(hào)為Isotope的微軟大數(shù)據(jù)平臺(tái)（Hadoop到Windows Server的端口），為微軟內(nèi)部的營(yíng)銷團(tuán)隊(duì)、測(cè)試團(tuán)隊(duì)等用戶提供支持。IT部門管理的終端聯(lián)網(wǎng)設(shè)備在30萬臺(tái)左右，其中有大量的PC機(jī)，還有因最近BYOD（自帶設(shè)備辦公）趨勢(shì)下所增長(zhǎng)的個(gè)性化移動(dòng)設(shè)備。

“關(guān)于我們的營(yíng)銷團(tuán)隊(duì)的一個(gè)例子，他們?cè)噲D對(duì)各種不同類型客戶的在線和離線行為進(jìn)行建模。他們的數(shù)據(jù)集從數(shù)億到數(shù)十萬不等，由于當(dāng)前模型預(yù)測(cè)的局限性，試圖對(duì)在線和離線進(jìn)行建模是非常困難的。根據(jù)我們的大數(shù)據(jù)演示，未來我們應(yīng)該能夠提供更強(qiáng)大的預(yù)測(cè)變量，更好的控制模型開發(fā)，更靈活的驗(yàn)證模型，縮短結(jié)果呈現(xiàn)的周期，并降低開發(fā)和維護(hù)成本。”

Scott也提到這個(gè)平臺(tái)是如何支持上周剛剛發(fā)布RP版本的Windows 8產(chǎn)品開發(fā)的。眾所周知，Windows自身有一套bug反饋系統(tǒng)，在用戶系統(tǒng)崩潰了的時(shí)候，系統(tǒng)會(huì)將錯(cuò)誤報(bào)告發(fā)送給微軟的研發(fā)團(tuán)隊(duì)。比如在Windows 8的測(cè)試版本發(fā)布之后，就會(huì)收到來自上百萬臺(tái)PC反饋的信息。對(duì)這些bug信息進(jìn)行分析建模，根據(jù)反饋的結(jié)果進(jìn)行產(chǎn)品改良，才有最終Windows 8的完成。

大數(shù)據(jù)在各行各業(yè)

微軟的IT部門跟許多非企業(yè)級(jí)技術(shù)類公司的IT部門的職責(zé)還不完全一樣。由于微軟本身就是一個(gè)龐大的企業(yè)，而微軟的大部分業(yè)務(wù)是面向企業(yè)級(jí)用戶所研發(fā)的，因此微軟會(huì)先內(nèi)部部署試用自己的產(chǎn)品（即業(yè)界常常提到的“吃狗糧”文化）。也正因?yàn)槿绱?，雖然身為微軟面向內(nèi)部的CIO，但Scott也會(huì)經(jīng)常跟微軟的產(chǎn)品技術(shù)部門溝通，也會(huì)跟微軟的客戶們溝通，使微軟自身能夠以微軟產(chǎn)品“第一用戶”的身份進(jìn)行經(jīng)驗(yàn)分享。而Scott還有另一個(gè)優(yōu)勢(shì)，就是在加盟微軟之前，他曾先后在萬豪國際集團(tuán)、通用汽車、迪斯尼等企業(yè)就職，對(duì)于這些傳統(tǒng)行業(yè)的狀態(tài)和需求都有一定的了解。

“對(duì)于制造行業(yè)來說，有的制造商屬于大的制造商，他們生產(chǎn)的產(chǎn)品數(shù)以百萬計(jì)，而且在全球進(jìn)行分銷，這些產(chǎn)品可能是PC機(jī)、手機(jī)，或者其他的智能設(shè)備，或者是汽車。對(duì)于這些制造商來說，他們必須收集用戶使用這些產(chǎn)品的信息，幫助他們?nèi)ラ_發(fā)、生產(chǎn)更高質(zhì)量，而且對(duì)用戶來說更適用的產(chǎn)品……再比如說我們有一個(gè)規(guī)模非常大的工廠，可能每天要生產(chǎn)幾千臺(tái)大型的設(shè)備，整個(gè)制造流水線當(dāng)中有不同的流程。那么就需要收集每個(gè)流程的信息，從而更好地進(jìn)行質(zhì)量的控制，提高最終成品的質(zhì)量。這樣的技術(shù)應(yīng)用已經(jīng)在汽車制造行業(yè)，電子設(shè)備制造行業(yè)，還有一些醫(yī)療設(shè)備制造行業(yè)所廣泛的使用。”

Scott也曾經(jīng)在醫(yī)藥公司工作過。“你也知道，醫(yī)藥公司早期的研發(fā)或者銷售時(shí)，通常都是搜集月度的信息，利用原來傳統(tǒng)的數(shù)據(jù)庫的工具，花幾個(gè)月才能分析出來?，F(xiàn)在有了大數(shù)據(jù)的工具，我們以小時(shí)為單位來采集數(shù)據(jù)，在不到幾分之幾秒的時(shí)間里獲得以前一個(gè)星期甚至一個(gè)月才能得出的數(shù)據(jù)結(jié)果。而且這一切都是以實(shí)時(shí)方式實(shí)現(xiàn)的。”

共同的機(jī)遇與挑戰(zhàn)

現(xiàn)在，有云計(jì)算集群這樣價(jià)格相對(duì)低廉的、可出租的強(qiáng)大計(jì)算力，有Hadoop這樣開源的軟件框架來支持海量數(shù)據(jù)的快速分析，一些以前需要一個(gè)資金雄厚的組織花費(fèi)大量人力物力完成的任務(wù)，現(xiàn)在很可能一個(gè)不到十人的小團(tuán)隊(duì)，花費(fèi)很少的成本就能夠完成。

“對(duì)于微軟的客戶來說，最關(guān)鍵的一點(diǎn)，一方面通過云的技術(shù)能夠讓用戶獲得無限計(jì)算的資源，來去分析大規(guī)模的數(shù)據(jù)，而且對(duì)客戶來說，成本是低到可以接受的程度。通過對(duì)大數(shù)據(jù)的分析，能夠讓客戶獲得獨(dú)一無二的洞察力，而且有的時(shí)候是非常專業(yè)性的學(xué)習(xí)能力。而且隨著時(shí)間的推移，每一年這樣的學(xué)習(xí)能力，這樣的洞察力都在變得更好。”Scott十分看好大數(shù)據(jù)應(yīng)用在各個(gè)專業(yè)領(lǐng)域的發(fā)展前景。“我們看到在不同的領(lǐng)域，比如說醫(yī)藥領(lǐng)域，科學(xué)技術(shù)領(lǐng)域，基礎(chǔ)研究領(lǐng)域，制造，甚至是天氣預(yù)報(bào)的領(lǐng)域，都出現(xiàn)一些非常有意思的大數(shù)據(jù)類型的應(yīng)用。而且逐漸的也能夠?qū)@樣一些應(yīng)用帶來的成果進(jìn)行評(píng)估。正是因?yàn)橥ㄟ^私有云，或者公有云匯集計(jì)算的力量，我們才能夠獲得這樣一個(gè)獨(dú)一無二的機(jī)會(huì)，解決一些以前無法解決的非常有意義的問題。”

這也意味著整個(gè)市場(chǎng)會(huì)誕生很多新的機(jī)會(huì)。就企業(yè)而言，以前可能是一些在數(shù)據(jù)方面和統(tǒng)計(jì)學(xué)專業(yè)方面的商業(yè)分析員，使用著那些普通人看也看不懂的工具，每個(gè)月一次生成報(bào)表給業(yè)務(wù)人員和領(lǐng)導(dǎo)們看，由此輔助企業(yè)的戰(zhàn)略制定。而大數(shù)據(jù)應(yīng)用成熟之后，很多業(yè)務(wù)部門的人自己也可以用一些通用的工具來處理很多很容易就拿到的數(shù)據(jù)，進(jìn)行自己的業(yè)務(wù)決策。這種快速、低門檻的環(huán)境，將推動(dòng)大量細(xì)分市場(chǎng)的發(fā)展。

而另一方面，對(duì)于任何數(shù)據(jù)分析而言，都存在一個(gè)最初的問題：我們要收集哪些數(shù)據(jù)？要以怎樣的頻率收集這些數(shù)據(jù)？我們又要保留哪些數(shù)據(jù)？需要保留多長(zhǎng)的時(shí)間？很多時(shí)候，并不是數(shù)據(jù)越多越好。甚至對(duì)錯(cuò)誤的數(shù)據(jù)進(jìn)行分析，還會(huì)引導(dǎo)出錯(cuò)誤的商業(yè)決策。Scott認(rèn)為，目前我們還缺乏一個(gè)很好的框架來解決這些問題。不過，Scott建議大家可以從兩個(gè)方面來考慮：“第一個(gè)方面，你要了解，保留這些數(shù)據(jù)能帶來什么樣的商業(yè)價(jià)值？第二個(gè)方面，可以看看相關(guān)的IT治理政策條例是怎樣制定的。”

對(duì)于大數(shù)據(jù)方面，您有什么想法？歡迎留言討論！