大數(shù)據(jù)真是媒體的炒作嗎?大數(shù)據(jù)真的離我們還很遠嗎?或許，發(fā)生在一個世紀之前，人類征服南極的故事能夠回答這個問題。

　　1911年10月，兩支探險隊幾乎在同一時間開啟了南極探險之旅。一個是來自挪威的阿蒙森探險隊，一個是來自英國的斯科特探險隊。

　　這兩支探險隊有著諸多驚人的相似：兩個探險隊的隊長都是海軍出身，且均有10年以上極地探險的經(jīng)歷;兩支探險隊出發(fā)時間僅相差幾天，面對同樣惡劣的極地環(huán)境;沒有任何現(xiàn)代的通信手段，雙方因而都處于孤立無援的境地;兩支探險隊歷盡艱辛先后抵達南極。

　　然而，兩支探險隊的結(jié)局卻大不同：阿蒙森率領(lǐng)的挪威探險隊按照原定的日期安全返回，而斯科特率領(lǐng)的英國探險隊則在返程中不幸全隊覆沒。

　　這一典型的MBA案例，引起了美國管理學(xué)家兼暢銷書作者吉姆·柯林斯的濃厚興趣。

　　柯林斯注意到，阿蒙森為了征服南極做了很多準備，諸如：提前進行高強度身體訓(xùn)練、向紐因特人學(xué)習(xí)如何極地生存、準備了充足的補給品等等，但關(guān)鍵的制勝原因是阿蒙森放棄了公認的最佳出發(fā)地，而選擇了誰都不看好但卻距南極更近的出發(fā)地。最為重要的是，阿蒙森的決策是基于對此前60年來南極地區(qū)探險隊日志的全面分析。

　　這種基于實證主義的創(chuàng)造性不僅讓阿蒙森成為征服南極第一人，也促成了柯林斯的新著《選擇卓越》。眾所周知，柯林斯此前的三本暢銷書《基業(yè)長青》、《從優(yōu)秀到卓越》和《再造卓越》，均側(cè)重于研究企業(yè)如何通過提高績效最終實現(xiàn)卓越。但是，《選擇卓越》則把研究的重點放在企業(yè)如何在錯綜復(fù)雜而急劇變化的外部環(huán)境中成就卓越。

　　簡而言之，柯林斯的前三本暢銷書關(guān)注的是企業(yè)內(nèi)部管理績效的提升，關(guān)注的是結(jié)構(gòu)化數(shù)據(jù)應(yīng)用，因為基于流程的應(yīng)用所處理的數(shù)據(jù)對象只能是結(jié)構(gòu)化數(shù)據(jù)。而柯林斯的新著《選擇卓越》側(cè)重于復(fù)雜劇變的企業(yè)外部環(huán)境，要實時捕捉外部環(huán)境的變化唯有依賴非結(jié)構(gòu)化數(shù)據(jù)。

　　在柯林斯《選擇卓越》中文版(2012年)出版之前，《中國計算機報》已于2011年7月公開發(fā)布了《走向以人為本的信息化》白皮書。白皮書強調(diào)：國際金融危機對產(chǎn)業(yè)經(jīng)濟的影響，福島核泄漏與曼谷水災(zāi)等突發(fā)事件對產(chǎn)業(yè)的沖擊，行業(yè)主流技術(shù)的生命周期對市場格局的顛覆，自然資源與環(huán)境對企業(yè)發(fā)展的約束，經(jīng)濟全球化對國內(nèi)企業(yè)基于區(qū)域市場積累的管理經(jīng)驗和資源的顛覆，這些諸多因素的交織，構(gòu)成了當今復(fù)雜劇變的企業(yè)外部環(huán)境。

　　面對復(fù)雜外部環(huán)境，企業(yè)唯有通過非結(jié)構(gòu)化數(shù)據(jù)來實時捕獲環(huán)境的變化，并與當今基于流程的企業(yè)結(jié)構(gòu)化數(shù)據(jù)應(yīng)用相結(jié)合，才能充分挖掘出為可企業(yè)決策提供強有力支撐的數(shù)據(jù)價值，進而做出精確的決策，才能在實時駕馭復(fù)雜性的過程中走向卓越。

　　其實，早在2009年，聯(lián)合國就發(fā)出了“全球脈動”的倡議。該倡議認為，必須建立新的數(shù)字化指標，以實時了解外部情況變化，并及時地為各國決策者提供反饋。

　　聯(lián)合國2012年發(fā)布了《大數(shù)據(jù)促發(fā)展：機遇與挑戰(zhàn)》報告。報告指出，世界正經(jīng)歷著一場數(shù)據(jù)革命，而這一革命并不局限于工業(yè)化世界，發(fā)展中國家和地區(qū)同樣會產(chǎn)生出大量的實時信息流。由于世界正變得越來越難以控制，而事物之間存在著相互聯(lián)系，制定者更傾向于利用這些關(guān)系，采用更為簡單廉價的方式來防止世界不穩(wěn)定因素造成的損害或?qū)⑦@種損害保持在最低限度。

　　當今，經(jīng)濟全球化已將國家與國家、企業(yè)與企業(yè)緊密地聯(lián)系在一起。國家也好，企業(yè)也罷，都面對著復(fù)雜劇變的環(huán)境。誰能駕馭復(fù)雜性，并且獲益于這種復(fù)雜性——在競爭中勝出并走向卓越，某種意義上說，是在大數(shù)據(jù)上見分曉。

大數(shù)據(jù)市場在哪里

　　大數(shù)據(jù)是一筆龐大無比的資產(chǎn)，但如何“盤活”資產(chǎn)，讓大數(shù)據(jù)證明自己?這才是關(guān)鍵所在。

　　可喜的是，上至國家治理，下至企業(yè)決策乃至個人生活服務(wù)，都可以獲得大數(shù)據(jù)的鼎力支持。這些已經(jīng)出現(xiàn)了許多鮮活的例子——印第安納大學(xué)利用谷歌提供的心情分析工具，從近千萬條網(wǎng)民留言中歸納出六種心情，進而對道瓊斯工業(yè)指數(shù)的變化進行預(yù)測，準確率達到87%。華爾街德溫特資本市場公司分析3.4億微博賬戶留言，判斷民眾情緒，決定公司股票的買入或賣出。阿里巴巴根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務(wù)健康和講究誠信的企業(yè)，對他們發(fā)放無需擔保的貸款。歐洲多個城市通過分析實時采集的交通流量數(shù)據(jù)，指導(dǎo)駕車出行者選擇最佳路徑，改善城市交通狀況。

　　在中國，大數(shù)據(jù)應(yīng)用是何種景象?“為了梳理大數(shù)據(jù)應(yīng)用現(xiàn)狀、把握未來發(fā)展脈絡(luò)、為大數(shù)據(jù)的健康發(fā)展創(chuàng)造良好的氛圍，賽迪顧問組織了中國大數(shù)據(jù)重點行業(yè)應(yīng)用調(diào)研項目，涉及的調(diào)研對象包括：工業(yè)和信息化部相關(guān)部門、地方經(jīng)濟和信息化委員會、電信運營商、金融企業(yè)、IT廠商等。”賽迪顧問云計算產(chǎn)業(yè)研究中心韓耀強介紹道。

　　經(jīng)過為期三個月的調(diào)研，賽迪顧問發(fā)現(xiàn)了關(guān)于中國大數(shù)據(jù)市場的一些關(guān)鍵數(shù)字——2012年中國大數(shù)據(jù)IT應(yīng)用市場規(guī)模約為10.57億元，其中，互聯(lián)網(wǎng)、電信、金融等行業(yè)大數(shù)據(jù)IT應(yīng)用投資占據(jù)較大的市場份額，分別達到16.8%、12.3%和11.2%。未來三年大數(shù)據(jù)市場規(guī)模將呈現(xiàn)爆發(fā)式增長——近90%的年復(fù)合增長率，到2015年，大數(shù)據(jù)IT應(yīng)用市場規(guī)模將達到71.5億元。

　　“通過調(diào)研和座談，我們發(fā)現(xiàn)智慧城市、電信、金融等行業(yè)對大數(shù)據(jù)的應(yīng)用需求迫切，涌現(xiàn)出了一些有代表性的案例。”韓耀強指出，“這三個行業(yè)成為典型是有深層次原因的：我國智慧城市建設(shè)已經(jīng)進入提速發(fā)展時期，年初，住建部公布了90 個首批國家智慧城市試點名單，并配套4400 億授信額度;新式移動互聯(lián)網(wǎng)終端熱度居高不下，移動互聯(lián)網(wǎng)業(yè)務(wù)的需求呈爆炸式增長，電信業(yè)將圍繞著面向移動互聯(lián)網(wǎng)的應(yīng)用和內(nèi)容平臺轉(zhuǎn)移，以大數(shù)據(jù)為依托，走向以融合為中心的新時代;金融業(yè)務(wù)的載體與社交媒體、電子商務(wù)的融合越來越充分，金融業(yè)僅對原有15%的結(jié)構(gòu)化數(shù)據(jù)進行分析已經(jīng)不能滿足發(fā)展的需求，急需借助大數(shù)據(jù)戰(zhàn)略打破數(shù)據(jù)邊界，構(gòu)建更為全面的企業(yè)運營全景視圖。”

　　對行業(yè)用戶，賽迪顧問從專業(yè)咨詢的角度給出了兩點建議：“一是通過云平臺實現(xiàn)數(shù)據(jù)大集中，形成數(shù)據(jù)資產(chǎn);二是深度挖掘大數(shù)據(jù)的價值，推動企業(yè)智能決策。”這就要求企業(yè)打破“分散在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)無法形成集中的資源池、不能互聯(lián)互通”的尷尬局面，把集團的信息化架構(gòu)向云平臺遷移，實現(xiàn)數(shù)據(jù)的大集中與統(tǒng)一管理。這也要求企業(yè)重視對大數(shù)據(jù)的價值的深入分析與挖掘，推動企業(yè)決策機制從“業(yè)務(wù)驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)變，提高企業(yè)競爭力。

　　而作為數(shù)據(jù)處理、行業(yè)信息化解決方案中核心組件和平臺的提供商的英特爾，則從自身對行業(yè)的理解出發(fā)，給出了頗具實踐意義的建議和看法。

　　英特爾數(shù)據(jù)中心軟件部中國區(qū)CTO苗凱翔表示，大數(shù)據(jù)是構(gòu)建智慧城市必不可少的重要元素。大數(shù)據(jù)在智慧城市中的應(yīng)用需要分三個階段來具體實施。首先要進行數(shù)據(jù)的整合。其次是數(shù)據(jù)挖掘，這也是大數(shù)據(jù)管理的重點所在。這需要軟、硬件的高度配合與協(xié)作，也是當今IT企業(yè)爭相角逐的“賽場”。最后是把大數(shù)據(jù)變成可操作的行動，從而指導(dǎo)決策和運維。英特爾數(shù)據(jù)中心軟件部大數(shù)據(jù)產(chǎn)品技術(shù)顧問黎超認為，金融業(yè)和電信業(yè)本質(zhì)上都屬于服務(wù)行業(yè)，在服務(wù)行業(yè)里最關(guān)鍵的是大數(shù)據(jù)的價值杠桿，即怎么樣去做好客戶的精細化管理和精細化刻畫。

　　英特爾的合作伙伴同樣有話要說。用友醫(yī)療衛(wèi)生信息系統(tǒng)有限公司副總裁、用友智慧健康研究院首席專家徐春華表示，數(shù)據(jù)量一旦達到PB級，運行時間就成為關(guān)鍵參數(shù)，并行計算框架和基于列的數(shù)據(jù)庫架構(gòu)是正確的解決方法。博康智能網(wǎng)絡(luò)科技股份有限公司董事兼CTO田廣認為，結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)變、大數(shù)據(jù)到可用數(shù)據(jù)應(yīng)用的轉(zhuǎn)變、保證運算前提下后臺的運行和存儲是行業(yè)用戶最直觀的需求。

　　大數(shù)據(jù)機遇青睞誰

　　“一方面，大數(shù)據(jù)的每個環(huán)節(jié)對專業(yè)性的要求都很高，用戶的IT部門無法在所有環(huán)節(jié)都達到較高的專業(yè)性;另一方面，用戶更關(guān)心大數(shù)據(jù)分析的結(jié)果而不是處理過程，這使得用戶對大數(shù)據(jù)整體解決方案的需求巨大。”賽迪顧問云計算產(chǎn)業(yè)研究中心陳靚表示，IT廠商應(yīng)該好好把握大數(shù)據(jù)浪潮，以獲得再次增長的動力。

　　英特爾、EMC、甲骨文、SAP、IBM、微軟……巨頭們紛紛在行動，并分別在大數(shù)據(jù)采集、存儲、讀寫、運算、分析等多個環(huán)節(jié)形成了各自的優(yōu)勢，大數(shù)據(jù)IT市場一片繁榮景象。

　　賽迪顧問總結(jié)了IT巨頭在大數(shù)據(jù)上的特長：英特爾一方面準備了全面的，端到端的，跨越了凌動、單路雙路及多路至強處理器產(chǎn)品的核心硬件支持，所謂端到端，就是從大數(shù)據(jù)的采集，到傳輸，再到存儲、處理和查詢，以及分析階段，都有相對應(yīng)的創(chuàng)新予以支撐。而由英特爾中國團隊領(lǐng)銜開發(fā)的Apache Hadoop軟件的英特爾分發(fā)版不但可提供開源版本所不具備的強大技術(shù)支持，還針對英特爾架構(gòu)硬件平臺進行了充分優(yōu)化;Oracle融合中間件對大數(shù)據(jù)整個生命周期提供全面支持，包括快速數(shù)據(jù)分析、整合不同大數(shù)據(jù)源，已經(jīng)從海量時間流中處理高質(zhì)量數(shù)據(jù)的能力;SAP HANA和SAP Sybase IQ都將進一步支持大數(shù)據(jù)數(shù)據(jù)源;IBM的優(yōu)勢在于其信息管理平臺、信息整合與治理、分析能力，以及平衡配置的IT基礎(chǔ)架構(gòu);微軟希望將Hadoop集成到Windows系統(tǒng)中，在Windows Azure、Windows Server、SQL Server 2012上全面支持Hadoop。

　　不難發(fā)現(xiàn)，x86架構(gòu)為大數(shù)據(jù)提供了最底層的支持。“Hadoop的分布式架構(gòu)使得大數(shù)據(jù)處理基于x86架構(gòu)成為可能， Hadoop可以利用高性價比的x86服務(wù)器組成高性能集群，當數(shù)據(jù)量增加到無法承載的時候，只需增加相應(yīng)節(jié)點即可滿足存儲和計算需求，價格低廉的存儲和計算是大數(shù)據(jù)的推動力。同時，Hadoop基于x86架構(gòu)運行，也是 Hadoop快速發(fā)展并被廣泛接受的重要原因。”韓耀強指出，x86的橫向可擴展性是其天然優(yōu)勢，也是實現(xiàn)大數(shù)據(jù)存儲和處理基礎(chǔ)架構(gòu)的橫向擴展的前提。此外， x86節(jié)點提供了較高的計算密度、較低的成本和功耗，以及簡單靈活的管理。

　　“大數(shù)據(jù)領(lǐng)域的軟硬件集成顯得很重要——通過軟硬集成的整體方案，可以使軟硬件性能得到更好的優(yōu)化，保證存儲、服務(wù)器以及數(shù)據(jù)分析軟件之間的兼容性、一致性以及它們的可擴展性，從而保障用戶的數(shù)據(jù)安全與數(shù)據(jù)分析效率。”實際上，英特爾已經(jīng)將這一理念很好地在其大數(shù)據(jù)策略中貫徹執(zhí)行了——英特爾亞太研發(fā)有限公司總經(jīng)理、英特爾軟件與服務(wù)事業(yè)部中國區(qū)總經(jīng)理何京翔強調(diào)，以基于至強處理器的高效IT基礎(chǔ)設(shè)施為基石，英特爾在數(shù)據(jù)組織與管理層，針對大數(shù)據(jù)的分發(fā)和管理需求，提供針對英特爾平臺優(yōu)化的Apache Hadoop軟件的英特爾分發(fā)版和相配套的技術(shù)服務(wù);在分析與發(fā)現(xiàn)層，提供針對客戶端與服務(wù)器端算法開發(fā)的支持;在決策支持與IT服務(wù)層，聯(lián)合合作伙伴，提供更為優(yōu)化的可視化應(yīng)用體驗。

　　可能的競爭格局

　　x86架構(gòu)可以在大數(shù)據(jù)領(lǐng)域繼續(xù)獨領(lǐng)風騷嗎?

　　“對計算能力要求比較高的用戶，x86是首選，而大數(shù)據(jù)要求CPU的指令集更適合非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的處理，內(nèi)存讀寫速度更快，內(nèi)存或主板的邏輯結(jié)構(gòu)更適合進行內(nèi)存計算等高速計算。”軟件與信息服務(wù)業(yè)研究所研究員劉瓊表示，“x86架構(gòu)在這些方面的優(yōu)勢明顯。”

　　軟件支持則是x86的另外一張王牌——在x86平臺上涌現(xiàn)了很多支持大數(shù)據(jù)的軟件。僅以英特爾為例，它從硬件和軟件層面分別對Hadoop進行優(yōu)化，為企業(yè)大數(shù)據(jù)處理提高了穩(wěn)定性和易用性。英特爾基于Hadoop開源框架針對英特爾平臺進行了一系列優(yōu)化工作，使得在英特爾平臺上實現(xiàn)Hadoop的處理能力達到“接近于實時”的處理效果。

　　那么大數(shù)據(jù)領(lǐng)域的開源軟件與商業(yè)軟件會以何種形式相處?“很多企業(yè)會感到郁悶，覺得被軟件廠商綁架了，因為要不停地進行巨額的軟件投資以跟上新技術(shù)的發(fā)展步伐。從互聯(lián)網(wǎng)行業(yè)的成功范例來看，可推廣的模式是開源與商業(yè)化相結(jié)合。”黎超表示，開放使得用戶能夠建立完整的知識體系，商業(yè)化則能引入競爭，在開放與商業(yè)化結(jié)合的平臺上，新技術(shù)的發(fā)展會讓用戶和解決方案提供商實現(xiàn)雙贏。

　　在開源軟件的基礎(chǔ)上添加自家的“獨門絕技”的同時(這是英特爾、IBM、微軟等廠商紛紛采用的策略)，也為開源社區(qū)積極貢獻自己的力量——作為開源界的知名支持者，英特爾為 Apache Hadoop 框架及相關(guān)項目做出了重要貢獻，如使得開源社區(qū)和用戶能夠充分利用現(xiàn)有及未來數(shù)據(jù)中心的基礎(chǔ)硬件、存儲和網(wǎng)絡(luò)技術(shù)。

#p#

　　大數(shù)據(jù)走向何方

　　“從政策面、市場、技術(shù)等層面，我們都能找到大數(shù)據(jù)前行的動力。”韓耀強介紹道。的確，雖然目前國家還沒有專門針對大數(shù)據(jù)出臺相關(guān)政策，但對于海量數(shù)據(jù)處理技術(shù)等具體技術(shù)給予了明確的支持。市場一致認為大數(shù)據(jù)的深度應(yīng)用不僅有助于企業(yè)經(jīng)營活動，還有利于推動國民經(jīng)濟、社會管理發(fā)展，這激發(fā)了行業(yè)用戶對數(shù)據(jù)分析與挖掘技術(shù)的更為強烈需求。而就技術(shù)而言，新一代信息技術(shù)正以前所未有的速度轉(zhuǎn)化為現(xiàn)實生產(chǎn)力，深刻改變世界科技和經(jīng)濟發(fā)展形態(tài)，大數(shù)據(jù)則是新一代信息技術(shù)的先鋒和代表，已經(jīng)成長為一種新的業(yè)態(tài)。

　　基于對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的歷史及未來趨勢的理解和把握，賽迪顧問繪制了大數(shù)據(jù)產(chǎn)業(yè)發(fā)展路線圖，從運行支撐層、組織與管理層、分析與發(fā)現(xiàn)層、應(yīng)用服務(wù)層進行了解讀：運行支撐層的發(fā)展主要集中在高性能服務(wù)器集群以及存儲技術(shù)的發(fā)展上，預(yù)計未來高性能服務(wù)器集群將更多地采用x86架構(gòu)，同時大數(shù)據(jù)一體機將成為大數(shù)據(jù)產(chǎn)品中重要的產(chǎn)品形態(tài);組織管理層的技術(shù)創(chuàng)新主要集中在Hadoop的持續(xù)完善，基礎(chǔ)架構(gòu)和技術(shù)的更新必將給大數(shù)據(jù)組織帶來管理效率上的提升;在分析與發(fā)現(xiàn)層，各種BI軟件的推出是該層的主要特點之一，此外AI、機器學(xué)習(xí)等領(lǐng)域也得益于大數(shù)據(jù)處理技術(shù)的快速發(fā)展，大數(shù)據(jù)對于決策支撐的意義將日益凸顯;在應(yīng)用服務(wù)層，大數(shù)據(jù)服務(wù)將從目前主要服務(wù)于企業(yè)自身需求的層面擴展到更廣闊的領(lǐng)域，一些針對個人的大數(shù)據(jù)服務(wù)也將推出，此類服務(wù)的泛在化成為主要特點。 整體而言，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展將呈現(xiàn)“平臺化”、“精準化”、“實時化”、“預(yù)見化”的特點。

　　“話說回來，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展離不開政策的支持、用戶意識的覺醒和解決方案提供商的努力。”韓耀強指出，制定積極的政策法規(guī)并創(chuàng)建適度寬松的大數(shù)據(jù)發(fā)展環(huán)境，以及啟動大數(shù)據(jù)相關(guān)立法，從標準和法律層面保障信息安全會成為“獻計獻策”者向政府提出的建議。而IT廠商則應(yīng)該深刻洞察用戶需求，提供高可用性的整體解決方案，以細分領(lǐng)域的創(chuàng)新為突破口，提供有行業(yè)特色的專家級方案。

　　case1 浙江省臺州市智能交通管理解決方案

　　案例要點：臺州市交通部門在不到1秒內(nèi)即可得到從24億條過車數(shù)據(jù)中根據(jù)車牌號查詢出的行車軌跡。

　　浙江省臺州市經(jīng)濟發(fā)展迅猛，地方交通持續(xù)擁堵，機動車輛不斷增加。為此，地方交通部門采用了數(shù)據(jù)驅(qū)動的方法，在市內(nèi)重要檢查點安裝了上千臺數(shù)字監(jiān)控設(shè)備，7×24小時不間斷捕獲圖像和視頻數(shù)據(jù)，每月數(shù)據(jù)量達到TB量級。

　　臺州市交通部門利用22臺基于英特爾至強 E5系列的服務(wù)器、198TB存儲空間構(gòu)建了臺州市交通數(shù)據(jù)中心，對交通信息實現(xiàn)集中存儲與管理。利用Hadoop 分布式文件系統(tǒng)(HDFS)和Apache HBase實現(xiàn)基礎(chǔ)過車結(jié)構(gòu)化數(shù)據(jù)的永久存儲，可以實時對數(shù)據(jù)檢索，并隨時無縫擴容。依托英特爾開放數(shù)據(jù)分析平臺的優(yōu)勢，實現(xiàn)海量數(shù)據(jù)的挖掘和分析。

　　英特爾至強E5系列增強了系統(tǒng)I/O處理能力，單服務(wù)器允許平均每秒250次500KB尺寸圖片同步傳輸或2000次異步并發(fā)存儲。Apache Hadoop軟件的英特爾分發(fā)版提供了高度容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案，可為海量信息提供可靠存儲，并無縫容量擴充。Apache Hadoop軟件的英特爾分發(fā)版滿足了車輛監(jiān)控系統(tǒng)復(fù)雜的數(shù)據(jù)查詢需求，不到1秒的時間即可得到從24億條過車數(shù)據(jù)中根據(jù)車牌號查詢出的行車軌跡。

　　臺州市機動車違法圖像信息在系統(tǒng)的保存周期從3個月延長到24個月，交通部門可根據(jù)車輛的顏色、車型、號牌等信息實時查詢其歷史行為、行車路線和車輛營運公司、駕駛?cè)说汝P(guān)聯(lián)信息。交警可以從24億條過車數(shù)據(jù)中輕松檢索被監(jiān)測機動車的行車軌跡。管理部門可以便捷利用關(guān)聯(lián)車輛的分析數(shù)據(jù)。根據(jù)24億條實際過車數(shù)據(jù)進行兩卡點、多卡點的伴隨車輛和碰撞車輛的復(fù)雜分析，耗時僅為10秒左右。

　　case2 中國移動廣東分公司詳單實時查詢

　　案例要點：用戶可在1秒內(nèi)查到6個月的詳單數(shù)據(jù)，并支持2000個查詢并發(fā)。

　　中國移動現(xiàn)有計費系統(tǒng)維護成本高，無法應(yīng)對個性化客戶需求的增長。RDBMS 解決方案無法滿足存儲規(guī)模和實時查詢要求，進而無法為用戶提供滿意的服務(wù)。

　　中國移動廣東分公司使用專為 Hadoop 軟件優(yōu)化的至強5600系列通用計算平臺取代 RISC 平臺，并采用Apache Hadoop軟件的英特爾分發(fā)版來消除數(shù)據(jù)訪問瓶頸和發(fā)現(xiàn)用戶使用習(xí)慣，開展更有針對性的營銷和促銷活動。并利用 Hadoop分 布式數(shù)據(jù)庫(Hadoop HBase)擴展存儲。“大數(shù)據(jù)表”增強了 Hadoop HBase，可以跨節(jié)點自動分割數(shù)據(jù)表，降低存儲擴展成本。

　　基于Apache Hadoop軟件的英特爾分發(fā)版的基本優(yōu)化算法，使應(yīng)用程序變得更高效，計算存儲數(shù)據(jù)可以更均衡地分布。借助至強系列硬件技術(shù)，英特爾至強處理器安裝程序控制的自動調(diào)諧配置有助于無縫地優(yōu)化性能。經(jīng)過充分測試的Apache Hadoop軟件的英特爾分發(fā)版可確保長期穩(wěn)定運行，它與最新的開放源碼相集成，確保了各個組成部分之間的一致性，并且得到英特爾充分支持，從而簡化了運營管理。

　　新解決方案的性能顯著提高，使整體硬件投資減少，提高能源效率，成本明顯低于基于RISC的舊系統(tǒng)。由于集群分配服務(wù)的總體網(wǎng)絡(luò)帶寬高，這個解決方案帶來了高速的 HBase 數(shù)據(jù)庫訪問。新賬單查詢系統(tǒng)具有較低的總體擁有成本、高擴容能力和高處理性能，可讓用戶在1秒內(nèi)查到6個月的詳單，并支持2000個查詢并發(fā)，從而為中國移動廣東公司在高業(yè)務(wù)量的背景下不斷改進客戶服務(wù)奠定了堅實的基礎(chǔ)。

　　case3 遼寧省錦州市區(qū)域醫(yī)療平臺

　　案例要點：遼寧省錦州市區(qū)域醫(yī)療平臺滿足包括居民健康檔案、電子病歷、公共衛(wèi)生及綜合管理等1億條相關(guān)記錄的高并發(fā)檢索和實時數(shù)據(jù)分析要求。

　　錦州是遼寧西部城市群區(qū)域性中心城市和重要港口城市，戶籍人口規(guī)模約310 萬。2012 年3 月，錦州市政府正式啟動“健康城市”戰(zhàn)略，建立以城市為單位建設(shè)的區(qū)域衛(wèi)生數(shù)據(jù)中心，以居民健康卡為紐帶，覆蓋衛(wèi)生信息化的主要業(yè)務(wù)領(lǐng)域。存儲的數(shù)據(jù)將包括居民健康檔案、電子病歷、公共衛(wèi)生及綜合管理等相關(guān)數(shù)據(jù)，20 年左右的數(shù)據(jù)量預(yù)計會達到PB 級，傳統(tǒng)關(guān)系型數(shù)據(jù)在大數(shù)據(jù)存儲實現(xiàn)中存在局限性。另外，海量數(shù)據(jù)存儲、備份、擴容、快速檢索、高效數(shù)據(jù)交換等面臨新的挑戰(zhàn)。

　　錦州市政府利用基于英特爾至強E5 的服務(wù)器平臺，以及Apache Hadoop軟件的英特爾分發(fā)版，搭建區(qū)域醫(yī)療大數(shù)據(jù)計算架構(gòu)，以滿足海量數(shù)據(jù)(1億以上的記錄數(shù))的高并發(fā)檢索和實時數(shù)據(jù)分析的性能要求。

　　基于該區(qū)域醫(yī)療平臺，醫(yī)生通過對患者就診信息的快速檢索，可以做出更準確的診斷，有效避免重復(fù)用藥、錯誤用藥等。該區(qū)域醫(yī)療平臺支持高并發(fā)的大數(shù)據(jù)檢索，可與居民健康教育相結(jié)合，幫助居民建立起個人健康管理的理念，從治療轉(zhuǎn)向預(yù)防。同時，它支持靈活的數(shù)據(jù)分析建模和數(shù)據(jù)分析挖掘，為區(qū)域衛(wèi)生管理者提供了接近實時的數(shù)據(jù)分析結(jié)果，可以廣泛應(yīng)用在疾病控制、醫(yī)療行為監(jiān)管、醫(yī)療質(zhì)量管理等領(lǐng)域。

　　與傳統(tǒng)數(shù)據(jù)庫和小型機的方案相比，英特爾架構(gòu)大數(shù)據(jù)解決方案具有更好的開放性和更好的經(jīng)濟性，其集成的圖形化界面提供了便捷的節(jié)點管理和橫向擴展功能，大幅降低了管理成本。

　　case4 上海理想跨區(qū)域?qū)崟r視頻監(jiān)控系統(tǒng)

　　案例要點：“全球眼”并行海量視頻分析和應(yīng)用平臺性能提升5倍，查詢和分析能力提高了10倍以上。

　　視頻監(jiān)控系統(tǒng)已成為城市環(huán)境中的一種標準做法，旨在幫助協(xié)調(diào)應(yīng)急響應(yīng)，引導(dǎo)交通，并加強公民的人身安全保護效果。中國電信上海理想信息產(chǎn)業(yè)(集團)有限公司基于中國電信“全球眼”數(shù)字視頻監(jiān)控系統(tǒng)，使用Apache Hadoop軟件的英特爾分發(fā)版，實現(xiàn)了對視頻數(shù)據(jù)的實時分析和存儲，構(gòu)建并行海量視頻分析和應(yīng)用平臺。

　　新平臺的基本設(shè)計要求是必須提供實時圖像服務(wù)。在緊急時刻，企業(yè)利用這些視頻數(shù)據(jù)來決定所采取的應(yīng)對措施。這就要求背景視頻并行化分析、存儲和處理子系統(tǒng)都具備極高的處理速度。該平臺可解決以下兩個問題： 視頻圖像的實時分析、高效的視頻數(shù)據(jù)存儲系統(tǒng)(在“全球眼”系統(tǒng)中，每個前端攝像頭的碼流速率都在6Mbps以上)。

　　在采用了Apache Hadoop軟件的英特爾分發(fā)版的分區(qū)存儲架構(gòu)之后，與上海理想以往部署的傳統(tǒng)數(shù)據(jù)庫相比，各個應(yīng)用的分析耗時更短。Hadoop分布式數(shù)據(jù)庫集群中的服務(wù)器既是計算節(jié)點又是存儲節(jié)點，并使用HDFS分布式文件系統(tǒng)讓集群中的所有節(jié)點形成一個統(tǒng)一的文件系統(tǒng)。HDFS分布式文件系統(tǒng)的訪問帶寬是整個網(wǎng)絡(luò)的聚合帶寬，可以達到幾百Gbps以上，完全消除了視頻存儲的訪問帶寬限制。Apache Hadoop軟件的英特爾分發(fā)版在分配搜索任務(wù)時，更可以實現(xiàn)存儲位置感知，將任務(wù)分配到視頻所存儲的節(jié)點之上，充分利用本地硬盤帶寬，使訪問吞吐量進一步提高。

　　上海理想基準測試表明，使用Apache Hadoop軟件的英特爾分發(fā)版后性能提升了5倍，而且可實現(xiàn)精細的作業(yè)調(diào)度和任務(wù)調(diào)度。

　　記者手記

　　承傳PC的理念

　　如果從創(chuàng)新經(jīng)濟學(xué)和產(chǎn)品生命周期的角度來梳理PC產(chǎn)業(yè)的發(fā)展歷史，可以發(fā)現(xiàn)很多頗具啟發(fā)性的閃光點。

　　從創(chuàng)新經(jīng)濟學(xué)的觀點來看，人類進入工業(yè)社會后，經(jīng)歷了5次長周期的經(jīng)濟增長，這5次增長長波分別是由以水力、蒸汽機、電力、內(nèi)燃機和IT為代表的主導(dǎo)技術(shù)所驅(qū)動的。新的主導(dǎo)技術(shù)的顛覆性體現(xiàn)在其擴散過程中，即在其普及過程中形成新的經(jīng)濟形態(tài)，進而推動經(jīng)濟的發(fā)展。

　　綜觀IT歷史，小型機替代主機，PC又替代小型機，原因在于小型機和PC能夠為更多的人所使用。目前，“移動互聯(lián)網(wǎng)+云計算”成為新一代的主流技術(shù)。智能移動終端能夠讓云計算提供的強大的計算技術(shù)，以更快的速度在更大的范圍擴散，因此它作為PC的延伸和擴展，成為新的個人計算市場的主流不可避免。

　　在信息時代，IT的主導(dǎo)地位不會變化，而計算技術(shù)所依托的不同的產(chǎn)品形態(tài)如：大型機、小型機或PC是會發(fā)生變化的，這些變化受到產(chǎn)品生命周期的制約。

　　回顧PC的高速發(fā)展，不難看出基于標準的開放性和規(guī)模經(jīng)濟效益是PC成功的兩個根本原因。開放標準大大降低了市場進入門檻并加劇了市場的競爭，從而促進了PC相關(guān)技術(shù)的快速發(fā)展;而大規(guī)模制造通過降低成本，將計算技術(shù)擴散到更大的范圍。

　　如今，云計算成為PC理念忠實的傳承者。在規(guī)模經(jīng)濟效益也就是降低用戶使用成本上，云計算按需付費的服務(wù)模式使得用戶免除了一次性購買產(chǎn)品帶來的資金壓力，而云計算的核心技術(shù)MapReduce的設(shè)計理念就是，系統(tǒng)中節(jié)點故障是常態(tài)，關(guān)鍵是在存在計算節(jié)點故障的系統(tǒng)中確保正確的計算結(jié)果，這就使得谷歌等互聯(lián)網(wǎng)公司基于x86 CPU自行設(shè)計服務(wù)器，從而避免了采用品牌服務(wù)器的額外的龐大開銷。

　　在開放性上，作為MapReduce的開源實現(xiàn)，Hadoop以其開源的優(yōu)勢，為眾多互聯(lián)網(wǎng)企業(yè)所采用。隨著大數(shù)據(jù)的到來，2012年甲骨文、IBM和微軟三大數(shù)據(jù)庫廠商不約而同地“屈尊”宣布采用Hadoop架構(gòu)作為大數(shù)據(jù)系統(tǒng)平臺，從而印證了大數(shù)據(jù)開放性的威力。

　　Hadoop與x86的結(jié)合已經(jīng)成為云計算平臺的事實標準，考慮到大數(shù)據(jù)的應(yīng)用也是基于Hadoop的，Hadoop+x86無疑也將成為大數(shù)據(jù)平臺的事實標準。

　　作為十多年來PC技術(shù)和市場的主導(dǎo)者，英特爾肯定不甘在云計算特別是大數(shù)據(jù)市場上扮演候選者之一的角色。在Hadoop已經(jīng)成為市場上不二之選且作為開源軟件而不受任何廠商左右的情況下，英持爾的創(chuàng)新就是要實現(xiàn)基于hadoop+x86，又高于hadoop+x86的策略。

　　2012年，英特爾發(fā)布了Apache Hadoop軟件的英特爾分發(fā)版，將軟件與CPU、固態(tài)硬盤、網(wǎng)絡(luò)等硬件集成優(yōu)化，從而使得基于英特爾的至強CPU+Hadoop發(fā)行版的系統(tǒng)，比市面上其他的Hadoop+x86系統(tǒng)在性能上表現(xiàn)得更好。

　　如今，英特爾已經(jīng)在處理器的指令集層面增添了對于自家Hadoop、對于大數(shù)據(jù)應(yīng)用的支持。可以預(yù)期，未來英特爾會在處理器中針對大數(shù)據(jù)算法進行更多的優(yōu)化，以實現(xiàn)從候選者到主導(dǎo)者的轉(zhuǎn)變。