【51CTO快譯】一家德國知名旅游公司請(qǐng)總部設(shè)在科隆的咨詢公司empulse幫助為其設(shè)計(jì)在線旅游網(wǎng)站時(shí)，該公司應(yīng)承了下來。畢竟，這家公司的顧問為郵政部門提供過電子化跟蹤方面的咨詢服務(wù)，為電力公司提供過智能電表方面的咨詢服務(wù)。如此看來，為旅游公司提供咨詢服務(wù)應(yīng)該也不難吧？

　　結(jié)果發(fā)現(xiàn)，難就難在響應(yīng)時(shí)間--這家旅行社希望查詢結(jié)果在一秒或更短時(shí)間內(nèi)返回來，因?yàn)橹灰獣r(shí)間一長(zhǎng)，客戶就會(huì)掉頭而去，尋找另一家網(wǎng)站。也就是說，每延遲一秒，這家旅行社的損失就越大。

　　empulse公司總經(jīng)理Michael Hummel表示，該公司的開發(fā)人員曾經(jīng)試過幾款大數(shù)據(jù)解決方案，包括Hadoop、列式數(shù)據(jù)庫技術(shù)、甲骨文和微軟的FAST（文件和設(shè)置轉(zhuǎn)移），但是沒有一個(gè)接近這家旅行社需要的響應(yīng)時(shí)間。

　　"我們所能構(gòu)建的速度最快的系統(tǒng)搜遍2億條記錄也要用時(shí)6.5秒。這個(gè)速度實(shí)在太慢了，而且還要耗費(fèi)大量的計(jì)算機(jī)資源。如果你每秒想要運(yùn)行的不是一個(gè)查詢，而是一千個(gè)查詢，那就需要非常高的吞吐量以及數(shù)據(jù)處理方面更高的效率。我們?cè)囘^的所有系統(tǒng)都需要數(shù)量眾多的服務(wù)器，那樣成本太高了，承擔(dān)不了。"

　　于是，他們決定自己構(gòu)建一套系統(tǒng)，先是從核心部分入手：數(shù)據(jù)結(jié)構(gòu)、算法、索引以及新數(shù)據(jù)的持續(xù)性裝入，而且為這款產(chǎn)品開辦了一家新公司：ParStream。

　　現(xiàn)在這家在線旅行社每秒能夠處理1000個(gè)查詢，能夠以20個(gè)不同的參數(shù)查詢180億個(gè)旅游優(yōu)惠信息，并且在不到一秒的時(shí)間內(nèi)返回響應(yīng)結(jié)果。

　　Hummel說："由于不同的航班、酒店、行程時(shí)間和餐飲計(jì)劃，我們?cè)诘聡袌?chǎng)有數(shù)量巨大的旅游優(yōu)惠信息。每個(gè)優(yōu)惠信息有不同的價(jià)格，你得把它們?nèi)慷妓驯椋拍苷业?**惠的方案。"

　　"我們開發(fā)完畢后，認(rèn)識(shí)到自己為大數(shù)據(jù)領(lǐng)域提供了一款實(shí)時(shí)數(shù)據(jù)分析產(chǎn)品，這正是ParStream的由來。這家公司認(rèn)為，能夠在非常短的時(shí)間內(nèi)獲得動(dòng)態(tài)更新的信息的查詢結(jié)果，這有著非常廣泛的應(yīng)用價(jià)值，絕不僅僅局限于為沒多少耐心的零售客戶返回結(jié)果，因?yàn)檫@讓業(yè)務(wù)分析員、營銷和廣告人員等用戶可以查詢更多的問題，然后制定和完善促銷模式。"

　　"誰也不想長(zhǎng)時(shí)間地等待結(jié)果返回。大多數(shù)人以認(rèn)為，大數(shù)據(jù)就是數(shù)十億條記錄，不過是靜態(tài)的。這可大錯(cuò)特錯(cuò)。大數(shù)據(jù)是動(dòng)態(tài)的。新數(shù)據(jù)每時(shí)每刻都在生成；你拿來這些新數(shù)據(jù)后，不得不與歷史數(shù)據(jù)一起處理。"

　　ParStream的技術(shù)結(jié)合了處理器和英偉達(dá)的Fermi圖形處理器（GPU），同樣非常高效。德國***的搜索引擎優(yōu)化軟件供應(yīng)商SearchMetrics使用高級(jí)技術(shù)，為想在谷歌、必應(yīng)及其他搜索引擎提供的結(jié)果中提高搜索排名的公司分析搜索引擎結(jié)果。其一整套搜索引擎工具使用7500萬個(gè)關(guān)鍵字和1億個(gè)域，還使用 ParStream實(shí)現(xiàn)高效處理。Hummel表示，這家公司之前一直在使用100余臺(tái)服務(wù)器；借助ParStream的技術(shù)，現(xiàn)在它只用四臺(tái)服務(wù)器就能完成同樣的任務(wù)。

　　大型電子商務(wù)網(wǎng)站上的龐大流量為調(diào)整網(wǎng)頁設(shè)計(jì)和近乎實(shí)時(shí)提供的優(yōu)惠活動(dòng)提供了機(jī)會(huì)。公司可以看到來自贊助商鏈接、網(wǎng)絡(luò)廣告和電子郵件廣告活動(dòng)的成效。Hummel表示，德國etracker公司做的就是這項(xiàng)工作。

　　"etracker使用ParStream來控制廣告活動(dòng)--訪客點(diǎn)擊他們監(jiān)控的任何一個(gè)網(wǎng)站到點(diǎn)擊出現(xiàn)在所有報(bào)表中，這之間的***延遲時(shí)間是30秒；也就是說，如果你分析自己的網(wǎng)站，就能看到半分鐘之前的流量。使用etracker廣告活動(dòng)控制技術(shù)的客戶可以實(shí)時(shí)監(jiān)控廣告活動(dòng)的效果，如果廣告活動(dòng)需要改進(jìn)，可以立即采取相應(yīng)對(duì)策。"

　　這讓電子商務(wù)公司得以在開展廣告活動(dòng)的過程中監(jiān)控和修改廣告活動(dòng)，調(diào)整活動(dòng)以獲得***效果，密切關(guān)注效果，并且作進(jìn)一步的改變。

　　不是只有在線監(jiān)控得益于非常快的分析速度--業(yè)務(wù)分析員也受益匪淺，因?yàn)樗麄兛梢赃\(yùn)行更多的查詢、測(cè)試更多的假設(shè)情形，并且不斷改進(jìn)分析機(jī)制。

　　"快速的大數(shù)據(jù)分析解決方案能幫助整個(gè)公司更快地了解情況、更快地變化及應(yīng)對(duì)新趨勢(shì)，這可以帶來更有利的競(jìng)爭(zhēng)地位。"

　　ParStream在數(shù)據(jù)庫設(shè)計(jì)方面研發(fā)出了幾項(xiàng)創(chuàng)新技術(shù)，以獲得這樣的性能。一個(gè)關(guān)鍵步驟就是，它簡(jiǎn)化了數(shù)據(jù)裝入，并實(shí)現(xiàn)了并行處理。

　　Hummel說："大數(shù)據(jù)的移動(dòng)是個(gè)大問題。你現(xiàn)在的數(shù)據(jù)量比10年前多了1000倍，而且數(shù)據(jù)量的增幅超過計(jì)算機(jī)處理速度的增幅。你一定要進(jìn)行并行處理，把工作分?jǐn)偟蕉嗯_(tái)機(jī)器上。我們?cè)诓樵兎矫婢瓦@么做，我們?cè)趯?dǎo)入數(shù)據(jù)時(shí)也這么做。"實(shí)時(shí)導(dǎo)入數(shù)據(jù)還減少了硬件開銷。由于數(shù)據(jù)一直在導(dǎo)入，所以不需要額外硬件，就能滿足夜間批處理的峰值需求。

　　快速響應(yīng)的其他關(guān)鍵是可以在數(shù)據(jù)導(dǎo)入時(shí)或可以構(gòu)建的一個(gè)非常靈活的索引。ParStream開發(fā)了經(jīng)過壓縮的索引，能夠在壓縮狀態(tài)下運(yùn)行。Hummel表示，此外，ParStream的算法比Hadoop使用的算法要高效得多。

　　HPC Wire網(wǎng)站的編輯Michael Feldman在今年6月于德國漢堡舉行的國際超級(jí)計(jì)算大會(huì)前夕采訪了ParStream，得出了這個(gè)結(jié)論：這家公司的目的是"以高性能計(jì)算（HPC）的性能來分析大數(shù)據(jù)。"

　　Hummel舉了個(gè)零售行業(yè)的假設(shè)例子：

　　美國的一家衣服銷售商可以細(xì)分從北卡羅來納州訪問其網(wǎng)頁，在過去兩周花了10美元買衣服的客戶。它能查看誰在上午7點(diǎn)到中午這個(gè)時(shí)間段訪問網(wǎng)站，分析他們的點(diǎn)擊模式、看看他們?cè)谫徺I什么樣的衣服，然后著重關(guān)注瀏覽休閑服的那些人，***開展針對(duì)他們的廣告活動(dòng)，就促銷那些衣服，然后跟蹤效果。

　　"如果你能夠分析大數(shù)據(jù)以及網(wǎng)站上的數(shù)十億次點(diǎn)擊，那么這種針對(duì)性極強(qiáng)的廣告活動(dòng)正是你所需要的。"

　　原文鏈接：http://www.forbes.com/sites/tomgroenfeldt/2012/01/23/big-data-meets-online-travel-20-billion-offers-one-second-response-time/