無論是電信及金融行業(yè)，或是新興的物聯(lián)網(wǎng)、云計(jì)算，還是新應(yīng)用層出不窮的互聯(lián)網(wǎng)，每一刻都生成大量半結(jié)構(gòu)化、非結(jié)構(gòu)的數(shù)據(jù)。諸如目前最熱門的微博應(yīng)用，在非常顯著的促進(jìn)了用戶交流和信息共享，但是由此也產(chǎn)生了大量信息，對于數(shù)據(jù)的定位和檢索非常不便。市場調(diào)研公司麥肯錫表示，全球數(shù)據(jù)正以每年40%的速度增加，到2020年全球電子設(shè)備存儲的數(shù)據(jù)將暴增30倍，達(dá)到35ZB（相當(dāng)于10億塊1TB的硬盤的容量）。由此對各行各業(yè)電信運(yùn)營商、電商、稅務(wù)、金融、公安、等各個(gè)行業(yè)都會(huì)面對大數(shù)據(jù)計(jì)算的挑戰(zhàn)。

大數(shù)據(jù)計(jì)算的挑戰(zhàn)

1、 數(shù)據(jù)格式的挑戰(zhàn)：數(shù)據(jù)的格式包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、每種數(shù)據(jù)的處理方法和分析方法都有區(qū)別，分析和計(jì)算的難度大。

2、 數(shù)據(jù)分析方法的挑戰(zhàn)：大數(shù)據(jù)技術(shù)的數(shù)據(jù)挖掘分為，關(guān)聯(lián)分析、聚類分析、異常分析、特性群組分析、演變分析等，分析的數(shù)學(xué)模型需要很強(qiáng)的適應(yīng)性。

3、 計(jì)算的時(shí)效性挑戰(zhàn)：數(shù)據(jù)挖掘的實(shí)時(shí)計(jì)算，需要毫秒級的用戶體驗(yàn)，需要瞬間把握數(shù)據(jù)動(dòng)向和趨勢。

4、 計(jì)算的成本的挑戰(zhàn)：數(shù)據(jù)的存儲和安全以及在未來訪問和使用這些數(shù)據(jù)的存儲成本、計(jì)算資源的成本必須改變過去大型機(jī)、小型機(jī)的計(jì)算模式，改為采用通用硬件的分布式計(jì)算的技術(shù)模式。

作為行業(yè)深度定制化智能網(wǎng)絡(luò)及云計(jì)算解決方案提供商，漢柏在電信、政府等行業(yè)在數(shù)據(jù)挖掘積累了豐富的經(jīng)驗(yàn)。漢柏大數(shù)據(jù)計(jì)算系統(tǒng)提供了高性能存儲和查詢檢索，并提供簡單可靠的存儲擴(kuò)展，從而能夠提供便捷快速的數(shù)據(jù)搜索和檢索定位。該方案通過云的手段提供海量數(shù)據(jù)挖掘的方法，提高了挖掘的效率，增加了挖掘的精度，有效提升客戶業(yè)務(wù)效能。

漢柏?cái)?shù)據(jù)挖掘模型

漢柏大數(shù)據(jù)計(jì)算模型

漢柏大數(shù)據(jù)計(jì)算的體系結(jié)構(gòu)

某客戶應(yīng)用案例

諸如，某省級電信運(yùn)營商提供車載、手持和手機(jī)三個(gè)定位終端，上傳軌跡數(shù)據(jù)，服務(wù)器獲取數(shù)據(jù)后通過GIS（地理信息系統(tǒng)）在地圖上實(shí)時(shí)展示終端當(dāng)前的地理位置。車載和手持定位終端最小每隔10秒上傳一次軌跡數(shù)據(jù)（包括終端ID、經(jīng)緯度、方向、速度、里程、狀態(tài)信息等）。靜止?fàn)顟B(tài)下，終端頁會(huì)每隔300秒上傳一次數(shù)據(jù)，一次上傳的數(shù)據(jù)大小為512字節(jié)，一個(gè)終端每天上傳的數(shù)據(jù)約為2000條左右，數(shù)據(jù)大小約為1M。目前，該運(yùn)營商約有20萬個(gè)終端，每天的反饋數(shù)據(jù)量為4億條，一天上傳的數(shù)據(jù)容量為200GB。在采用了漢柏大數(shù)據(jù)計(jì)算系統(tǒng)后，不但良好支持了上億數(shù)量級終端即千億條記錄，更能夠橫向擴(kuò)展，從而良好解決數(shù)據(jù)分析的時(shí)效性、經(jīng)濟(jì)性，保證了數(shù)據(jù)的可靠性。

目前，漢柏大數(shù)據(jù)計(jì)算方案已經(jīng)在廣電行業(yè)、銀行業(yè)以及某部委付諸實(shí)施，并與漢柏的多款定制化產(chǎn)品配合，取得了良好的應(yīng)用效果。