【51CTO獨(dú)家報(bào)道】2013年11月22、23日，CHINA HADOOP SUMMIT技術(shù)峰會(huì)在北京福朋喜來(lái)登大酒店盛大開(kāi)幕。近千位大數(shù)據(jù)方面技術(shù)精英，一起暢享Bigdata的發(fā)展與未來(lái)。51CTO為您帶來(lái)大會(huì)相關(guān)報(bào)道。

聯(lián)通研究院移動(dòng)互聯(lián)網(wǎng)產(chǎn)品事業(yè)部主任王志軍先生，首先分享了中國(guó)聯(lián)通在流量計(jì)費(fèi)方面的應(yīng)用。移動(dòng)通訊從語(yǔ)音的時(shí)代跨越到數(shù)據(jù)的時(shí)代，這個(gè)時(shí)代中運(yùn)營(yíng)商有很大的機(jī)會(huì)，同時(shí)運(yùn)營(yíng)商遇到了很多流量消費(fèi)爭(zhēng)議的問(wèn)題，目前流量消費(fèi)爭(zhēng)議已經(jīng)躍升成為用戶通訊服務(wù)投訴的首位。首先的問(wèn)題是數(shù)據(jù)流量消費(fèi)遠(yuǎn)不如語(yǔ)音消費(fèi)清晰透明，這個(gè)很簡(jiǎn)單，語(yǔ)音消費(fèi)的時(shí)候撥打一個(gè)電話，對(duì)方是誰(shuí)打了多長(zhǎng)時(shí)間，這個(gè)時(shí)間是可以感知到的。運(yùn)營(yíng)商也可以語(yǔ)音通話的詳單，如果是發(fā)短信，發(fā)了多少條短信大體是心中有數(shù)的。

[[90240]]

聯(lián)通研究院移動(dòng)互聯(lián)網(wǎng)產(chǎn)品事業(yè)部主任王志軍

現(xiàn)在3G客戶數(shù)據(jù)流量爭(zhēng)議占3G業(yè)務(wù)投訴是10%，現(xiàn)在整個(gè)比例是在逐漸的上升。個(gè)別的省份已經(jīng)達(dá)到了20%的比例。目前中國(guó)聯(lián)通每月打到10010客服流量上的投訴是近萬(wàn)起。同時(shí)很多用戶也基于運(yùn)營(yíng)商無(wú)法提供上網(wǎng)記錄的詳單，提出了法律的訴訟。例如某iPhone合約計(jì)劃的用戶，他是晚上凌晨到四點(diǎn)睡覺(jué)期間發(fā)生了巨額的流量，智能手機(jī)可能語(yǔ)音的應(yīng)用、有很多自動(dòng)更新的應(yīng)用，這些應(yīng)用并不是使用了才產(chǎn)生流量，這種情況下用戶難以理解。運(yùn)營(yíng)商的計(jì)量設(shè)備無(wú)法提供了詳單就提出了訴訟。

此前有個(gè)客服部門的統(tǒng)計(jì)數(shù)據(jù)，每萬(wàn)元應(yīng)收收入中因無(wú)法提供上網(wǎng)記錄詳單的數(shù)據(jù)，造成的投訴和退費(fèi)賠付是60塊錢。GGSN不光是中國(guó)聯(lián)通在用，來(lái)自愛(ài)立信、華為、中興、諾基亞都在使用，這種成熟的設(shè)備，出現(xiàn)偏差的概率是很小了，絕大部分的賠付是運(yùn)營(yíng)商說(shuō)不清楚，用戶有投訴，為了避免爭(zhēng)議擴(kuò)大化，運(yùn)營(yíng)商是采用了賠付與和解的方式來(lái)處理。

好在我們有了Hadoop，Hadoop相當(dāng)于可以幫助我們解決這些問(wèn)題，它采用開(kāi)源的方式，構(gòu)架了普通的PC服務(wù)器之上，拋棄了高端的存儲(chǔ)，也可以保證高可靠性，適合數(shù)據(jù)快速的寫入，以及有快速檢索的方式，這樣相當(dāng)于有十億的業(yè)務(wù)需求解決不了問(wèn)題，Hadoop幫我們解決了，這是我們跟Hadoop脫離了實(shí)驗(yàn)室的概念，是真正的商用系統(tǒng)上第一次親密接觸。

最后說(shuō)一下采用Hadoop的體會(huì)，第一不要低估數(shù)據(jù)量增長(zhǎng)。第二做持續(xù)不斷的優(yōu)化，構(gòu)建專職的團(tuán)隊(duì)，要進(jìn)行系統(tǒng)優(yōu)化，淘寶優(yōu)化的方式可能跟聯(lián)通優(yōu)化的方式是不同的，因?yàn)楦饔懈鞯臉I(yè)務(wù)的特征。再有重視Hadoop集群內(nèi)部網(wǎng)絡(luò)的互聯(lián)，整個(gè)網(wǎng)絡(luò)Hadoop集群運(yùn)行的穩(wěn)定和高效的數(shù)據(jù)挖掘是很重要的。之前網(wǎng)絡(luò)方面出了一些問(wèn)題，就導(dǎo)致了整個(gè)集群在一段時(shí)間運(yùn)行越來(lái)越慢，直到整個(gè)集群崩潰掉，需要進(jìn)行重新啟動(dòng)，有這么一個(gè)周期性的過(guò)程，很多的問(wèn)題是網(wǎng)絡(luò)引發(fā)的。統(tǒng)計(jì)分析的查詢做適當(dāng)分離，我們的系統(tǒng)去提供數(shù)據(jù)的實(shí)時(shí)入庫(kù)和查詢，當(dāng)做大量統(tǒng)計(jì)分析的時(shí)候?qū)θ霂?kù)會(huì)產(chǎn)生影響，可能是入庫(kù)的擠壓，對(duì)查詢的影響不大，我們只在上面跑一些定期的任務(wù)，這些定期任務(wù)的結(jié)果會(huì)構(gòu)建在另外的集群上，數(shù)據(jù)庫(kù)的結(jié)構(gòu)設(shè)計(jì)要做好充分的準(zhǔn)備工作。