[[136419]]

為什么會(huì)選擇HBase？

高可靠性。HBase是運(yùn)行在Hadoop上的NoSQL數(shù)據(jù)庫(kù)，它的數(shù)據(jù)由HDFS做了數(shù)據(jù)冗余，具有高可靠性。同時(shí)TDW（騰訊分布式數(shù)據(jù)倉(cāng)庫(kù)）五年的穩(wěn)定運(yùn)行，8800臺(tái)的集群規(guī)模，證明了其服務(wù)于海量數(shù)據(jù)的能力。

高并發(fā)讀寫(xiě)。使用日志文件（HLOG）和內(nèi)存存儲(chǔ)來(lái)將隨機(jī)寫(xiě)轉(zhuǎn)換成順序?qū)懀ＷC穩(wěn)定的數(shù)據(jù)插入速率；讀寫(xiě)?yīng)毩?，這兩種操作沒(méi)有沖突。

優(yōu)雅的伸縮性。HBase服務(wù)能力可以隨服務(wù)器的增長(zhǎng)而線性增長(zhǎng)；HBase中表的數(shù)據(jù)表按Key 值范圍自動(dòng)分片，散布于不同的機(jī)器上，實(shí)現(xiàn)自動(dòng)負(fù)載均衡；支持百億行×百萬(wàn)列×上萬(wàn)個(gè)版本。

低延遲。數(shù)據(jù)按列存儲(chǔ)，數(shù)據(jù)即索引。

低成本。歷史數(shù)據(jù)不能輕易刪除，數(shù)據(jù)量變得越來(lái)越多，尤其是對(duì)于日志類存儲(chǔ)，寫(xiě)多讀少。而HBase可構(gòu)建在廉價(jià)的PC上，此外，HBase支持較多的壓縮算法。

本篇文章將對(duì)HBase在騰訊大數(shù)據(jù)的應(yīng)用情況做一個(gè)介紹。

HBase易用性建設(shè)

數(shù)據(jù)接入-方便、靈活

接入前臺(tái)化、可配置化。只需在前臺(tái)配置入庫(kù)任務(wù)，按配置約定規(guī)范上報(bào)數(shù)據(jù)，即可實(shí)現(xiàn)將數(shù)據(jù)入庫(kù)HBase，方便、簡(jiǎn)潔、快速。

與騰訊大數(shù)據(jù)的各平臺(tái)（TDBank、TDW、TRC）打通，數(shù)據(jù)流轉(zhuǎn)方便。

接入方式多樣靈活。業(yè)務(wù)也可根據(jù)HBase提供的API自己編寫(xiě)代碼，實(shí)現(xiàn)數(shù)據(jù)寫(xiě)入HBase。在寫(xiě)入量較大的情況下，業(yè)務(wù)側(cè)還需要維護(hù)一批寫(xiě)入客戶端，維護(hù)成本較高。一般不推薦使用這種方式。

數(shù)據(jù)查詢-接口簡(jiǎn)單、易用

避免用戶重復(fù)編碼、方便業(yè)務(wù)查詢HBase中的數(shù)據(jù)，我們封裝并提供了兩種查詢接口：HTTP查詢接口和TCP查詢接口。同時(shí)支持點(diǎn)查詢和范圍查詢兩種查詢方式。

HTTP查詢接口：

通過(guò)發(fā)送HTTP POST請(qǐng)求方式查詢數(shù)據(jù)。適用于輕量查詢需求,例如客服業(yè)務(wù)受理查詢，客戶只要開(kāi)發(fā)一個(gè)自己的界面就可以使用。返回的數(shù)據(jù)格式支持json、xml、text、idip（游戲業(yè)務(wù)定制的數(shù)據(jù)格式）四種。

TCP查詢接口：

通過(guò)發(fā)送TCP請(qǐng)求建立長(zhǎng)連接來(lái)查詢數(shù)據(jù)。適用于大并發(fā)查詢需求，例如營(yíng)銷活動(dòng)、用戶畫(huà)像類數(shù)據(jù)查詢需求等。返回的數(shù)據(jù)格式只提供protobuf格式。

安全建設(shè)

權(quán)限控制。每個(gè)接入業(yè)務(wù)均分配一個(gè)用戶ID、IP白名單機(jī)制，只有在開(kāi)通了白名單的服務(wù)器上，使用用戶ID才可以訪問(wèn)歸屬業(yè)務(wù)的HBase表，當(dāng)多 個(gè)業(yè)務(wù)共用一個(gè)HBase的情況下，權(quán)限控制尤其必要。針對(duì)敏感數(shù)據(jù)（如用戶畫(huà)像數(shù)據(jù)），權(quán)限進(jìn)一步控制到列級(jí)別。即只有在開(kāi)通了白名單的服務(wù)器上，使用 用戶ID才可以訪問(wèn)開(kāi)通了權(quán)限的HBase表中的某些列。

流量控制?？刂茊喂P查詢的數(shù)據(jù)量大小以及查詢返回行數(shù)限制，同時(shí)監(jiān)控大查詢。在多個(gè)小業(yè)務(wù)公用一個(gè)HBase情況，可有效控制非必要場(chǎng)景下大量get數(shù)據(jù)業(yè)務(wù)間查詢相互影響的問(wèn)題。

業(yè)務(wù)應(yīng)用情況

1. 游戲營(yíng)銷活動(dòng)新渠道

數(shù)據(jù)的實(shí)時(shí)性對(duì)于營(yíng)銷活動(dòng)的效果有著十分明顯的影響，由于數(shù)據(jù)延遲而帶來(lái)的不良用戶體驗(yàn)會(huì)導(dǎo)致玩家喪失繼續(xù)參與活動(dòng)的耐心從而使活動(dòng)效果大打折扣。 HBase在近幾次營(yíng)銷活動(dòng)（如炫舞拉新活動(dòng)、天天酷跑新版預(yù)熱活動(dòng)、英雄聯(lián)盟3周年活動(dòng)、天天酷跑周年活動(dòng)、英雄聯(lián)盟拉新活動(dòng)）中，從幾十億甚至百億條 數(shù)據(jù)中實(shí)時(shí)拉取數(shù)據(jù)的毫秒級(jí)響應(yīng)，成為營(yíng)銷活動(dòng)的一個(gè)新渠道。

2. 廣告日志處理

廣告成為互聯(lián)網(wǎng)公司的一個(gè)主要收入來(lái)源。我們現(xiàn)在每天通過(guò)HBase處理百億級(jí)廣告的請(qǐng)求和曝光日志，訪問(wèn)HBase的延遲，80%在20ms之 內(nèi)，保證了數(shù)據(jù)的秒級(jí)實(shí)時(shí)回流，實(shí)現(xiàn)檢索、曝光、點(diǎn)擊和效果日志百億數(shù)據(jù)的實(shí)時(shí)關(guān)聯(lián)，提供完整豐富的用戶特征數(shù)據(jù)。精細(xì)的特征數(shù)據(jù)會(huì)帶來(lái)更好的模型，產(chǎn)生 更好的廣告效果，進(jìn)而提升廣告收入。

3. 業(yè)務(wù)受理查詢

業(yè)務(wù)受理系統(tǒng)受限于MySQL數(shù)據(jù)庫(kù)容量與性能，僅能查詢最近一段時(shí)間的日志，使游戲在核實(shí)客戶投訴上較為被動(dòng)。游戲業(yè)務(wù)受理系統(tǒng)由MySQL遷移到HBase后，用業(yè)務(wù)的評(píng)價(jià)來(lái)總結(jié)下MySQL遷移HBase的效果：“業(yè)務(wù)受理對(duì)客服的查詢需求服務(wù)提升了一個(gè)檔次”。

4. 此外，HBase在其他點(diǎn)擊交互日志或監(jiān)控日志系統(tǒng)上也有較多應(yīng)用，如網(wǎng)絡(luò)會(huì)話數(shù)據(jù)、秒級(jí)監(jiān)控平臺(tái)日志、微信支付日志等。

結(jié)束語(yǔ)

隨著業(yè)務(wù)的發(fā)展以及HBase在騰訊的較多的成功應(yīng)用案例與推廣，HBase的應(yīng)用還將繼續(xù)增多以及向核心應(yīng)用靠近的趨勢(shì)?？偟膩?lái)說(shuō)，我們的目標(biāo)，降低接入使用門(mén)檻以及使用成本，使HBase能穩(wěn)定地部署到更多的應(yīng)用中去， 以助力業(yè)務(wù)更快發(fā)展。