1.概述

HBase的存儲結構和關系型數(shù)據(jù)庫不一樣，HBase面向半結構化數(shù)據(jù)進行存儲。所以，對于結構化的SQL語言查詢，HBase自身并沒有接口支持。在大數(shù)據(jù)應用中，雖然也有SQL查詢引擎可以查詢HBase，比如Phoenix、Drill這類。但是閱讀這類SQL查詢引擎的底層實現(xiàn)，依然是調用了HBase的Java API來實現(xiàn)查詢，寫入等操作。這類查詢引擎在業(yè)務層創(chuàng)建Schema來映射HBase表結構，然后通過解析SQL語法數(shù)，***底層在調用HBase的Java API實現(xiàn)。

本篇內容筆者并不是給大家來介紹HBase的SQL引擎，我們來關注HBase更低層的東西，那就是HBase的存儲實現(xiàn)。以及跨集群的HBase集群數(shù)據(jù)遷移。

2.內容

HBase數(shù)據(jù)庫是唯一索引就是RowKey，所有的數(shù)據(jù)分布和查詢均依賴RowKey。所以，HBase數(shù)據(jù)庫在表的設計上會有很嚴格的要求，從存儲架構上來看，HBase是基于分布式來實現(xiàn)的，通過Zookeeper集群來管理HBase元數(shù)據(jù)信息，比如表名就存放在Zookeeper的/hbase/table目錄下。如下圖所示：

2.1 Architecture

HBase是一個分布式存儲系統(tǒng)，底層數(shù)據(jù)存儲依賴Hadoop的分布式存儲系統(tǒng)(HDFS)。HBase架構分三部分來組成，它們分別是：ZooKeeper、HMaster和HRegionServer。

• ZooKeeper：HBase的元數(shù)據(jù)信息、HMaster進程的地址、Master和RegionServer的監(jiān)控維護(節(jié)點之間的心跳，判斷節(jié)點是否下線)等內容均需要依賴ZooKeeper來完成。是HBase集群中不可缺少的核心之一。
• HMaster：HMaster進程在HBase中承擔Master的責任，負責一些管理操作，比如給表分配Region、和數(shù)據(jù)節(jié)點的心跳維持等。一般客戶端的讀寫數(shù)據(jù)的請求操作不會經過Master，所以在分配JVM內存的適合，一般32GB大小即可。
• HRegionServer：HRegionServer進程在HBase中承擔RegionServer的責任，負責數(shù)據(jù)的存儲。每個RegionServer由多個Region組成，一個Region維護一定區(qū)間的RowKey的數(shù)據(jù)。如下圖所示：

圖中Region(dn2:16030)維護的RowKey范圍為0001～0002。

HBase為了保證高可用性(HA)，一般都會部署兩個Master節(jié)點，其中一個作為主，另一個作為Backup節(jié)點。這里誰是主，誰是Backup取決于那個HMaster進程能從Zookeeper上對應的Master目錄中競爭到Lock，持有該目錄Lock的HMaster進程為主Master，而另外一個為Backup，當主Master發(fā)生意外或者宕機時，Backup的Master會立刻競爭到Master目錄下的Lock從而接管服務，成為主Master對外提供服務，保證HBase集群的高可用性。

2.2 RegionServer

HBase負責數(shù)據(jù)存儲的就是RegionServer，簡稱RS。在HBase集群中，如果只有一份副本時，整個HBase集群中的數(shù)據(jù)都是唯一的，沒有冗余的數(shù)據(jù)存在，也就是說HBase集群中的每個RegionServer節(jié)點上保存的數(shù)據(jù)都是不一樣的，這種模式由于副本數(shù)只有一份，即是配置多個RegionServer組成集群，也并不是高可用的。這樣的RegionServer是存在單點問題的。雖然，HBase集群內部數(shù)據(jù)有Region存儲和Region遷移機制，RegionServer服務的單點問題可能花費很小的代價可以恢復，但是一旦停止RegionServre上含有ROOT或者META表的Region，那這個問題就嚴重，由于數(shù)據(jù)節(jié)點RegionServer停止，該節(jié)點的數(shù)據(jù)將在短期內無法訪問，需要等待該節(jié)點的HRegionServer進程重新啟動才能訪問其數(shù)據(jù)。這樣HBase的數(shù)據(jù)讀寫請求如果恰好指向該節(jié)點將會收到影響，比如：拋出連接異常、RegionServer不可用等異常。

3.日志信息

HBase在實現(xiàn)WAL方式時會產生日志信息，即HLog。每一個RegionServer節(jié)點上都有一個HLog，所有該RegionServer節(jié)點上的Region寫入數(shù)據(jù)均會被記錄到該HLog中。HLog的主要職責就是當遇到RegionServer異常時，能夠盡量的恢復數(shù)據(jù)。

在HBase運行的過程當中，HLog的容量會隨著數(shù)據(jù)的寫入越來越大，HBase會通過HLog過期策略來進行定期清理HLog，每個RegionServer內部均有一個HLog的監(jiān)控線程。HLog數(shù)據(jù)從MemStore Flush到底層存儲(HDFS)上后，說明該時間段的HLog已經不需要了，就會被移到“oldlogs”這個目錄中，HLog監(jiān)控線程監(jiān)控該目錄下的HLog，當該文件夾中的HLog達到“hbase.master.logcleaner.ttl”(單位是毫秒)屬性所配置的閥值后，監(jiān)控線程會立即刪除過期的HLog數(shù)據(jù)。

4.數(shù)據(jù)存儲

HBase通過MemStore來緩存Region數(shù)據(jù)，大小可以通過“hbase.hregion.memstore.flush.size”(單位byte)屬性來進行設置。RegionServer在寫完HLog后，數(shù)據(jù)會接著寫入到Region的MemStore。由于MemStore的存在，HBase的數(shù)據(jù)寫入并非是同步的，不需要立刻響應客戶端。由于是異步操作，具有高性能和高資源利用率等優(yōu)秀的特性。數(shù)據(jù)在寫入到MemStore中的數(shù)據(jù)后都是預先按照RowKey的值來進行排序的，這樣便于查詢的時候查找數(shù)據(jù)。

5.Region分割

在HBase存儲中，通過把數(shù)據(jù)分配到一定數(shù)量的Region來達到負載均衡。一個HBase表會被分配到一個或者多個Region，這些Region會被分配到一個或者多個RegionServer中。在自動分割策略中，當一個Region中的數(shù)據(jù)量達到閥值就會被自動分割成兩個Region。HBase的表中的Region按照RowKey來進行排序，并且一個RowKey所對應的Region只有一個，保證了HBase的一致性。

一個Region中由一個或者多個Store組成，每個Store對應一個列族。一個Store中包含一個MemStore和多個Store Files，每個列族是分開存放以及分開訪問的。自動分割有三種策略，分別是：

• ConstantSizeRegionSplitPolicy：在HBase-0.94版本之前是默認和唯一的分割策略。當某一個Store的大小超過閥值時(hbase.hregion.max.filesize，默認時10G)，Region會自動分割。
• IncreasingToUpperBoundRegionSplitPolicy：在HBase-0.94中，這個策略分割大小和表的RegionServer中的Region有關系。分割計算公式為：Min(R*R*'hbase.hregion.memstore.flush.size','hbase.hregion.max.filesize')，其中，R表示RegionServer中的Region數(shù)。比如：hbase.hregion.memstore.flush.size=256MB，hbase.hregion.max.filesize=20GB，那么***次分割的大小為Min(1*1*256,20GB)=256MB，也就是在***次大到256MB會分割成2個Region，后續(xù)以此公式類推計算。
• KeyPrefixRegionSplitPolicy：可以保證相同前綴的RowKey存放在同一個Region中，可以通過hbase.regionserver.region.split.policy屬性來指定分割策略。

6.磁盤合理規(guī)劃

部署HBase集群時，磁盤和內存的規(guī)劃是有計算公式的。隨意分配可能造成集群資源利用率不高導致存在浪費的情況。公式如下：

# 通過磁盤維度的Region數(shù)和Java Heap維度的Region數(shù)來推導 Disk Size/(RegionSize*ReplicationFactor)=Java Heap*HeapFractionForMemstore/(MemstoreSize/2) 

公式中對應的hbase-site.xml文件中的屬性中，見下表：

在實際使用中，MemstoreSize空間打下只使用了一半(1/2)的容量。 舉個例子，一個RegionServer的副本數(shù)配置為3，RegionSize為10G，HBase的JVM內存分配45G，HBase的MemstoreSize為128M，那此時根據(jù)公式計算得出理想的磁盤容量為45G*1024*0.4*2*10G*1024*3/128M=8.5T左右磁盤空間。如果此時，分配一個節(jié)點中掛載10個可用盤，共27T。那將有兩倍的磁盤空間不匹配造成浪費。 為了提升磁盤匹配度，可以將RegionSize值提升至30G，磁盤空間計算得出25.5T，基本和27T磁盤容量匹配。

7.數(shù)據(jù)遷移

對HBase集群做跨集群數(shù)據(jù)遷移時，可以使用Distcp方案來進行遷移。該方案需要依賴MapReduce任務來完成，所以在執(zhí)行遷移命令之前確保新集群的ResourceManager、NodeManager進程已啟動。同時，為了查看遷移進度，推薦開啟proxyserver進程和historyserver進程，開啟這2個進程可以方便在ResourceManager業(yè)務查看MapReduce任務進行的進度。 遷移的步驟并不復雜，在新集群中執(zhí)行distcp命令即可。具體操作命令如下所示：

# 在新集群的NameNode節(jié)點執(zhí)行命令[hadoop@nna ~]$ hadoop distcp -Dmapreduce.job.queue.name=queue_0001_01 -update -skipcrccheck -m 100 hdfs://old_hbase:9000/hbase/data/tabname /hbase/data/tabname 

為了遷移方便，可以將上述命令封裝成一個Shell腳本。具體實現(xiàn)如下所示：

#! /bin/bash 
for i in `cat /home/hadoop/hbase/tbl` 
do 
echo $i 
hadoop distcp -Dmapreduce.job.queue.name=queue_0001_01 -update -skipcrccheck -m 100 hdfs://old_hbase:9000/hbase/data/$i /hbase/data/$i 
done 
hbase hbck -repairHoles 

將待遷移的表名記錄在/home/hadoop/hbase/tbl文件中，一行代表一個表。內容如下所示：

[hadoop@nna ~]$ vi /home/hadoop/hbase/tbl 
# 表名列表 
tbl1 
tbl2 
tbl3 
tbl4 

***，在循環(huán)迭代遷移完成后，執(zhí)行HBase命令“hbase hbck -repairHoles”來修復HBase表的元數(shù)據(jù)，如表名、表結構等內容，會從新注冊到新集群的Zookeeper中。

8.總結

HBase集群中如果RegionServer上的Region數(shù)量很大，可以適當調整“hbase.hregion.max.filesize”屬性值的大小，來減少Region分割的次數(shù)。在執(zhí)行HBase跨集群數(shù)據(jù)遷移時，使用Distcp方案來進行，需要保證HBase集群中的表是靜態(tài)數(shù)據(jù)，換言之，需要停止業(yè)務表的寫入。如果在執(zhí)行HBase表中數(shù)據(jù)遷移時，表持續(xù)有數(shù)據(jù)寫入，導致遷移異常，拋出某些文件找不到。