自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

查看HBase表在HDFS中的文件結(jié)構(gòu)

作者：greatwqs
大數(shù)據(jù)
為了查看HBASE表在HDFS中的文件結(jié)構(gòu)

在HBASE中建立一張表結(jié)構(gòu)如下:

  1. {NAME => 'USER_TEST_TABLE',  
  2. MEMSTORE_FLUSHSIZE => '67108864',  
  3. MAX_FILESIZE => '1073741824',  
  4. FAMILIES => [ 
  5. {NAME => 'info', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',  
  6. COMPRESSION => 'NONE', VERSIONS => '1', TTL => '2147483647',  
  7. BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true' 
  8. },  
  9. {NAME => 'info2', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',  
  10. COMPRESSION => 'NONE', VERSIONS => '1', TTL => '2147483647',  
  11. BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true' 
  12. } 
  13. ] 
  14. } 

結(jié)構(gòu)圖如下, 往下表插入測試數(shù)據(jù), 下面查看此表在HDFS中文件的存儲方式.

HBase測試表

由于在HBase服務(wù)器配置文件中指定的存儲HBase文件的HDFS地址為:

hdfs://HADOOPCLUS01:端口/hbase

登錄到namenode服務(wù)器,這里為HADOOPCLUS01, 用hadoop命令查看hbase在hdfs中此表的文件.

1. 查看Hbase根目錄. 

  1. [hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls hadoop fs -ls /hbase 
  2. Found 37 items 
  3. drwxr-xr-x   - hadoop cug-admin          0 2013-03-27 09:29 /hbase/-ROOT- 
  4. drwxr-xr-x   - hadoop cug-admin          0 2013-03-27 09:29 /hbase/.META. 
  5. drwxr-xr-x   - hadoop cug-admin          0 2013-03-26 13:15 /hbase/.corrupt 
  6. drwxr-xr-x   - hadoop cug-admin          0 2013-03-27 09:48 /hbase/.logs 
  7. drwxr-xr-x   - hadoop cug-admin          0 2013-03-30 17:49 /hbase/.oldlogs 
  8. drwxr-xr-x   - hadoop cug-admin          0 2013-03-30 17:49 /hbase/splitlog 
  9. drwxr-xr-x   - hadoop cug-admin          0 2013-03-30 17:49 /hbase/USER_TEST_TABLE 

可以看到所有表的信息. 在hdfs中的建立的目錄. 一個表對應(yīng)一個目錄.

-ROOT-表和.META.表也不例外, -ROOT-表和.META.表都有同樣的表結(jié)構(gòu), 關(guān)于兩表的表結(jié)構(gòu)和怎么對應(yīng)HBase整個環(huán)境的表的HRegion, 可以查看上篇轉(zhuǎn)載的文章.

splitlog和.corrupt目錄分別是log split進程用來存儲中間split文件的和損壞的日志文件的。

.logs和.oldlogs目錄為HLog的存儲.

.oldlogs為已經(jīng)失效的HLog(Hlog對HBase數(shù)據(jù)庫寫Put已經(jīng)全部完畢), 后面進行刪除.

HLog File 是一個Sequence File，HLog File 由一條條的 HLog.Entry構(gòu)成?？梢哉fEntry是HLog的基本組成部分，也是Read 和Write的基本單位。

Entry由兩個部分組成：HLogKey和WALEdit。

2. 查看建立表hdfs目錄內(nèi)容:

  1. [hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls /hbase/USER_TEST_TABLE 
  2. Found 2 items 
  3. drwxr-xr-x   - hadoop cug-admin          0 2013-03-28 10:18 /hbase/USER_TEST_TABLE/03d99a89a256f0e09d0222709b1d0cbe 
  4. drwxr-xr-x   - hadoop cug-admin          0 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce 

有兩個目錄, 說明此表已經(jīng)分裂成兩個HRegion.

3. 在查看其中一個HRegion的文件目錄.

  1. [hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce 
  2. Found 4 items 
  3. -rw-r--r--   3 hadoop cug-admin       1454 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/.regioninfo 
  4. drwxr-xr-x   - hadoop cug-admin          0 2013-03-29 15:21 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/.tmp 
  5. drwxr-xr-x   - hadoop cug-admin          0 2013-03-29 15:21 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info 
  6. drwxr-xr-x   - hadoop cug-admin          0 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info2 

 .regioninfo 此HRegion的信息. StartRowKey, EndRowKey. 記錄Region在表中的范圍信息.

info, info2, 兩個ColumnFamily.  為兩個目錄.

4. 再對.regioninfo文件用cat查看內(nèi)容:

亂碼已經(jīng)過濾, 存儲的信息整理:

  1. [hadoop@HADOOPCLUS01 bin]$ hadoop fs -cat /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/.regioninfo 
  2. USER_TEST_TABLE,AAA-AAA11110UC1,1364437081331.68b8ad74920040ba9f39141e908c67ce. 
  3. AA-AAA11110UC1 
  4. USER_TEST_TABLE 
  5.  
  6. IS_ROOT false 
  7. IS_META false 
  8. MAX_FILESIZE 1073741824 
  9. MEMSTORE_FLUSHSIZ 6710886 
  10.  
  11. info 
  12. BLOOMFILTER NONE  
  13. REPLICATION_SCOPEVERSIONS 1 
  14. COMPRESSION NONE 
  15. TTL 2147483647 
  16. BLOCKSIZE 65536   
  17. IN_MEMORY false 
  18. BLOCKCACHE true 
  19.  
  20. info2 
  21. BLOOMFILTER NONE  
  22. REPLICATION_SCOPEVERSIONS 1 
  23. COMPRESSION NONE 
  24. TTL 2147483647 
  25. BLOCKSIZE 65536 
  26. IN_MEMORY false 
  27. BLOCKCACHE true 
  28.  
  29. REGION => {NAME => 'USER_TEST_TABLE,\x00\x00\x00\x0A\x00\x00\x00\x09AAA-AAA11110UC1\x00\x00\x00\x00, 
  30. 1364437081331.68b8ad74920040ba9f39141e908c67ce.',  
  31. STARTKEY => '\x00\x00\x00\x0A\x00\x00\x00\x09AAA-AAA11110UC1\x00\x00\x00\x00',  
  32. ENDKEY => '',  
  33. ENCODED => 68b8ad74920040ba9f39141e908c67ce,  
  34. TABLE => {{NAME => 'USER_TEST_TABLE', MAX_FILESIZE => '1073741824',  
  35. MEMSTORE_FLUSHSIZE => '67108864',  
  36. FAMILIES => [{NAME => 'info', BLOOMFILTER => 'NONE',  
  37. REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE',  
  38. TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false',  
  39. BLOCKCACHE => 'true'},  
  40. {NAME => 'info2', BLOOMFILTER => 'NONE',  
  41. REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE',  
  42. TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false',  
  43. BLOCKCACHE => 'true'}]}} 
  44. VT102VT102VT102VT102VT102VT102VT102VT102 

5. 查看info ColumnFamily中信息文件和目錄:

  1. [hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info 
  2. Found 4 items 
  3. -rw-r--r--   3 hadoop cug-admin  547290902 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/4024386696476133625 
  4. -rw-r--r--   3 hadoop cug-admin  115507832 2013-03-29 15:20 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/5184431447574744531 
  5. -rw-r--r--   3 hadoop cug-admin  220368457 2013-03-29 15:13 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/6150330155463854827 
  6. -rw-r--r--   3 hadoop cug-admin   24207459 2013-03-29 15:21 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/7480382738108050697 

6. 查看具體保存HBase數(shù)據(jù)的HDFS文件信息:

  1. [hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info 
  2. Found 4 items 
  3. -rw-r--r--   3 hadoop cug-admin  547290902 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/4024386696476133625 
  4. -rw-r--r--   3 hadoop cug-admin  115507832 2013-03-29 15:20 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/5184431447574744531 
  5. -rw-r--r--   3 hadoop cug-admin  220368457 2013-03-29 15:13 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/6150330155463854827 
  6. -rw-r--r--   3 hadoop cug-admin   24207459 2013-03-29 15:21 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/7480382738108050697 

 即是上面圖片中插入的其中一部分數(shù)據(jù).

在HBase中存儲時, 對于每個Qualifer有如下5個屬性RowKey, ColumnFamily, Qualifer, TimeStamp, Value.

  1. AA-AAA11110UDFinfoCountry=1 13560596974000   

# AA-AAA11110UDH 部分對應(yīng)RowKey;

   # info對應(yīng)了ColumnFamily;

   # Country對應(yīng)Qualifer;

   # 1對用Value;

   # 13560596974000對應(yīng)TimeStamp.

 后面將分析RowKey與AA-AAA11110UDH的對應(yīng)關(guān)系.

7. 使用HTTP查看文件:

在上面命令中, 也可以有Http查看Hdfs中的文件, 配置在hdfs-site.xml下面配置:

  1. <property> 
  2. <name>dfs.datanode.http.address</name> 
  3. <value>0.0.0.0:62075</value> 
  4. </property> 

所以訪問HDFS的HTTP的URL為:

  1. http://HADOOPCLUS02:62075/browseDirectory.jsp?namenodeInfoPort=62070&dir=/   

原文鏈接：http://greatwqs.iteye.com/blog/1839232

 

 

責(zé)任編輯：彭凡 來源： ITEYE
HBase
相關(guān)推薦

2010-10-15 10:29:25

Mysql表結(jié)構(gòu)

2010-03-16 14:15:37

Linux系統(tǒng)

2021-01-19 08:07:50

Linux日期文件

2017-05-22 08:05:46

HBase阿里搜索實踐

2017-01-17 09:38:52

ZooKeeperHadoopHBase

2013-01-09 10:16:09

HDFS

2021-01-04 08:24:44

Class字段表方法表

2010-10-13 10:27:35

MySQL修改表結(jié)構(gòu)

2021-04-29 08:11:11

SQL優(yōu)化作用

2009-11-25 10:52:22

PHP函數(shù)contin

2023-03-15 10:34:47

Linux文件數(shù)

2013-01-08 10:01:56

HDFS

2019-03-18 09:40:44

Linux命令編程語言

2020-06-23 14:21:35

Linux系統(tǒng)功能

2011-03-21 15:40:31

Oracle表

2010-10-28 16:17:22

2019-02-27 09:24:48

命令行文件Linux

2010-05-24 13:14:19

創(chuàng)建MySQL

2013-01-07 10:42:43

HDFS

2011-03-03 16:08:33

VSFTPD文件結(jié)構(gòu)
點贊
收藏

51CTO技術(shù)棧公眾號