總所周知,HBase 是天生就是架設在 HDFS 上,在這個分佈式文件系統中,HBase 是怎麼去構建自己的目錄樹的呢?
這裏只介紹系統級別的目錄樹。
一、0.94-cdh4.2.1版本
系統級別的一級目錄如下,用戶自定義的均在這個/hbase下的一級子目錄下
/hbase/-ROOT-
/hbase/.META.
/hbase/.archive
/hbase/.corrupt
/hbase/.hbck
/hbase/.logs
/hbase/.oldlogs
/hbase/.snapshot
/hbase/.tmp
/hbase/hbase.id
/hbase/hbase.version
1、/hbase/-ROOT-
hbase讀寫數據的時候採用三級尋址方式,首先找到從 zk 中找到ROOT 表所在位置,通過 ROOT 表找到 META 表所在位置,然後再從 META 表定位到你要讀寫數據Region 所在的Regionserver。所以-ROOT-目錄對應 HBase 中的系統表ROOT,就不多做解釋了。
2、/hbase/.META.
就是存儲1中介紹的 META 表的存儲路徑。
3、/hbase/.archive
HBase 在做 Split或者 compact 操作完成之後,會將 HFile 移到.archive 目錄中,然後將之前的 hfile 刪除掉,該目錄由 HMaster 上的一個定時任務定期去清理。
4、/hbase/.corrupt
存儲HBase做損壞的日誌文件,一般都是爲空的。
5、/hbase/.hbck
HBase 運維過程中偶爾會遇到元數據不一致的情況,這時候會用到提供的 hbck 工具去修復,修復過程中會使用該目錄作爲臨時過度緩衝。
6、/hbase/.logs
大家都知道 HBase 是支持WAL(Write Ahead Log) 的,HBase 會在第一次啓動之初會給每一臺 RegionServer 在.log 下創建一個目錄,若客戶端如果開啓WAL 模式,會先將數據寫入一份到.log 下,當 RegionServer crash 或者目錄達到一定大小,會開啓replay 模式,類似 MySQL 的 binlog。
7、/hbase/.oldlogs
當.logs 文件夾中的 HLog 沒用之後會 move 到.oldlogs 中,HMaster 會定期去清理。
8、/hbase/.snapshot
hbase若開啓了 snapshot 功能之後,對某一個用戶表建立一個 snapshot 之後,snapshot 都存儲在該目錄下,如對錶test 做了一個名爲sp_test 的snapshot,就會在/hbase/.snapshot/目錄下創建一個sp_test 文件夾,snapshot 之後的所有寫入都是記錄在這個 snapshot 之上。
9、/hbase/.tmp
當對錶做創建或者刪除操作的時候,會將表move 到該 tmp 目錄下,然後再去做處理操作。
10、/hbase/hbase.id
它是一個文件,存儲集羣唯一的 cluster id 號,是一個 uuid。
11、/hbase/hbase.version
同樣也是一個文件,存儲集羣的版本號,貌似是加密的,看不到,只能通過web-ui 才能正確顯示出來。
二、0.98.8版本
自0.96版本之後,hbase 源碼結構上做了很大的優化,目錄結構也發生了變化,做了精簡和優化,這裏以0.98.8爲例介紹,目錄如下:
/hbase/.tmp
/hbase/WALs
/hbase/archive
/hbase/corrupt
/hbase/data
/hbase/hbase.id
/hbase/hbase.version
/hbase/oldWALs
1、/hbase/.tmp
這個目錄不變還是原來的tmp目錄,作用是一樣的。
2、/hbase/WALs
這裏對應0.94的.logs 目錄,取名爲 WALs 更加見名知意了,點個贊!(預寫式日誌)
3、/hbase/archive
和0.94一樣,只是去掉了.而已,估計是作者不想把它作爲一個隱藏文件夾了吧
4、/hbase/corrupt
和0.94一樣,去了.
5、/hbase/data
這個纔是 hbase 的核心目錄,0.98版本里支持 namespace 的概念模型,系統會預置兩個 namespace 即:hbase和default
5.1 /hbase/data/default
這個默認的namespace即沒有指定namespace 的表都將會flush 到該目錄下面。
5.2 /hbase/data/hbase
這個namespace 下面存儲了 HBase 的 namespace、meta 和acl 三個表,這裏的 meta 表跟0.94版本的.META.是一樣的,自0.96之後就已經將 ROOT 表去掉了,直接從Zookeeper 中找到meta 表的位置,然後通過 meta 表定位到 region。 namespace 中存儲了 HBase 中的所有 namespace 信息,包括預置的hbase 和 default。acl 則是表的用戶權限控制。
如果自定義一些 namespace 的話,就會再/hbase/data 目錄下新建一個 namespace 文件夾,該 namespace 下的表都將 flush 到該目錄下。
6、/hbase/hbase.id
它是一個文件,存儲集羣唯一的 cluster id 號,是一個 uuid。
7、/hbase/hbase.version
同樣也是一個文件,存儲集羣的版本號,貌似是加密的,看不到,只能通過web-ui 才能正確顯示出來。
8、/hbase/oldWALs
這裏對應0.94的.oldlogs目錄,取名爲 oldWALs 是不是更好了呢!
來自 <http://www.cnblogs.com/nexiyi/p/hbase_on_hdfs_directory.html>