HBase 學習第 3 天：HBase 數據模型及架構詳解

一、HBase 數據庫是什麼

• HBase 是一個高可靠性、高性能、面向列、可伸縮、實時讀寫的分佈式數據庫
• HBase 是一個利用 HDFS 來存儲數據、利用 MapReduce 來處理數據、利用 Zookeeper 作爲其分佈式協同服務
• HBase 主要用於存儲非結構化和半結構化的鬆散數據—NoSql 數據庫
• HBase 的數據讀寫是將數據作標記，刪除數據時並不是將數據直接在磁盤中刪除，讀取的時候是看標記

二、HBase 從哪裏來

HBase 是來源於 Fay Chang 所撰寫的 Google 論文 “Bigtable ：

一個結構化數據的分佈式存儲系統”。就像Bigtable利用了Google文件系統（FileSystem）所提供的分佈式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase 是 Apache 的 Hadoop 項目的子項目。HBase不同於一般的關係數據庫，是一個適合於非結構化數據存儲的數據庫。

三、HBase 數據模型

HBase 數據模型是稀疏結構的數據，數據存儲模型如下圖所示：

如上圖所示，以關係型數據的思維會感覺這是一張表，但是在 HBase 中這種理解是錯誤的，在 HBase 中上面的表格顯示的只是一行數據；其中各單元格標題描述如下所示

1、RowKey

（1）決定一行數據的唯一標識

（2） RowKey 是按照字典順序排序的

（3）RowKey 最多隻能存儲64k的字節數據，RowKey 設計越短越好

（4）Column Family列族（CF1、CF2、CF3） & qualifier列：

• HBase表中的每個列都歸屬於某個列族，列族必須作爲表模式(schema) 定義的一部分預先給出。如create ‘test’, ‘info’；
• 列名以列族作爲前綴，每個“列族”都可以有多個列成員(column，每個列族中可以存放幾千~上千萬個列)；如 CF1:q1, CF2:qw,
• 新的列族成員（列）可以隨後按需、動態加入，Family下面可以有多個 Qualifier，所以可以簡單的理解爲，HBase中的列是二級列,也就是說 Family 是第一級列，Qualifier 是第二級列。兩個是父子關係
• 權限控制、存儲以及調優都是在列族層面進行的
• HBase把同一列族裏面的數據存儲在同一目錄下，由幾個文件保存
• 目前爲止 HBase 的列族能夠很好處理最多不超過3個列族

2、時間戳（Timestamp）

（1）在 HBase 每個 cell
存儲單元對同一份數據可以有多個版本，根據唯一的時間戳來區分每個版本之間的差異，不同版本的數據按照時間倒序排序，最新的數據版本排在最前面。

（2）時間戳的類型是 64 位整型，一般由HBase(在數據寫入時自動)賦值，此時時間戳是精確到毫秒的當前系統時間。

時間戳也可以由客戶顯式賦值，如果應用程序要避免數據版本衝突，就必須自己生成具有唯一性的時間戳。

3、列族（Column Family）

（1）HBase表中的每個列都歸屬於某個列族，列族必須作爲表模式(schema)定義的一部分預先給出。如 create ‘tb’, ‘f’；

列名以列族作爲前綴，每個“列族”都可以有多個列(column)；如f:a, f:b, 新的列族成員（列）可以隨後按需、動態加入；

（2）權限控制、存儲以及調優都是在列族層面進行的；

（3）HBase把同一列族裏面的數據存儲在同一目錄下，由幾個文件保存。

4、單元格（cell-細胞）

（1）cell（一個細胞） 由行和列的座標交叉決定

（2）單元格是有版本的；

（3）cell的內容是未解析的字節數組；

（4）cell 是由 {row key， column( = +)， version} 唯一確定的單元。

（5）cell 中的數據是無類型數據，全部以字節碼形式存儲。

三、Hbase 特點

1、海量存儲：提供海量數據的存儲

2、列式存儲：列族存儲，列族在創建表的時候必須指定，而且是唯一的，列族代表一個hbase 表中的家族，

3、極易擴展：

• HBase 存儲擴展性–指的是擴展 HDFS 存儲性能

• HBase 處理擴展性–業務能力（基於 Reginserver的擴展）

4、高併發性質

單機 io 延遲率低，查詢數據響應快

5、稀疏性

Hbase 表中的數據是列稀疏的，結構性數據庫中的表中數據不能爲空，即使爲空也是null標記
hbase 中的列是稀疏的，列中的數據無就是空的，實實在在，有就有，無就無

四、HBase 架構設計

HBase 底層核心架構設計如下：

五、HBase 角色介紹

1、Client

• 包含訪問HBase的接口並維護 cache 來加快對 HBase 的訪問

2、Zookeeper

• 保證任何時候，集羣中只有一個master
• 存貯所有 Region 的尋址入口。
• 實時監控 RegionServer 的上線和下線信息。並實時通知 Master
• 存儲 HBase 的 schema 和 table 元數據信息

3、HMaster

• 爲 RegionServer 分配 Region
• 負責 RegionServer 的負載均衡
• 發現失效的 Region， HMaster 會重新分配到其他正常的 HRegionServer 上
• 管理用戶對 table 的增刪改操作

4、HRegionServer

• HRegionServer 對接用戶的讀寫請求，是‘幹活’節點;
  管理 Master 分配的 Region
• HRegionServer 維護 Region，處理對這些 Region 的 IO 請求
• HRegionServer 負責切分在運行過程中變得過大的 Region　
  

5、HLog(WAL log)：

• HLog文件就是一個普通的Hadoop Sequence File，Sequence File 的Key是 HLogKey對象，HLogKey中記錄了寫入數據的歸屬信息，除了table和 region名字外，同時還包括sequence number和timestamp，timestamp是” 寫入時間”，sequence number的起始值爲0，
  或者是最近一次存入文件系 統中sequence number。
• HLog SequeceFile的Value是HBase的KeyValue對象，即對應HFile中的 KeyValue

6、Region

• HBase自動把表水平劃分成多個區域(region)，每個 region 會保存一個表 裏面某段連續的數據；每個表一開始只有一個region，隨着數據不斷插 入表，region不斷增大，當增大到一個閥值的時候，region就會等分會 兩個新的region（裂變）；
• 當table中的行不斷增多，就會有越來越多的 region。這樣一張完整的表 被保存在多個Regionserver上。
• 當Table隨着記錄數不斷增加而變大後，會逐漸分裂成多份 splits，成爲 regions，一個 region 由[startkey,endkey)表示，不同的 region 會被 Master 分配給相應的 RegionServer 進行管理，split 流程如下：
  

7、Memstore 與 storefile

HBase 的存儲核心是由MemStore和StoreFile組成，MemStore 是Sorted Memory Buffer。用戶寫入數據的流程，如下所示：

• 一個region由多個 store 組成，一個store對應一個CF（列族）
• store 包括位於內存中的memstore和位於磁盤的storefile寫操作先寫入 memstore，當memstore中的數據達到某個閾值，hregionserver會啓動 flashcache進程寫入storefile，每次寫入形成單獨的一個storefile
• 當 storefile 文件的數量增長到一定閾值後，系統會進行合併（minor、 major compaction），在合併過程中會進行版本合併和刪除工作 （majar），形成更大的 storefile。
• 當一個region所有storefile的大小和超過一定閾值後，會把當前的region 分割爲兩個，並由hmaster分配到相應的regionserver服務器，實現負載均衡。
• 客戶端檢索數據，先在 memstore 找，找不到再找 storefile
• HRegion 是 HBase 中分佈式存儲和負載均衡的最小單元。最小單元就表 示不同的 HRegion 可以分佈在不同的HRegion server上。
• HRegion 由一個或者多個 Store 組成，每個 store 保存一個columns family。
• 每個 Strore 又由一個 memStore 和 0 至多個 StoreFile 組成。

8、HFile

如圖：StoreFile 以 HFile 格式保存在HDFS上，HFile 格式如下所示：　　　　　

圖文解釋:

• HFile文件不定長，長度固定的塊只有兩個：Trailer 和 FileInfo
• Trailer中指針指向其他數據塊的起始點
• File Info中記錄了文件的一些Meta信息，例如：AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等
• Data Index和Meta Index塊記錄了每個Data塊和Meta塊的起始點
• Data Block是HBase I/O的基本單元，爲了提高效率，HRegionServer中有基於LRU的Block Cache機制
• 每個Data塊的大小可以在創建一個Table的時候通過參數指定，大號的Block有利於順序Scan，小號Block利於隨機查詢
• 每個 Data 塊除了開頭的 Magic 以外就是一個個 KeyValue 對拼接而成, Magic 內容就是一些隨機數字，目的是防止數據損壞
• HFile裏面的每個 KeyValue 對就是一個簡單的 byte 數組。這個byte數組裏麪包含了很多項，並且有固定的結構。
  
• KeyLength 和 ValueLength：兩個固定的長度，分別代表 Key 和 Value 的長度
• Key 部分：Row Length 是固定長度的數值，表示 RowKey 的長度，Row 就是 RowKey
• Column Family Length 是固定長度的數值，表示 Family 的長度
• 接着就是 Column Family，再接着是 Qualifier，然後是兩個固定長度的數值，表示 Time Stamp 和 Key Type（Put/Delete）
• Value 是純粹的二進制數據

9、HLog File

• HLog文件是一個普通的 Hadoop Sequence File，Sequence File 的 Key 是 HLogKey 對象，HLogKey 中記錄了寫入數據的歸屬信息，除了 table 和 region 名字外，同時還包括 sequence number 和 timestamp，timestamp 是“寫入時間”，sequence number 的起始值爲 0，或者是最近一次存入文件系統中 sequence number。
• HLog Sequece File 的 Value 是 HBase 的 KeyValue 對象，即對應 HFile 中的 KeyValue

總結

本文是對 HBase 數據模型和架構進行詳解，因爲在工作中使用到 HBase 數據庫，所以將 HBase 知識點作詳細記錄，方便以後使用時查閱。

參考

https://www.cnblogs.com/cenyuhai/p/3708135.html