hadoop之hbase學習

HBASE介紹

    HBase是一個分佈式的、面向列的開源數據庫，該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分佈式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分佈式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關係數據庫，它是一個適合於非結構化數據存儲的數據庫。另一個不同的是HBase基於列的而不是基於行的模式。

    HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集羣。

    Pig和Hive還爲HBase提供了高層語言支持，使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則爲HBase提供了方便的RDBMS數據導入功能，使得傳統數據庫數據向HBase中遷移變的非常方便。

1. HBASE安裝

    (1) 三種模式：單機模式（Standalone）、僞分佈模式(Pseudo-Distributed)、完全分佈式模式(Fully Distributed)；

    (2) JAVA 版本的選擇：

 

HBase Version	JDK 6	JDK 7	JDK 8
1.2	Not Supported	yes	yes
1.1	Not Supported	yes	Running with JDK 8 will work but is not well tested.
1.0	Not Supported	yes	Running with JDK 8 will work but is not well tested.
0.98	yes	yes	Running with JDK 8 works but is not well tested. Building with JDK 8 would require removal of the deprecated remove()method of the PoolMap class and is under consideration. SeeHBASE-7608for more information about JDK 8 support.

    (3) HBASE 自帶的Hadoop jar包版本；

    Hbase 0.98的lib目錄下自帶的hadoop jar包版本爲2.2 ；爲避免版本不匹配而引起的異常，建議將其替換爲正在使用集羣（版本爲2.5.2）的hadoop jar文件；

2. HBASE 與HIVE 的關係

（1） 兩者分別是什麼？

    Apache Hive是一個構建在Hadoop基礎設施之上的數據倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的數據。HQL是一種類SQL語言，這種語言最終被轉化爲Map/Reduce. 雖然Hive提供了SQL查詢功能，但是Hive不能夠進行交互查詢--因爲它只能夠在Haoop上批量的執行Hadoop。

    Apache HBase是一種Key/Value系統，它運行在HDFS之上。和Hive不一樣，Hbase的能夠在它的數據庫上實時運行，而不是運行MapReduce任務。HBASE被分區爲表格，表格又被進一步分割爲列簇。列簇必須使用schema定義，列簇將某一類型列集合起來（列不要求schema定義）。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一個 key/value對在Hbase中被定義爲一個cell，每一個key由row-key，列簇、列和時間戳。在Hbase中，行是key/value映射的集合，這個映射通過row-key來唯一標識。Hbase利用Hadoop的基礎設施，可以利用通用的設備進行水平的擴展。

（2）兩者的特點

    Hive幫助熟悉SQL的人運行MapReduce任務。因爲它是JDBC兼容的，同時，它也能夠和現存的SQL工具整合在一起。運行Hive查詢會花費很長時間，因爲它會默認遍歷表中所有的數據。雖然有這樣的缺點，一次遍歷的數據量可以通過Hive的分區機制來控制。分區允許在數據集上運行過濾查詢，這些數據集存儲在不同的文件夾內，查詢的時候只遍歷指定文件夾（分區）中的數據。這種機制可以用來，例如，只處理在某一個時間範圍內的文件，只要這些文件名中包括了時間格式。

    HBase通過存儲key/value來工作。它支持四種主要的操作：增加或者更新行，查看一個範圍內的cell，獲取指定的行，刪除指定的行、列或者是列的版本。版本信息用來獲取歷史數據（每一行的歷史數據可以被刪除，然後通過Hbase compactions就可以釋放出空間）。雖然HBase包括表格，但是schema僅僅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/計數功能。

（3）限制

    Hive目前不支持更新操作。另外，由於hive在hadoop上運行批量操作，它需要花費很長的時間，通常是幾分鐘到幾個小時纔可以獲取到查詢的結果。Hive必須提供預先定義好的schema將文件和目錄映射到列，並且Hive與ACID不兼容。

    HBase查詢是通過特定的語言來編寫的，這種語言需要重新學習。類SQL的功能可以通過Apache Phonenix實現，但這是以必須提供schema爲代價的。另外，Hbase也並不是兼容所有的ACID特性，雖然它支持某些特性。最後但不是最重要的--爲了運行Hbase，Zookeeper是必須的，zookeeper是一個用來進行分佈式協調的服務，這些服務包括配置服務，維護元信息和命名空間服務。

（4）應用場景

    Hive適合用來對一段時間內的數據進行分析查詢，例如，用來計算趨勢或者網站的日誌。Hive不應該用來進行實時的查詢。因爲它需要很長時間纔可以返回結果。

    Hbase非常適合用來進行大數據的實時查詢。Facebook用Hbase進行消息和實時的分析。它也可以用來統計Facebook的連接數。

（5）總結

    Hive和Hbase是兩種基於Hadoop的不同技術--Hive是一種類SQL的引擎，並且運行MapReduce任務，Hbase是一種在Hadoop之上的NoSQL的Key/vale數據庫。當然，這兩種工具是可以同時使用的。就像用Google來搜索，用FaceBook進行社交一樣，Hive可以用來進行統計查詢，HBase可以用來進行實時查詢，數據也可以從Hive寫到Hbase，設置再從Hbase寫回Hive。

3. HBASE Shell 練習

（0）在hbase shell下的常見命令

help

help create

幾種常見命令create, list, put, scan,get,alter

（1）關於建表的提示（來自官網說明書）：

Create a table with namespace=ns1 and table qualifier=t1，命令如下：

  hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}

 

Create a table with namespace=default and table qualifier=t1，命令如下：

  hbase> create 't1', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'}

  hbase> # The above in shorthand would be the following:

  hbase> create 't1', 'f1', 'f2', 'f3'

  hbase> create 't1', {NAME => 'f1', VERSIONS => 1, TTL => 2592000, BLOCKCACHE => true}

  hbase> create 't1', {NAME => 'f1', CONFIGURATION => {'hbase.hstore.blockingStoreFiles' => '10'}}

 

Table configuration options can be put at the end，示例如下：

  hbase> create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40']

  hbase> create 't1', 'f1', SPLITS => ['10', '20', '30', '40']

  hbase> create 't1', 'f1', SPLITS_FILE => 'splits.txt', OWNER => 'johndoe'

  hbase> create 't1', {NAME => 'f1', VERSIONS => 5}, METADATA => { 'mykey' => 'myvalue' }

  hbase> # Optionally pre-split the table into NUMREGIONS, using

  hbase> # SPLITALGO ("HexStringSplit", "UniformSplit" or classname)

  hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

  hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit', CONFIGURATION => {'hbase.hregion.scan.loadColumnFamiliesOnDemand' => 'true'}}

 

You can also keep around a reference to the created table，命令如下

  hbase> t1 = create 't1', 'f1'

 

（2）執行腳本文件

編輯一個文本文件sample_commands.txt

create 'test', 'cf'

list 'test'

put 'test', 'row1', 'cf:a', 'value1'

put 'test', 'row2', 'cf:b', 'value2'

put 'test', 'row3', 'cf:c', 'value3'

put 'test', 'row4', 'cf:d', 'value4'

scan 'test'

get 'test', 'row1'

disable 'test'

enable 'test'

執行文本文件：

./hbase shell ./sample_commands.txt

 

4. HBASE與mongoDB、redis以及Nosql

    Nosql = Not only SQL

    hbase，mongodb，redis都屬於nosql型存儲方案。在實際的項目實踐上看，他們的系統存儲及處理的數量由大到小。HBase基於列存儲，提供<key, family:qualifier, timestamp>三項座標方式定位數據，由於其qualifier的動態可擴展型（無需schema設計，可存儲任意多的qualifier），特別適合存儲稀疏表結構的數據（比如互聯網網頁類）。HBase讀取數據方面只支持通過key或者key範圍讀取，或者全表掃描。

    MongoDb在類SQL語句操作方面目前比HBase具備更多一些優勢，有二級索引，支持相比於HBase更復雜的集合查找等。BSON的數據結構使得處理文檔型數據更爲直接。MongoDb也支持mapreduce，但由於HBase跟Hadoop的結合更爲緊密，Mongo在數據分片等mapreduce必須的屬性上不如HBase這麼直接，需要額外處理。

    HBase與Mongodb的讀寫性能正好相反，HBase寫優於隨機讀，MongoDB似乎寫性能不如讀性能。

    Redis爲內存型KV系統，處理的數據量要小於HBase與MongoDB。

1，Hbase,mongodb,cassendra三者性能比較:  http://www.jdon.com/46128

2，NoSql 分析比較之 hbase，mongodb，redis：

http://blog.csdn.net/likika2012/article/details/38931345

3，mongodb, redis, hbase 三者都是nosql數據庫，區別和不同定位

http://www.zhihu.com/question/30219620

 

5. Hbase與Oracle比較（列式數據庫與行式數據庫）

一，主要區別

• Hbase適合大量插入同時又有讀的情況
• Hbase的瓶頸是硬盤傳輸速度，Oracle的瓶頸是硬盤尋道時間。

    Hbase本質上只有一種操作，就是插入，其更新操作是插入一個帶有新的時間戳的行，而刪除是插入一個帶有插入標記的行。其主要操作是收集內存中一批數據，然後批量的寫入硬盤，所以其寫入的速度主要取決於硬盤傳輸的速度。Oracle則不同，因爲他經常要隨機讀寫，這樣硬盤磁頭需要不斷的尋找數據所在，所以瓶頸在於硬盤尋道時間。

• Hbase很適合尋找按照時間排序top n的場景
• 索引不同造成行爲的差異。
• Oracle既可以做OLTP又可以做OLAP，但在某種極端的情況下(負荷十分之大)，就不適合了。

二，Hbase的侷限：

• 只能做簡單的Key value查詢，複雜的sql統計做不到。
• 只能在row key上做快速查詢。

三，傳統數據庫的行式存儲

    在數據分析的場景裏面，經常是以某個列作爲查詢條件，返回的結果經常也只是某些列，不是全部的列。行式數據庫在這種情況下的I/O性能會很差，以Oracle爲例，Oracle會有一個很大的數據文件，在這個數據文件中，劃分了很多block，然後在每個block中放入行，行是一行一行放進去，擠在一起，然後把block塞滿，當然也會預留一些空間，用於將來update。這種結構的缺點是：當讀某個列的時候，比如只需要讀紅色標記的列的時候，不能只讀這部分數據，必須把整個block讀取到內存中，然後再把這些列的數據取出來，換句話說，爲了讀表中某些列的數據，我必須把整個列的行讀完，纔可以讀到這些列。如果這些列的數據很少，比如1T的數據中只佔了100M, 爲了讀100M數據卻要讀取1TB的數據到內存中去，則顯然是不划算。                                                                                                                     

B+索引

    Oracle中採用的數據訪問技術主要是B數索引：

 

 

從樹的跟節點出發，可以找到葉子節點，其記錄了key值對應的那行的位置。

對B樹的操作：

B樹插入——分裂節點

B數刪除——合併節點

四 列式存儲

    同一個列的數據會擠在一起，比如擠在block裏，當需要讀某個列的時候，值需要把相關的文件或塊讀到內存中去，整個列就會被讀出來，這樣I/O會少很多。

    同一個列的數據的格式比較類似，這樣可以做大幅度的壓縮。這樣節省了存儲空間，也節省了I/O,因爲數據被壓縮了，這樣讀的數據量隨之也少了。

    行式數據庫適合OLTP，反倒列式數據庫不適合OLTP。

 BigTable的LSM（Log Struct Merge）索引

    在Hbase中日誌即數據，數據就是日誌，他們是一體化的。爲什麼這麼說了，因爲Hbase的更新時插入一行，刪除也是插入一行，然後打上刪除標記，則不就是日誌嗎？

    在Hbase中，有Memory Store,還有Store File，其實每個Memory Store和每個Store File就是對每個列族附加上一個B+樹(有點像Oracle的索引組織表，數據和索引是一體化的)，也就是圖的下面是列族，上面是B+樹，當進行數據的查詢時，首先會在內存中memory store的B+樹中查找，如果找不到，再到Store File中去找。

    如果找的行的數據分散在好幾個列族中，那怎麼把行的數據找全呢？那就需要找好幾個B+樹，這樣效率就比較低了。所以儘量讓每次insert的一行的列族都是稀疏的，只在某一個列族上有值，其他列族沒有值。