下載與安裝
- 從http://www.apache.org/dyn/closer.cgi/hbase/下載穩定版安裝包，我下的是hbase-1.3.4-bin.tar.gz
- 解壓放在/usr/local的目錄下
- 修改權限
sudo chown -R luanpeng hbase-1.3.4/ - 在～/.bashrc下添加，之後source一下
export PATH=$PATH:/usr/local/hbase/bin
或者在 /etc/profile中添加
export HBASE_HOME=/usr/local/hbase
export PATH=${HBASE_HOME}/bin:$PATH
- 修改文件夾的權限
- 測試一下是否安裝成功
hbase version
HBase 1.3.4
Source code repository git://cc9752f75ec8/usr/src/mymaven/hbase revision=5d443750f65c9b17df23867964f48bbd07f9267d
Compiled by root on Mon Apr 15 02:17:47 UTC 2019
From source with checksum 8402f8955c80bd471a2aab1a9906ca82
- 進入 http://127.0.0.1:16010/master-status 能看到狀態
單機版hbase配置
- 配置
//data/tools/software/hbase-1.3.4/conf/hbase-env.sh
- 配置Java環境變量，並添加配置HBASE_MANAGES_ZK爲true，用vi命令打開並編輯hbase-env.sh，
vi /usr/local/hbase/conf/hbase-env.sh
export JAVA_HOME=/usr/lib/java8/jdk1.8.0_65
export HBASE_MANAGES_ZK=true //使用的Hbase自帶的zookeeper
- 配置/usr/local/hbase/conf/hbase-site.xml
- 在啓動HBase前需要設置屬性hbase.rootdir，用於指定HBase數據的存儲位置，因爲如果不設置的話，hbase.rootdir默認爲/tmp/hbase-${user.name},這意味着每次重啓系統都會丟失數據。
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:/data/tools/software/hbase-1.3.4/cache</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>file:/data/tools/software/hbase-1.3.4/cache/zookeeper</value>
</property>
</configuration>
單機版hbase測試
- 接下來測試運行。切換目錄至HBase安裝目錄/data/tools/software/hbase-1.3.4/啓動HBase
./data/tools/software/hbase-1.3.4/bin/start-hbase.sh
bin/hbase shell
bin/hbase shell用於打開shell命令行模式，用戶可以通過輸入shell命令操作HBase數據庫。
停止HBase運行,命令如下：
sudo bin/stop-hbase.sh
下面我們試驗一下hbase的使用，執行bin/hbase shell進入終端命令：
hbase(main):001:0> status
1 active master, 0 backup masters, 1 servers, 0 dead, 3.0000 average load
- 創建一張表
hbase(main):004:0> create 'table1','field1'
0 row(s) in 1.3430 seconds
=> Hbase::Table - table1
- 獲取一張表
hbase(main):005:0> t1 = get_table('table1')
0 row(s) in 0.0010 seconds
=> Hbase::Table - table1
- 添加一行
hbase(main):008:0> t1.put 'row1', 'field1:qualifier1', 'value1'
0 row(s) in 0.4160 seconds
- 讀取全部
hbase(main):009:0> t1.scan
ROW COLUMN+CELL
row1 column=field1:qualifier1, timestamp=1470621285068, value=value1
1 row(s) in 0.1000 seconds
habse配置詳解
hbase.tmp.dir：本地文件系統的臨時目錄，默認是java.io.tmpdir/hbase−java.io.tmpdir/hbase−{user.name}；
hbase.rootdir：hbase持久化的目錄，被所有regionserver共享，默認${hbase.tmp.dir}/hbase，一般設置爲hdfs://namenode.example.org:9000/hbase類似，帶全限定名；
hbase.cluster.distributed：hbase集羣模式運作與否的標誌，默認是false，開啓需要設置爲true，false時啓動hbase會在一個jvm中運行hbase和zk；
hbase.zookeeper.quorum：重要的也是必須設置的，啓動zk的服務器列表，逗號分隔，cluster模式下必須設置，默認是localhost，hbase客戶端也需要設置這個值去訪問zk；
hbase.local.dir：本地文件系統被用在本地存儲的目錄，默認${hbase.tmp.dir}/local/；
hbase.master.port：hbase master綁定的端口，默認是60000；
hbase.master.info.port：hbase master web 界面的端口，默認是60010，設置爲-1可以禁用ui；
hbase.master.info.bindAddress：master web界面的綁定地址，默認是0.0.0.0；
hbase.master.logcleaner.plugins：清理日誌的插件列表，逗號分隔，被LogService調用的LogCleanerDelegate，可以自定義，順序執行，清理WAL和HLog；默認org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner
hbase.master.logcleaner.ttl：HLog在.oldlogdir目錄中生存的最長時間，過期則被Master起線程回收，默認是600000；
hbase.master.hfilecleaner.plugins：HFile的清理插件列表，逗號分隔，被HFileService調用，可以自定義，默認org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner
hbase.master.catalog.timeout：Catalog Janitor從master到META的超時時間，我們知道這個Janitor是定時的去META掃描表目錄，來決定回收無用的regions，默認是600000；
fail.fast.expired.active.master：如果master過期，那麼不需要從zk恢復，直接終止，默認是false；
hbase.master.dns.interface：master的dns接口，向該接口提供ip，默認是default；
hbase.master.dns.nameserver：master使用的dns主機名或者ip，默認是default；
hbase.regionserver.port：regionserver綁定的端口，默認是60020；
hbase.regionserver.info.port：regionserver的web界面端口，-1取消界面，默認是60030；
hbase.regionserver.info.bindAddress：regionserver的web綁定，默認是0.0.0.0；
hbase.regionserver.info.port.auto：master或者regionserver是否自動搜索綁定的端口，默認是false；
hbase.regionserver.handler.count：regionserver上rpc listener的個數，把這個配置稱爲io線程數，其實雷同，就是說在regionserver上一個處理rpc的handler，默認是30；
hbase.regionserver.msginterval：regionserver向master發消息的間隔，默認3000毫秒；
hbase.regionserver.optionallogflushinterval：如果沒有足夠的entry觸發同步，那麼過了這個間隔後HLog將被同步到HDFS，默認是1000毫秒；
hbase.regionserver.regionSplitLimit：regionsplit的最大限額，默認是MAX_INT=2147483647，設置這個限制後，在到達限制時region split就不會再進行；
hbase.regionserver.logroll.period：不管有多少版本，直接roll掉commit log的週期，也就是說一個固定的時間週期，到期就roll，默認是3600000毫秒；
hbase.regionserver.logroll.errors.tolerated：可接受的WAL關閉錯誤個數，到達後將觸發服務器終止；設置爲0那麼在WAL writer做log rolling失敗時就停止region server，默認是2；
hbase.regionserver.hlog.reader.impl：HLog 文件reader的實現類，默認是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader；
hbase.regionserver.hlog.writer.impl：HLog 文件writer的實現類，默認是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter；
hbase.regionserver.global.memstore.upperLimit：memstore在regionserver內存中的上限，屆時新的update被阻塞並且flush被強制寫，默認是0.4就是堆內存的40%；阻塞狀態持續到regionserver的所有memstore的容量到達hbase.regionserver.global.memstore.lowerLimit；
hbase.regionserver.global.memstore.lowerLimit：memstore在regionserver內存中的最大上限，到達時flush就被強制寫，默認是0.38等價於38%的內存容量；
hbase.regionserver.optionalcacheflushinterval：一個edit版本在內存中的cache時長，默認3600000毫秒，設置爲0的話則禁止自動flush；
hbase.regionserver.catalog.timeout：regionserver的Catalog Janitor訪問META的超時時間，默認是600000；
hbase.regionserver.dns.interface：同master類似~~不講
hbase.regionserver.dns.nameserver：同master類似
zookeeper.session.timeout：這是個值得說道一下的配置，首先ZK客戶端要用，Hbase使用zk的客戶端聯繫總體，同時也被用來啓動一個zk server，作爲zk的maxSessionTimeout，總的來說就是regionserver與zk的關鍵參數，如果連接超時，master會重新的balance，regionserver也會被從集羣名單中清除，默認是90000；一個問題是如果zk 由hbase自己維護，那麼該參數作爲regionserver連接是一個值，如果zk在另外的集羣，那麼zk自己的maxSessionTimeout參數將優先於Hbase的該參數，屆時可能會發生超時時間不同的問題；
zookeeper.znode.parent：znode存放root region的地址，默認是root-region-server；
zookeeper.znode.acl.parent：root znode的acl，默認acl；
hbase.zookeeper.dns.interface：zk的dns接口，默認default；
hbase.zookeeper.dns.nameserver：zk的dns服務地址，默認default；
hbase.zookeeper.peerport：zk的peer之間的通訊端口，默認是2888；
hbase.zookeeper.leaderport：zk選leader的通訊端口，默認是3888；
hbase.zookeeper.useMulti：zk支持多重update，要求zk在3.4版本以上，默認是false；
hbase.config.read.zookeeper.config：讓hbaseconfig去讀zk的config，默認false，也不支持開啓，這個功能很搞笑~~個人觀點；
hbase.zookeeper.property.initLimit：zk的配置，同步的屬性個數限制，默認10個~~沒用；
hbase.zookeeper.property.syncLimit：zk的配置，同步時的每次請求的條數，默認5個；
hbase.zookeeper.property.dataDir：zk的配置，snapshot存放的目錄，默認是${hbase.tmp.dir}/zookeeper；
hbase.zookeeper.property.clientPort：zk的配置，client連zk的端口，默認2181；
hbase.zookeeper.property.maxClientCnxns：zk的配置，允許接入zk的最大併發連接數的限制，按ip分配，默認300；
hbase.client.write.buffer：htable客戶端寫緩衝區大小，默認是2097152BYTE，這個緩衝區就是爲了寫數據的臨時存放，設置大了，浪費客戶端和服務端的存儲，設置小了，如果寫的數據多，太多的RPC又帶來網絡開銷，官方給的一個服務端存儲耗費評估計算是：hbase.client.write.buffer*hbase.regionserver.handler.count，服務端的rs的處理handler個數也很關鍵；
hbase.client.pause：pause時長，在hbase發生get或其他操作fail掉的時候進行pause的時間長度，默認��100；
hbase.client.retries.number：發生操作fail時的重試次數，結合上一個指標一起來控制總的重試時間，默認是35；
hbase.client.max.total.tasks：一個HTable實例可以提交給集羣的最大併發任務數，默認是100；
hbase.client.max.perserver.tasks：一個HTable實例給一臺regionserver提交的最大併發任務數，默認是5；
hbase.client.max.perregion.tasks：客戶端連接一臺region的最大連接數，換句話說，當你有這麼多個連接在region時，新的操作不被髮送直到有操作完成，默認是1；
hbase.client.scanner.caching：做scanner的next操作時（如果再本地client沒找到）緩存的數據行數，這個值的設置也需要權衡，緩存的多則快，但喫內存，緩存的少則需要多的拉數據， 需要注意的事項是如果兩次調用的時間差大於scanner的timeout，則不要設置該值，默認是100；
hbase.client.keyvalue.maxsize：一個KeyValue實例的最大大小，這是存儲文件中一個entry的容量上限，合理的設置這個值可以控制regionserver的split，split不會拆keyvalue，所以把keyvalue的大小設置爲regionserver大小的一個比例分數（可除）是個不錯的選擇，默認是10485760；
hbase.client.scanner.timeout.period：結合剛纔的caching做的一個，scanner的超時時間，默認是60000毫秒；
hbase.client.localityCheck.threadPoolSize：做localityCheck的線程池大小，默認是2；
hbase.bulkload.retries.number：做bulk load的最大重試次數，默認是0，即代表不斷重試；
hbase.balancer.period：Master運行balancer的週期，默認是300000毫秒；
hbase.regions.slop：如果有regionserver的region數目超過average+(average*slop)，則rebalance，默認是0.2；
hbase.server.thread.wakefrequency：服務線程的sleep時間，默認10000毫秒，比如log roller；
hbase.server.versionfile.writeattempts：退出前寫 version file的重試次數，默認3，每次嘗試的間隔由上一個參數控制；
hbase.hregion.memstore.flush.size：Memstore寫磁盤的flush閾值，超過這個大小就flush，默認是134217728；
hbase.hregion.preclose.flush.size：如果一個region的memstore的大小等於或超過這個參數的量，在關閉region時（放置關閉flag），要提前flush，然後region關閉下線，默認大小是5242880；
hbase.hregion.memstore.block.multiplier：如果memstore的大小滿足hbase.hregion.block.memstore * hbase.hregion.flush.size個byte，那麼阻塞update，這個配置可以避免不必要的長時間split或者compact，甚至是OOME，默認是2；
hbase.hregion.memstore.mslab.enabled：開啓MemStore-Local Allocation Buffer，這個配置可以避免在高寫入的情況下的堆內存碎片，可以降低在大堆情況下的stop-the-world GC頻率，默認是true；
hbase.hregion.max.filesize：HStoreFile的最大尺寸，換句話說，當一個region裏的列族的任意一個HStoreFile超過這個大小，那麼region進行split，默認是10737418240；
hbase.hregion.majorcompaction：一個region的所有HStoreFile進行major compact的時間週期，默認是604800000 毫秒（7天）；
hbase.hregion.majorcompaction.jitter：major compaction的發生抖動範圍，這麼理解比較容易，就是說上一個參數不是一個嚴格週期，會有個抖動，這個參數就是這個抖動的比例，默認是0.5；
hbase.hstore.compactionThreshold：一個HStore存儲HStoreFile的個數閾值，超過這個閾值則所有的HStoreFile會被寫到一個新的HStore，需要平衡取捨，默認是3；
hbase.hstore.blockingStoreFiles：一個HStore存儲HStoreFile阻塞update的閾值，超過這個閾值，HStore就進行compaction，直到做完才允許update，默認是10；
hbase.hstore.blockingWaitTime：一個更強力的配置，配合上一個參數，當HStore阻塞update時，超過這個時間限制，阻塞取消，就算compaction沒有完成，update也不會再被阻塞，默認是90000毫秒；
hbase.hstore.compaction.max：每個minor compaction的HStoreFile個數上限，默認是10；
hbase.hstore.compaction.kv.max：在flushing或者compacting時允許的最大keyvalue個數，如果有大的KeyValue或者OOME的話則配置一個小的值，如果行數多且小則配置大值，默認是10；
hbase.storescanner.parallel.seek.threads：如果並行查找開啓的線程池大小，默認是10；
hfile.block.cache.size：一個配置比例，允許最大堆的對應比例的內存作爲HFile和HStoreFile的block cache，默認是0.4，即40%，設置爲0則disable這個比例，不推薦這麼做；
hfile.block.index.cacheonwrite：在index寫入的時候允許put無根（non-root）的多級索引塊到block cache裏，默認是false；
hfile.index.block.max.size：在多級索引的樹形結構裏，如果任何一層的block index達到這個配置大小，則block寫出，同時替換上新的block，默認是131072；
hfile.format.version：新文件的HFile 格式版本，設置爲1來測試向後兼容，默認是2；
hfile.block.bloom.cacheonwrite：對於組合布隆過濾器的內聯block開啓cache-on-write，默認是false；
io.storefile.bloom.block.size：一個聯合布隆過濾器的單一塊（chunk）的大小，這個值是一個逼近值，默認是131072；
hbase.rs.cacheblocksonwrite：當一個HFile block完成時是否寫入block cache，默認是false；
hbase.rpc.server.engine：hbase 做rpc server的調度管理類，實現自org.apache.hadoop.ipc.RpcServerEngine，默認是org.apache.hadoop.hbase.ipc.ProtobufRpcServerEngine；
hbase.rpc.timeout：Hbase client發起遠程調用時的超時時限，使用ping來確認連接，但是最終會拋出一個TimeoutException，默認值是60000；
hbase.rpc.shortoperation.timeout：另一個版本的hbase.rpc.timeout，控制短操作的超時時限，比如region server 彙報master的操作的超時時限可以設置小，這樣有利於master的failover，默認是10000；
hbase.ipc.client.tcpnodelay：默認是true，具體就是在tcp socket連接時設置 no delay；
hbase.master.keytab.file：kerberos keytab 文件的全路徑名，用來爲HMaster做log，無默認值；
hbase.master.kerberos.principal：運行HMaster進程時需要kerberos的principal name，這個配置就是這個name的值，形如：hbase/[email protected]；
hbase.regionserver.keytab.file：kerberos keytab 文件的全路徑名，用來爲HRegionServer做log，無默認值；
hbase.regionserver.kerberos.principal：運行HRegionServer進程時需要kerberos的principal name，這個配置就是這個name的值，形如：hbase/[email protected]；
hadoop.policy.file：RPC服務器做權限認證時需要的安全策略配置文件，在Hbase security開啓後使用，默認是habse-policy.xml；
hbase.superuser：Hbase security 開啓後的超級用戶配置，一系列由逗號隔開的user或者group；
hbase.auth.key.update.interval：Hbase security開啓後服務端更新認證key的間隔時間：默認是86400000毫秒；
hbase.auth.token.max.lifetime：Hbase security開啓後，認證token下發後的生存週期，默認是604800000毫秒；
hbase.ipc.client.fallback-to-simple-auth-allowed：client使用安全連接去鏈接一臺非安全服務器時，服務器提示client切換到SASL SIMPLE認證模式（非安全），如果設置爲true，則client同意切換到非安全連接，如果false，則退出連接；
hbase.coprocessor.region.classes：逗號分隔的Coprocessores列表，會被加載到默認所有表上。在自己實現了一個Coprocessor後，將其添加到Hbase的classpath並加入全限定名。也可以延遲加載，由HTableDescriptor指定；
hbase.rest.port：Hbase REST服務器的端口，默認是8080；
hbase.rest.readonly：定義REST服務器啓動的模式，有兩種方式，false：所有http方法都將被通過-GET/PUT/POST/DELETE，true：只有get方法ok。默認值是false；
hbase.rest.threads.max：REST服務器線程池的最大線程數，池滿的話新請求會自動排隊，限制這個配置可以控制服務器的內存量，預防OOM，默認是100；
hbase.rest.threads.min：同上類似，最小線程數，爲了確保服務器的服務狀態，默認是2；
hbase.rest.support.proxyuser：使REST服務器支持proxy-user 模式，默認是false；
hbase.defaults.for.version.skip：是否跳過hbase.defaults.for.version的檢查，默認是false；
hbase.coprocessor.master.classes：由HMaster進程加載的coprocessors，逗號分隔，全部實現org.apache.hadoop.hbase.coprocessor.MasterObserver，同coprocessor類似，加入classpath及全限定名；
hbase.coprocessor.abortonerror：如果coprocessor加載失敗或者初始化失敗或者拋出Throwable對象，則主機退出。設置爲false會讓系統繼續運行，但是coprocessor的狀態會不一致，所以一般debug時纔會設置爲false，默認是true；
hbase.online.schema.update.enable：設置true來允許在線schema變更，默認是true；
hbase.table.lock.enable：設置爲true來允許在schema變更時zk鎖表，鎖表可以組織併發的schema變更導致的表狀態不一致，默認是true；
hbase.thrift.minWorkerThreads：線程池的core size，在達到這裏配置的量級後，新線程纔會再新的連接創立時創建，默認是16；
hbase.thrift.maxWorkerThreads：顧名思義，最大線程數，達到這個數字後，服務器開始drop連接，默認是1000；
hbase.thrift.maxQueuedRequests：Thrift連接隊列的最大數，如果線程池滿，會先在這個隊列中緩存請求，緩存上限就是該配置，默認是1000；
hbase.thrift.htablepool.size.max：Thrift服務器上table pool的最大上限，默認是1000；
hbase.offheapcache.percentage：JVM參數-XX:MaxDirectMemorySize的百分比值，默認是0，即不開啓堆外分配；
hbase.data.umask.enable：開啓後，文件在regionserver寫入時會 有權限相關設定，默認是false不開啓；
hbase.data.umask：開啓上面一項配置後，文件的權限umask，默認是000；
hbase.metrics.showTableName：是否爲每個指標顯示錶名前綴，默認是true；
hbase.metrics.exposeOperationTimes：是否進行關於操作在使用時間維度的指標報告，比如GET PUT DELETE INCREMENT等，默認是true；
hbase.snapshot.enabled：是否允許snapshot被使用、存儲和克隆，默認是true；
hbase.snapshot.restore.take.failsafe.snapshot：在restore過程中，如果失敗則啓用snapshot替換，成功則刪除掉snapshot，默認開啓true；
hbase.snapshot.restore.failsafe.name：剛纔所說過程中snapshot的名字，默認是hbase-failsafe-{snapshot.name}-{restore.timestamp}；
hbase.server.compactchecker.interval.multiplier：檢查是否需要compact的時間間隔，一般情況是在比如memstore flush後或者其他事件觸發compact的，但是有時也需要不同的compact策略，所以需要週期性的檢查具體間隔=hbase.server.compactchecker.interval.multiplier * hbase.server.thread.wakefrequency，默認1000；
hbase.lease.recovery.timeout：在dfs 租約超時時限，超時則放棄，默認是900000；
hbase.lease.recovery.dfs.timeout：dfs恢復租約調用的超時時限，默認是64000；