HBase 默認配置說明

hbase.rootdir

這個目錄是region  server的共享目錄,用來持久化Hbase。URL需要是'完全正確'的,還要包含文件系統的scheme。例如,要表示hdfs中的 '/hbase'目錄,namenode  運行在namenode.example.org的9090端口。則需要設置爲hdfs://namenode.example.org:9000/hbase。默認情況下Hbase是寫到/tmp的。不改這個配置,數據會在重啓的時候丟失。    

默認: file:///tmp/hbase-${user.name}/hbase

 

hbase.master.port

Hbase的Master的端口.

默認: 60000

 

hbase.cluster.distributed

Hbase的運行模式。false是單機模式,true是分佈式模式。若爲false,Hbase和Zookeeper會運行在同一個JVM裏面。    

默認: false

 

hbase.tmp.dir

本地文件系統的臨時文件夾。可以修改到一個更爲持久的目錄上。(/tmp會在重啓時清楚)    

默認: /tmp/hbase-${user.name}

 

hbase.master.info.port

HBase Master web 界面端口.     設置爲-1 意味着你不想讓他運行。    

默認: 60010

 

hbase.master.info.bindAddress

HBase Master web 界面綁定的端口    

默認: 0.0.0.0

 

hbase.client.write.buffer

HTable 客戶端的寫緩衝的默認大小。這個值越大,需要消耗的內存越大。因爲緩衝在客戶端和服務端都有實例,所以需要消耗客戶端和服務端兩個地方的內存。得到的好處是,可以減少RPC的次數。可以這樣估算服務器端被佔用的內存: hbase.client.write.buffer * hbase.regionserver.handler.count    

默認: 2097152

 

hbase.regionserver.port

HBase RegionServer綁定的端口    

默認: 60020

 

hbase.regionserver.info.port

HBase RegionServer web 界面綁定的端口     設置爲 -1 意味這你不想與運行RegionServer 界面.    

默認: 60030

 

hbase.regionserver.info.port.auto

Master或RegionServer是否要動態搜一個可以用的端口來綁定界面。當hbase.regionserver.info.port已經被佔用的時候,可以搜一個空閒的端口綁定。這個功能在測試的時候很有用。默認關閉。    

默認: false

 

hbase.regionserver.info.bindAddress

HBase RegionServer web 界面的IP地址    

默認: 0.0.0.0

 

hbase.regionserver.class

RegionServer 使用的接口。客戶端打開代理來連接regionserver的時候會使用到。    

默認: org.apache.hadoop.hbase.ipc.HRegionInterface


hbase.client.pause

通常的客戶端暫停時間。最多的用法是客戶端在重試前的等待時間。比如失敗的get操作和region查詢操作等都很可能用到。

默認: 1000


hbase.client.retries.number

最大重試次數。例如 region查詢,Get操作,Update操作等等都可能發生錯誤,需要重試。這是最大重試錯誤的值。    

默認: 10


hbase.client.scanner.caching

當調用Scanner的next方法,而值又不在緩存裏的時候,從服務端一次獲取的行數。越大的值意味着Scanner會快一些,但是會佔用更多的內存。當緩衝被佔滿的時候,next方法調用會越來越慢。慢到一定程度,可能會導致超時。例如超過了 hbase.regionserver.lease.period。    

默認: 1


hbase.client.keyvalue.maxsize

一個KeyValue實例的最大size.這個是用來設置存儲文件中的單個entry的大小上界。因爲一個KeyValue是不能分割的,所以可以避免因爲數據過大導致region不可分割。明智的做法是把它設爲可以被最大region  size整除的數。如果設置爲0或者更小,就會禁用這個檢查。默認10MB。    

默認: 10485760

 

hbase.regionserver.lease.period

客戶端租用HRegion server 期限,即超時閥值。單位是毫秒。默認情況下,客戶端必須在這個時間內發一條信息,否則視爲死掉。

默認: 60000

 

hbase.regionserver.handler.count

RegionServers受理的RPC Server實例數量。對於Master來說,這個屬性是Master受理的handler數量    

默認: 10

 

hbase.regionserver.msginterval

RegionServer 發消息給 Master 時間間隔,單位是毫秒    

默認: 3000

 

hbase.regionserver.optionallogflushinterval

將Hlog同步到HDFS的間隔。如果Hlog沒有積累到一定的數量,到了時間,也會觸發同步。默認是1秒,單位毫秒。    

默認: 1000

 

hbase.regionserver.regionSplitLimit

region的數量到了這個值後就不會在分裂了。這不是一個region數量的硬性限制。但是起到了一定指導性的作用,到了這個值就該停止分裂了。默認是MAX_INT.就是說不阻止分裂。

默認: 2147483647

 

hbase.regionserver.logroll.period

提交commit log的間隔,不管有沒有寫足夠的值。

默認: 3600000

 

hbase.regionserver.hlog.reader.impl

HLog file reader 的實現.

默認: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader

 

hbase.regionserver.hlog.writer.impl

HLog file writer 的實現.

默認: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogWriter

 

hbase.regionserver.thread.splitcompactcheckfrequency

region server 多久執行一次split/compaction檢查.    

默認: 20000

 

hbase.regionserver.nbreservationblocks

儲備的內存block的數量(譯者注:就像石油儲備一樣)。當發生out of memory 異常的時候,我們可以用這些內存在RegionServer停止之前做清理操作。    

默認: 4


hbase.zookeeper.dns.interface

當使用DNS的時候,Zookeeper用來上報的IP地址的網絡接口名字。    

默認: default

 

hbase.zookeeper.dns.nameserver

當使用DNS的時候,Zookeepr使用的DNS的域名或者IP 地址,Zookeeper用它來確定和master用來進行通訊的域名.    

默認: default

 

hbase.regionserver.dns.interface

當使用DNS的時候,RegionServer用來上報的IP地址的網絡接口名字。    

默認: default

 

hbase.regionserver.dns.nameserver

當使用DNS的時候,RegionServer使用的DNS的域名或者IP 地址,RegionServer用它來確定和master用來進行通訊的域名.    

默認: default

 

hbase.master.dns.interface

當使用DNS的時候,Master用來上報的IP地址的網絡接口名字。    

默認: default


hbase.master.dns.nameserver

當使用DNS的時候,RegionServer使用的DNS的域名或者IP 地址,Master用它來確定用來進行通訊的域名.    

默認: default

 

hbase.balancer.period    

Master執行region balancer的間隔。    

默認: 300000

 

hbase.regions.slop

當任一regionserver有average + (average * slop)個region是會執行Rebalance    

默認: 0

 

hbase.master.logcleaner.ttl

Hlog存在於.oldlogdir 文件夾的最長時間,     超過了就會被 Master 的線程清理掉.    

默認: 600000

 

hbase.master.logcleaner.plugins

LogsCleaner 服務會執行的一組LogCleanerDelegat。值用逗號間隔的文本表示。這些WAL/HLog  cleaners會按順序調用。可以把先調用的放在前面。你可以實現自己的LogCleanerDelegat,加到Classpath下,然後在這裏寫下類的全稱。一般都是加在默認值的前面。    

默認: org.apache.hadoop.hbase.master.TimeToLiveLogCleaner

 

hbase.regionserver.global.memstore.upperLimit

單個region server的全部memtores的最大值。超過這個值,一個新的update操作會被掛起,強制執行flush操作。    

默認: 0.4

 

hbase.regionserver.global.memstore.lowerLimit

當強制執行flush操作的時候,當低於這個值的時候,flush會停止。默認是堆大小的 35% .      如果這個值和hbase.regionserver.global.memstore.upperLimit 相同就意味着當update操作因爲內存限制被掛起時,會盡量少的執行flush(譯者注:一旦執行flush,值就會比下限要低,不再執行)    

默認: 0.35

 

hbase.server.thread.wakefrequency

service工作的sleep間隔,單位毫秒。 可以作爲service線程的sleep間隔,比如logroller.    

默認: 10000

 

hbase.hregion.memstore.flush.size

當memstore的大小超過這個值的時候,會flush到磁盤。這個值被一個線程每隔hbase.server.thread.wakefrequency檢查一下。    

默認: 67108864

 

hbase.hregion.preclose.flush.size

當一個region中的memstore的大小大於這個值的時候,我們又觸發了close.會先運行“pre-flush”操作,清理這個需要關閉的 memstore,然後將這個region下線。當一個region下線了,我們無法再進行任何寫操作。如果一個memstore很大的時候,flush 操作會消耗很多時間。"pre-flush"操作意味着在region下線之前,會先把memstore清空。這樣在最終執行close操作的時候,flush操作會很快。    

默認: 5242880

 

hbase.hregion.memstore.block.multiplier

如果memstore有hbase.hregion.memstore.block.multiplier倍數的hbase.hregion.flush.size的大小,就會阻塞update操作。這是爲了預防在update高峯期會導致的失控。如果不設上界,flush的時候會花很長的時間來合併或者分割,最壞的情況就是引發out of  memory異常。(譯者注:內存操作的速度和磁盤不匹配,需要等一等。原文似乎有誤)    

默認: 2

 

hbase.hregion.memstore.mslab.enabled

體驗特性:啓用memStore分配本地緩衝區。這個特性是爲了防止在大量寫負載的時候堆的碎片過多。這可以減少GC操作的頻率。(GC有可能會Stop the world)(譯者注:實現的原理相當於預分配內存,而不是每一個值都要從堆裏分配)    

默認: false

 

hbase.hregion.max.filesize

最大HStoreFile大小。若某個Column families的HStoreFile增長達到這個值,這個Hegion會被切割成兩個。       Default: 256M.    

默認: 268435456

 

hbase.hstore.compactionThreshold

當一個HStore含有多於這個值的HStoreFiles(每一個memstore flush產生一個HStoreFile)的時候,會執行一個合併操作,把這HStoreFiles寫成一個。這個值越大,需要合併的時間就越長。     

默認: 3

 

hbase.hstore.blockingStoreFiles

當一個HStore含有多於這個值的HStoreFiles(每一個memstore flush產生一個HStoreFile)的時候,會執行一個合併操作,update會阻塞直到合併完成,直到超過了hbase.hstore.blockingWaitTime的值    

默認: 7

 

hbase.hstore.blockingWaitTime

hbase.hstore.blockingStoreFiles所限制的StoreFile數量會導致update阻塞,這個時間是來限制阻塞時間的。當超過了這個時間,HRegion會停止阻塞update操作,不過合併還有沒有完成。默認爲90s.    

默認: 90000

 

hbase.hstore.compaction.max

每個“小”合併的HStoreFiles最大數量。    

默認: 10

 

hbase.hregion.majorcompaction

一個Region中的所有HStoreFile的major compactions的時間間隔。默認是1天。設置爲0就是禁用這個功能。    

默認: 86400000

 

hbase.mapreduce.hfileoutputformat.blocksize

MapReduce 中HFileOutputFormat可以寫storefiles/hfiles. 這個值是hfile的blocksize的最小值。通常在Hbase寫Hfile的時候,bloocksize是由table schema(HColumnDescriptor)決定的,但是在mapreduce寫的時候,我們無法獲取schema中blocksize。這個值越小,你的索引就越大,你隨機訪問需要獲取的數據就越小。如果你的cell都很小,而且你需要更快的隨機訪問,可以把這個值調低。    

默認: 65536

 

hfile.block.cache.size

分配給HFile/StoreFile的block cache佔最大堆(-Xmx setting)的比例。默認是20%,設置爲0就是不分配。      

默認: 0.2

 

hbase.hash.type

哈希函數使用的哈希算法。可以選擇兩個值:: murmur (MurmurHash) 和 jenkins(JenkinsHash).     這個哈希是給 bloomfilters用的.    

默認: murmur

 

hbase.master.keytab.file

HMaster server驗證登錄使用的kerberoskeytab 文件路徑。(譯者注:Hbase使用Kerberos實現安全)    

默認:

 

hbase.master.kerberos.principal

例如. "hbase/[email protected]".  HMaster運行需要使用 kerberosprincipal name.  principal name 可以在:user/hostname@DOMAIN 中獲取. 如果 "_HOST" 被用做hostname     portion,需要使用實際運行的hostname來替代它。    

默認:

 

hbase.regionserver.keytab.file

HRegionServer驗證登錄使用的kerberoskeytab 文件路徑。    

默認:

 

hbase.regionserver.kerberos.principal

例如. "hbase/[email protected]".  HRegionServer運行需要使用 kerberosprincipal name.  principal name 可以在:user/hostname@DOMAIN 中獲取. 如果 "_HOST" 被用做hostname     portion,需要使用實際運行的hostname來替代它。在這個文件中必須要有一個entry來描述 hbase.regionserver.keytab.file    

默認:

 

zookeeper.session.timeout

ZooKeeper  會話超時.Hbase把這個值傳遞改zk集羣,向他推薦一個會話的最大超時時間。詳見http://hadoop.apache.org/zookeeper/docs/current/zookeeperProgrammers.html#ch_zkSessions       "The client sends a requestedtimeout, the server responds with the       timeout that it can givethe client. "。       單位是毫秒    

默認: 180000

 

zookeeper.znode.parent

ZooKeeper中的Hbase的根ZNode。所有的Hbase的ZooKeeper會用這個目錄配置相對路徑。默認情況下,所有的Hbase的ZooKeeper文件路徑是用相對路徑,所以他們會都去這個目錄下面。    

默認: /hbase

 

zookeeper.znode.rootserver

ZNode 保存的根region的路徑. 這個值是由Master來寫,client和regionserver 來讀的。如果設爲一個相對地址,父目錄就是  ${zookeeper.znode.parent}.默認情形下,意味着根region的路徑存儲在/hbase/root-region-server.    

默認: root-region-server

 

hbase.zookeeper.quorum

Zookeeper 集羣的地址列表,用逗號分割。例 如:"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默認是localhost,是給僞分佈式用的。要修改才能在完全分佈式的情況下使用。如果在hbase-env.sh設置了HBASE_MANAGES_ZK,這些ZooKeeper節點就會和Hbase一起啓動。        

默認: localhost

 

hbase.zookeeper.peerport

ZooKeeper節點使用的端口。詳細參見:http://hadoop.apache.org/zookeep... ReplicatedZooKeeper         

默認: 2888

 

hbase.zookeeper.leaderport

ZooKeeper用來選擇Leader的端口,詳細參見:http://hadoop.apache.org/zookeep... ReplicatedZooKeeper    

默認: 3888

 

hbase.zookeeper.property.initLimit

ZooKeeper的zoo.conf中的配置。 初始化synchronization階段的ticks數量限制    

默認: 10

 

hbase.zookeeper.property.syncLimit

ZooKeeper的zoo.conf中的配置。 發送一個請求到獲得承認之間的ticks的數量限制    

默認: 5

 

hbase.zookeeper.property.dataDir

ZooKeeper的zoo.conf中的配置。     快照的存儲位置    

默認: ${hbase.tmp.dir}/zookeeper

 

hbase.zookeeper.property.clientPort

ZooKeeper的zoo.conf中的配置。 客戶端連接的端口    

默認: 2181

 

hbase.zookeeper.property.maxClientCnxns

ZooKeeper的zoo.conf中的配置。ZooKeeper集羣中的單個節點接受的單個Client(以IP區分)的請求的併發數。這個值可以調高一點,防止在單機和僞分佈式模式中出問題。    

默認: 2000


hbase.rest.port

HBase REST server的端口

默認: 8080


hbase.rest.readonly

定義REST server的運行模式。可以設置成如下的值:     false: 所有的HTTP請求都是被允許的 -GET/PUT/POST/DELETE.     true:只有GET請求是被允許的    

默認: false


轉載自http://www.aboutyun.com/thread-7914-1-1.html,鳴謝

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章