HBase中数据落地到磁盘的几个时刻

HBase的数据都是先写到memstore中,然后才会flush到磁盘,那么什么时候会触发memstore的flush?

一、从memstore来看

当一个region的memstore中缓存的数据达到memstore的大小时,会触发memstore级别的flush操作。memcache的size由参数hbase.hregion.memstore.flush.size指定,默认是128M。一般需要将该值调大,但并非越大越好。

二、从region来看

当region所有的memstore的size之和达到参数hbase.hregion.memstore.block.multipiler * hbase.hregion.memstore.flush.size的值时会触发flush。参数默认值分别为4和5242880。当需要调整这两个参数的时候,一般选择调整后一个参数,不动第一个。region级别的flush一般很少发生,因为Column Family的数量一般不会超过三个(经验值),所以正常情况下,达不到上述两个参数的乘积。

三、从regionserver来看

  1. 当regionserver所有的memstore缓存的数据的大小之和超过低水位线时,将会触发flush操作,且先从memstore最大的region开始flush,以此类推,直到下降到低水位线之下。
  2. 如果regionserver所有的memstore缓存的数据大小之和超过高水位线,那么reginserver将会阻塞读写,并强制flush
相关参数
hbase.regionserver.global.memstore.size 默认值 0.40(百分比)
hbase.regionserver.global.memstore.size.lower.limit 0.95 (百分比)

高水位的值为 :heapsize(堆内存)* hbase.regionserver.global.memstore.size
低水位的值为 :heapsize(堆内存)* hbase.regionserver.global.memstore.size * hbase.regionserver.global.memstore.size.lower.limit
一般堆内存大小不超过32GB,否则指针压缩就失效了

四、从WAL看

WAL的大小为hbase.regionserver.hlog.blocksize * hbase.regionserver.maxlogs决定,达到这个值之后,就会触发flush。2.0之后,hbase.regionserver.hlog.blocksize的默认值由一个HDFS 的block大小变为HDFS block的大小的两倍了。
一般需要略大于hbase.regionserver.global.memstore.upperLimit * HBASE_HEAPSIZE,避免WAL频繁的触发flush。一般调大hbase.regionserver.maxlogs的值,默认是32

五、定期flush

参数hbase.regionserver.optionalcacheflushinterval默认值1h;设置为0表示禁止自动flush;

六、手动flush

使用 flush 'tablename' 或者 flush 'regionname'对一张表或者一个region进行flush,region的名字可以在web界面看到

发布了44 篇原创文章 · 获赞 8 · 访问量 9193
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章