sqoop導入大量數據到hbase出現hregionServer墜機問題解決

sqoop導入大量數據到hbase出現hregionServer墜機問題解決

---

版本信息：
zookeeper-3.4.10
hbase-1.2.6
hadoop-2.7.3
java 1.8

當用sqoop把mysql數據導出hbase是發現導入失敗，查看進程發現hregionServer掛了，查看hbase-zkpk-regionserver-slave.log、hbase-zkpk-master-master.log和zk日誌和網上資料發現原因主要大量數據的寫入需要大量hbase資源，然而也就有長時間的FULL GC,GC時間過長與zookeeper失去連接，zk判斷regionServer 死亡,regionServer已經存在Region server exiting等問題，最後java.lang.RuntimeException: HRegionServer Aborted

解決方案是jvm參數調優、增加堆棧空間、zk連接次數、zk等待時間等

具體如下：

hbase-site.xml：

<property>
        <name>zookeeper.session.timeout</name>
        <value>300000</value>
</property>

<property>
        <name>hbase.zookeeper.property.tickTime</name>
        <value>6000</value>
</property>

<property>
        <name>hbase.hregion.memstroe.mslab.enable</name>
        <value>true</value>
</property>

<property>
        <name>hbase.zookeeper.property.maxClientCnxns</name>
        <value>10000</value>
</property>

<property>
	<name>hbase.client.scanner.timeout.period</name>
	<value>240000</value>
</property>

<property>
	<name>hbase.rpc.timeout</name>
	<value>280000</value>
</property>

<property>
	<name>hbase.hregion.max.filesize</name>
	<value>107374182400</value>
</property>

<property>
	<name>hbase.regionserver.handler.count</name>
	<value>100</value>
</property>

</property>

hbase-env.sh:

export HBASE_HEAPSIZE=16G
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_OPTS="-server -Xms1g -Xmx1g -XX:NewRatio=2  -verbose:gc -Xloggc:$HBASE_HOME/logs/hbasegc.log -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+UseParNewGC -XX:+CMSParallelRemarkEnabled -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=$HBASE_HOME/logs"

zoo.cfg:

# The number of milliseconds of each 
tickTime=6000
# increase this if you need to handle more clients
maxClientCnxns=10000

參考
[總結型] HBase隨機宕機事件處理 & JVM GC回顧
Regionserver頻繁掛掉故障處理實踐
HBase參數配置及說明
sqoop導入hbase
HBase RegionServer掛掉問題分析