Sqoop導表在大併發下造成RegionServer的系統cpu過高

對於初始時只有一個Region並配置過多的map時,可能會造成某一RegionServer的系統cpu過高,主要原因是多個map任務會通過RPC同時向一個RegionServer寫入數據,當RegionServer的RPC Handler線程過少時,其它map端就會等待,此時RegionServer會堆積大量的網絡請求二無法及時響應,從而造成系統cpu過高,解決方案:

方案一:

增大RegionServer的RPC Handler線程數量(目前亦莊HBase集羣中RegionServer的RPC Handler線程數量爲25)

方案二:

減少Sqoop導表時map任務數量的設置

方案三:

創建HBase中對應的表示,爲其創建多個Region

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章