Hbase中百萬級request不是癡人說夢

    昨天和一個互聯網公司leader聊天,我說我們hbase集羣(幾十臺小集羣)的寫請求達到過百萬級別,那個leader死活不信。說他們PB級別的數據每秒都在入庫也壓不到百萬級別請求。

    啥都不說,先上圖吧,有圖有真相。

    

     仔細看一下代碼,不難發現writeRequestsCount 這個值不是進行一次RPC才增加一次,而是一條put就增加一次。也就是說一次RPC可能多條put。

     把compact、split 和 flush都關掉,用MR進行入庫程序,加大map的數量,關鍵還有增大writeBuffer的大小,就能很容易的把request數搞上去.........

    元芳,你怎麼看?

     

發佈了25 篇原創文章 · 獲贊 21 · 訪問量 16萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章