昨天和一個互聯網公司leader聊天,我說我們hbase集羣(幾十臺小集羣)的寫請求達到過百萬級別,那個leader死活不信。說他們PB級別的數據每秒都在入庫也壓不到百萬級別請求。
啥都不說,先上圖吧,有圖有真相。
仔細看一下代碼,不難發現writeRequestsCount 這個值不是進行一次RPC才增加一次,而是一條put就增加一次。也就是說一次RPC可能多條put。
把compact、split 和 flush都關掉,用MR進行入庫程序,加大map的數量,關鍵還有增大writeBuffer的大小,就能很容易的把request數搞上去.........
元芳,你怎麼看?