HBase scan setBatch和setCaching的區別

HBase的查詢實現只提供兩種方式:

1、按指定RowKey獲取唯一一條記錄,get方法(org.apache.hadoop.hbase.client.Get)

2、按指定的條件獲取一批記錄,scan方法(org.apache.Hadoop.Hbase.client.Scan)


實現條件查詢功能使用的就是scan方式,scan在使用時有以下幾點值得注意:
1、scan可以通過setCaching與setBatch方法提高速度(以空間換時間);
2、scan可以通過setStartRow與setEndRow來限定範圍([start,end)start是閉區間,end是開區間)。範圍越小,性能越高。
通過巧妙的RowKey設計使我們批量獲取記錄集合中的元素挨在一起(應該在同一個Region下),可以在遍歷結果時獲得很好的性能。
3、scan可以通過setFilter方法添加過濾器,這也是分頁、多條件查詢的基礎。


scan中的setCaching與setBatch方法的區別是什麼呢?

setCaching設置的值爲每次rpc的請求記錄數,默認是1;cache大可以優化性能,但是太大了會花費很長的時間進行一次傳輸。

setBatch設置每次取的column size;有些row特別大,所以需要分開傳給client,就是一次傳一個row的幾個column。

batch和caching和hbase table column size共同決意了rpc的次數。


通過下表可以看出caching/batch/rpc次數的關係:

10 rows, 2 families, 10column per family,total:200 cell



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章