一直使用hbase作大容量存儲,因爲hbase易於存取。
今天,在錄入數據的時候,突然報出一個KeyValue size too large。很是奇怪。
後來發現,該數據特別大,經查源碼
private void validatePut(final Put put) throws IllegalArgumentException{
if (put.isEmpty()) {
throw new IllegalArgumentException("No columns to insert");
}
if (maxKeyValueSize > 0) {
for (List<KeyValue> list : put.getFamilyMap().values()) {
for (KeyValue kv : list) {
if (kv.getLength() > maxKeyValueSize) {
throw new IllegalArgumentException("KeyValue size too large");
}
}
}
}
}
說明當某一列的值大於該值的時候,將會拋出該異常,又查看maxKeyValueSize,發現它調用的是hbase配置裏的hbase.client.keyvalue.maxsize,默認大小爲10M,即 10485760 。將它改大即可。
但是,當我修改完以後,啓動hbase總是出問題,後來又將hbase-env.sh裏的HBASE_HEAPSIZE改大。
後來又將mapred-site.xml中的mapred.tasktracker.indexcache.mb改大,至於大於hbase.client.keyvalue.maxsize,不知道有沒有影響,以防萬一吧,我覺得hbase的執行應該是跟job有關係的吧。
請大家多多指教