HBase + Hadoop 錯誤小結

1.Windows下提交報用戶權限問題

conf.set("user", "hadoop"); //或者相應的用戶名

2.windows下提交報/bin/bash: line 0: fg: no job control

conf.set("mapreduce.app-submission.cross-platform", "true");

3.運行中報ClassNotFound問題

出現以下的錯誤：

java.lang.RuntimeException: 
java.lang.ClassNotFoundException: Class GeoHashLib.Hbase.HbaseScannerTest$Map not found

使用

TableMapReduceUtil.addDependencyJars(conf, xx.class);

4.運行時報OOM錯誤

這個錯誤是mapreduce過程和java虛擬機設置的內存使用過小，通過以下這幾個參數進行改善（無需修改到配置文件中）

conf.set("mapreduce.map.memory.mb", "2048");
conf.set("mapreduce.map.memory.mb", "3072");

conf.set("mapreduce.map.java.opts", "-Xmx1024m");
conf.set("mapreduce.reduce.java.opts", "-Xmx2048m");