使用hadoop C接口編寫代碼錯誤集合

編譯:

g++ hello_world.cpp -I${HADOOP_HOME}/include -L${HADOOP_HOME}/lib/native -lhdfs -L${JAVA_HOME}/lib/server -ljvm
最終運行Java程序,所以不僅需要hdfs的動態庫,還需要jvm的庫
我安裝的是openjdk11,11之後的版本取消了jre目錄,重新整改了目錄結構

運行報錯無法掛載動態庫

  1. error while loading shared libraries: libjvm.so: cannot open shared object file: No such file or directory
  2. error while loading shared libraries: libhdfs.so.0.0.0: cannot open shared object file: No such file or directory

解決辦法
3. 添加動態鏈接庫到/etc/ld.so.conf.f

vim /etc/ld.so.conf.d/hdfs.conf
java的動態鏈接庫路徑$JAVA_HOME/lib/server
libhdfs的動態鏈接庫路徑$HADOOP_HOME/lib/native
(改成自己的目錄就是了)
  1. 執行命令:ldconfig -v

運行報錯

NoClassDefFoundError exception: ExceptionUtils::getStackTrace error

解決方法是將hadoop裏的jar添加進CLASSPATH環境變量裏
後面嘗試過:
export HADOOP_CLASSPATH=$(find $HADOOP_HOME -name '*.jar' | xargs echo | tr ' ' ':')
但是報錯:

Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed
Environment variable CLASSPATH not set!
getJNIEnv: getGlobalJNIEnv failed

然後嘗試:
export CLASSPATH=$($HADOOP_PREFIX/bin/hadoop classpath --glob)
解決

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章