hadoop項目

項目來源:https://github.com/monsonlee/BigData

project2:分析日誌

1.把baidu.log上傳hdfs

2.本地編譯TimeUtil.java和MR_WLA.java

  •     問題:javac MR_WLA.java 報錯找不到包和類

            解決方式:修改/etc/profile裏的classpath,添加一行

export CLASSPATH=.:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.7.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.7.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH
  •    問題:編譯MR_WLA.java時找不到TimeUtil類

           解決方式:註釋掉兩個文件中第一行package XXX,參考https://blog.csdn.net/octopusflying/article/details/53791661

  •    問題:打包時出現 invalid header field

           解決方式:參考https://segmentfault.com/a/1190000004428950 使用打包命令 jar cfm MR_WLA.jar MR_WLA-manifest.txt MR_WLA.class TimeUtil.class,參數cfm要指定配置文件。另外:manifest文件中的每個標籤冒號後都跟上一個空格,最後一行需要有一個回車鍵,否則後面那一行是不能打包進去的

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章