hadoop項目

項目來源：https://github.com/monsonlee/BigData

project2：分析日誌

1.把baidu.log上傳hdfs

2.本地編譯TimeUtil.java和MR_WLA.java

•     問題：javac MR_WLA.java 報錯找不到包和類

            解決方式：修改/etc/profile裏的classpath，添加一行

export CLASSPATH=.:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.7.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.7.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH

•    問題：編譯MR_WLA.java時找不到TimeUtil類

           解決方式：註釋掉兩個文件中第一行package XXX，參考https://blog.csdn.net/octopusflying/article/details/53791661

•    問題：打包時出現 invalid header field

           解決方式：參考https://segmentfault.com/a/1190000004428950 使用打包命令 jar cfm MR_WLA.jar MR_WLA-manifest.txt MR_WLA.class TimeUtil.class,參數cfm要指定配置文件。另外：manifest文件中的每個標籤冒號後都跟上一個空格，最後一行需要有一個回車鍵，否則後面那一行是不能打包進去的