目標:利用搭建好的Hadoop運行最經典的WordCount實例
步驟:
1、配置啓動YARN,在hadoop安裝目錄下,進入etc/hadoop
配置mapred-site.xml,默認沒有mapred-site.xml,從模板文件mapred-site.xml.template生成
cp mapred-site.xml.template mapred-site.xml
並添加如下配置:
然後配置yarn-site.xml: 指定yarn的默認混洗方式mapreduce,指定節點localhost
配置完畢,啓動Resourcemanager和nodemanager,在hadoop安裝目錄下執行如下命令:
./sbin/yarn-daemon.sh start resourcemanager ./sbin/yarn-daemon.sh start nodemanager
使用jps查看:此6個服務缺一不可
可以通過yarn的服務界面查看:localhost:8088,此處只能在服務器本機上訪問,如果想在客戶端瀏覽器訪問,則修改yarn-site.xml文件,指定節點hostname爲服務器ip,最終客戶端瀏覽器訪問如下:
2、運行MapReduce Job
Hadoop/share自帶jar包,有一些mapreduce的demo,位置:share/hadoop/mapreduce/hadoop-mapreduce-examples.-2.5.0.jar
在HDFS上創建一個目錄作爲輸入文件的存放點:hdfs dfs -mkdir -p /wordcountdemo/input
vi data.input 輸入英文單詞作爲輸入參數:
將新建的文件上傳到HDFS上/wordcountdemo/input:hdfs dfs -put data.input /wordcountdemo/input
hadoop安裝目錄/bin目錄下運行如下命令:將輸出結果定位至 /wordcountdemo/output
yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /wordcountdemo/input /wordcountdemo/output
查看運行結果:hdfs dfs -cat /wordcountdemo/output/part-r-00000