hadoop學習隨筆

目標:利用搭建好的Hadoop運行最經典的WordCount實例

步驟:

1、配置啓動YARN,在hadoop安裝目錄下,進入etc/hadoop

  配置mapred-site.xml,默認沒有mapred-site.xml,從模板文件mapred-site.xml.template生成

  cp mapred-site.xml.template mapred-site.xml

  並添加如下配置:

  

  然後配置yarn-site.xml: 指定yarn的默認混洗方式mapreduce,指定節點localhost

  

  配置完畢,啓動Resourcemanager和nodemanager,在hadoop安裝目錄下執行如下命令:

  ./sbin/yarn-daemon.sh start resourcemanager    ./sbin/yarn-daemon.sh start nodemanager

  使用jps查看:此6個服務缺一不可

  

  可以通過yarn的服務界面查看:localhost:8088,此處只能在服務器本機上訪問,如果想在客戶端瀏覽器訪問,則修改yarn-site.xml文件,指定節點hostname爲服務器ip,最終客戶端瀏覽器訪問如下:

   

2、運行MapReduce Job

  Hadoop/share自帶jar包,有一些mapreduce的demo,位置:share/hadoop/mapreduce/hadoop-mapreduce-examples.-2.5.0.jar 

在HDFS上創建一個目錄作爲輸入文件的存放點:hdfs dfs -mkdir -p /wordcountdemo/input

vi data.input 輸入英文單詞作爲輸入參數:

  

將新建的文件上傳到HDFS上/wordcountdemo/input:hdfs dfs -put data.input /wordcountdemo/input

hadoop安裝目錄/bin目錄下運行如下命令:將輸出結果定位至  /wordcountdemo/output

yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /wordcountdemo/input /wordcountdemo/output

  

查看運行結果:hdfs dfs -cat /wordcountdemo/output/part-r-00000

  

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章