【分佈式】hadoop安裝篇(5)驗證和一些命令

在上一博文中,我們已經安裝了Hadoop2.9的僞分佈環境,我們需要對其進行一些驗證。

驗證

【在NDFS中創建目錄,用於執行MapReduce jobs。】
$ hdfs dfs -mkdir /user             //這和linux的命令很是相識,前面加上-(-ls,-cat, -rmdir等等),這個目錄是建在NDFS的img上的。
$ hdfs dfs -mkdir /user/<username>  //如果username爲wei,此命令爲hdfs dfs -mkdir /user/wei。注意這是缺省目錄,但需要建立

【仍使用wordcount的例子進行檢查】
【(1)上傳輸入到NDFS,統計的文件在本地名字爲mytest.txt】
$ hdfs dfs -put mytest.txt input/mytest.txt //將本地當前目錄的mytest.txt上傳至NDFS的/user/wei/input/mytest.txt中
【(2)進行mapreduce的進行】
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/mytest.txt output
【(3)查看結果,可以直接上NDFS查看,也可以導入到本地文件系統中查看】
【 3.1)直接在NDFS中查看】
$ hdfs dfs -ls output/
Found 2 items
-rw-r--r--   1 gsta supergroup          0 2018-05-18 11:21 output/_SUCCESS
-rw-r--r--   1 gsta supergroup         33 2018-05-18 11:21 output/part-r-00000
$ hdfs dfs -cat output/part-r-00000
Hello,  2
friend! 1
my      1
world!  1
【3.2)導入到本地文件系統中查看】
$ hdfs dfs -get output output  //hdfs dfs -get <src> <localdst>,將源輸出的output,放入到本地目錄output下,實際爲output/output

一些命令

  • -mkdir
  • -ls
  • -ls -R
  • -put 上傳一個文件 hdfs dfs -put data.txt /data/input
  • -moveFromLocal 上傳一個文件,會刪除本地文件
  • -copyFromLocal 上傳一個文件,同-put
  • -copyToLocal 下載文件
  • -get 下載文件 hdfs dfs -get /data/input/data.txt
  • -rm 刪除文件
  • -getmerge 將目錄所有的文件先合併,再下載
  • -cp
  • -mv
  • -count 統計目錄下的文件個數等
  • -text, -cat
  • -balancer 平衡操作

發佈了824 篇原創文章 · 獲贊 520 · 訪問量 539萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章