在上一博文中,我們已經安裝了Hadoop2.9的僞分佈環境,我們需要對其進行一些驗證。
驗證
【在NDFS中創建目錄,用於執行MapReduce jobs。】
$ hdfs dfs -mkdir /user //這和linux的命令很是相識,前面加上-(-ls,-cat, -rmdir等等),這個目錄是建在NDFS的img上的。
$ hdfs dfs -mkdir /user/<username> //如果username爲wei,此命令爲hdfs dfs -mkdir /user/wei。注意這是缺省目錄,但需要建立
【仍使用wordcount的例子進行檢查】
【(1)上傳輸入到NDFS,統計的文件在本地名字爲mytest.txt】
$ hdfs dfs -put mytest.txt input/mytest.txt //將本地當前目錄的mytest.txt上傳至NDFS的/user/wei/input/mytest.txt中
【(2)進行mapreduce的進行】
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/mytest.txt output
【(3)查看結果,可以直接上NDFS查看,也可以導入到本地文件系統中查看】
【 3.1)直接在NDFS中查看】
$ hdfs dfs -ls output/
Found 2 items
-rw-r--r-- 1 gsta supergroup 0 2018-05-18 11:21 output/_SUCCESS
-rw-r--r-- 1 gsta supergroup 33 2018-05-18 11:21 output/part-r-00000
$ hdfs dfs -cat output/part-r-00000
Hello, 2
friend! 1
my 1
world! 1
【3.2)導入到本地文件系統中查看】
$ hdfs dfs -get output output //hdfs dfs -get <src> <localdst>,將源輸出的output,放入到本地目錄output下,實際爲output/output
一些命令
- -mkdir
- -ls
- -ls -R
- -put 上傳一個文件 hdfs dfs -put data.txt /data/input
- -moveFromLocal 上傳一個文件,會刪除本地文件
- -copyFromLocal 上傳一個文件,同-put
- -copyToLocal 下載文件
- -get 下載文件 hdfs dfs -get /data/input/data.txt
- -rm 刪除文件
- -getmerge 將目錄所有的文件先合併,再下載
- -cp
- -mv
- -count 統計目錄下的文件個數等
- -text, -cat
- -balancer 平衡操作