hadoop基本操作命令小結

eclipse hadoop開發環境配置已經搞定,接下來就是開發hadoop程序了。但在這之前熟悉下hadoop的基本操作命令非常有必要,以下就先簡單的小結下:

啓動和關閉Hadoop

啓動Hadoop
1.進入HADOOP_HOME目錄。
2.執行bin/start-all.sh

關閉Hadoop
1.進入HADOOP_HOME目錄。
2.執行bin/stop-all.sh

 

HDFS文件文件系統操作 Hadoop使用的是HDFS,能夠實現的功能和我們使用的磁盤系統

類似。並且支持通配符,如*。

 
查看文件列表
查看hdfs中/user/hadoop目錄下的文件和目錄。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs -ls /user/hadoop

列出hdfs中/user/hadoop目錄下的所有文件(包括子目錄下的文件)。
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -lsr /user/hadoop

 

創建文件目錄
查看hdfs中/user/hadoop目錄下再新建一個叫做newDir的新目錄。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs -mkdir /user/hadoop/newDir

 

刪除文件
刪除hdfs中/user/hadoop目錄下一個名叫needDelete的文件
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rm /user/hadoop/needDelete

刪除hdfs中/user/hadoop目錄以及該目錄下的所有文件
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rmr /user/hadoop

 

上傳文件
上傳一個本機/home/hadoop/newFile的文件到hdfs中/user/hadoop目錄下
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –put /home/hadoop/newFile /user/hadoop

 

下載文件
下載hdfs中/user/hadoop目錄下的newFile文件到本機/home/hadoop/newFile中
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –get /user/hadoop/newFile /home/hadoop/newFile

 

查看文件內容
查看hdfs中/user/hadoop目錄下的newFile文件
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –cat /home/admin/newFile

 

MapReduce Job操作
提交MapReduce Job
原則上說,Hadoop所有的MapReduce Job都是一個jar包。

運行一個/home/hadoop/ hadoop-0.20.2/job.jar的MapReduce Job
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop jar job.jar [jobMainClass] [jobArgs]

殺死某個正在運行的JOB 假設Job_Id爲: job_201112161201_0069
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop job -kill job_201112161201_0069

 

更多Hadoop的命令
上面介紹的這些Hadoop的操作命令是我們最常用的。如果你希望瞭解更多,可以按照如下的方式獲取命令的說明信息。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop
可以看到更多命令的說明信息

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章