大數據:Hadoop文件操作HDFS常用命令(一)

大數據:Hadoop文件操作HDFS常用命令(一)

 

1、創建目錄。在HDFS中創建一個文件目錄:

hadoop dfs -mkdir

 

2、查看文件結構目錄:

hdfs dfs -ls -R /

例如,在HDFS中創建一個test_dir的文件目錄,然後查看:

 

如果查看具體某一個文件目錄下的文件層次,則爲:

hadoop fs -ls /mydir

mydir是開發者在HDFS中創建的文件夾目錄。

 

3、上傳單個文件。往test_dir上傳一個文件,假設需要上傳一個E:/hadoop/myfile/f1.txt的文件,到HDFS中的test_dir下面,則命令爲:

hadoop fs -put E:/hadoop/myfile/f1.txt /test_dir

 

 

4、刪除文件。如何刪除文件呢?假設要刪除剛纔上傳好的f1.txt文件,則爲:

hadoop fs -rm -r -skipTrash /test_dir/f1.txt

如圖:

 

 

5、刪除文件夾。如果是刪除整個文件夾目錄,則是:

hadoop fs -rm -r -skipTrash /test_dir

如圖:

 

 

6、上傳整個目錄文件夾。把計算機本地的一個文件夾目錄全部上傳到HDFS。假設本地有一個文件夾myfile,myfile下面有f1.txt,f2.txt,f3.txt。

命令:

hadoop dfs -put E:/hadoop/myfile  /

如圖:

 

 

7、重命名文件夾。假設現在需要把HDFS中的myfile文件夾名字改爲mydir,則爲:

hdfs dfs -mv /myfile /mydir

如圖:

 

8、把HDFS中整個文件夾目錄下的文件合併並下載到本地。假設把之前前面已經上傳到HDFS中mydir下的所有文件合併成一個完整的文件下載到本地的E:/hadoop下,名字叫temp,則命令:

hdfs dfs -getmerge /mydir E:/hadoop/temp

如圖:

本例中mydir下f1.txt , f2.txt , f3.txt裏面僅僅只是文本字符。當把這些文件合併到一個temp文件中後,是把f1.txt , f2.txt , f3.txt中所有文本字符合並追加到temp中去。

 

9、從HDFS中把文件下載到本地。假設把HDFS中的mydir/f1.txt文件下載到本地E:/hadoop下,則:

hadoop dfs -get /mydir/f1.txt E:/hadoop/f1.txt

 

 

10、查看HDFS中的文件內容。假設查看mydir下的f1.txt文件內容。命令爲:

hadoop dfs -text /mydir/f1.txt

或者:

hadoop dfs -cat /mydir/f1.txt

如圖:

 

 

11、統計HDFS基本信息。命令:

hdfs dfsadmin -report

如圖:

 

 

附:

大數據平臺Hadoop在Windows10上的搭建配置:https://zhangphil.blog.csdn.net/article/details/98730797

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章