大數據:Hadoop文件操作HDFS常用命令(一)
1、創建目錄。在HDFS中創建一個文件目錄:
hadoop dfs -mkdir
2、查看文件結構目錄:
hdfs dfs -ls -R /
例如,在HDFS中創建一個test_dir的文件目錄,然後查看:
如果查看具體某一個文件目錄下的文件層次,則爲:
hadoop fs -ls /mydir
mydir是開發者在HDFS中創建的文件夾目錄。
3、上傳單個文件。往test_dir上傳一個文件,假設需要上傳一個E:/hadoop/myfile/f1.txt的文件,到HDFS中的test_dir下面,則命令爲:
hadoop fs -put E:/hadoop/myfile/f1.txt /test_dir
4、刪除文件。如何刪除文件呢?假設要刪除剛纔上傳好的f1.txt文件,則爲:
hadoop fs -rm -r -skipTrash /test_dir/f1.txt
如圖:
5、刪除文件夾。如果是刪除整個文件夾目錄,則是:
hadoop fs -rm -r -skipTrash /test_dir
如圖:
6、上傳整個目錄文件夾。把計算機本地的一個文件夾目錄全部上傳到HDFS。假設本地有一個文件夾myfile,myfile下面有f1.txt,f2.txt,f3.txt。
命令:
hadoop dfs -put E:/hadoop/myfile /
如圖:
7、重命名文件夾。假設現在需要把HDFS中的myfile文件夾名字改爲mydir,則爲:
hdfs dfs -mv /myfile /mydir
如圖:
8、把HDFS中整個文件夾目錄下的文件合併並下載到本地。假設把之前前面已經上傳到HDFS中mydir下的所有文件合併成一個完整的文件下載到本地的E:/hadoop下,名字叫temp,則命令:
hdfs dfs -getmerge /mydir E:/hadoop/temp
如圖:
本例中mydir下f1.txt , f2.txt , f3.txt裏面僅僅只是文本字符。當把這些文件合併到一個temp文件中後,是把f1.txt , f2.txt , f3.txt中所有文本字符合並追加到temp中去。
9、從HDFS中把文件下載到本地。假設把HDFS中的mydir/f1.txt文件下載到本地E:/hadoop下,則:
hadoop dfs -get /mydir/f1.txt E:/hadoop/f1.txt
10、查看HDFS中的文件內容。假設查看mydir下的f1.txt文件內容。命令爲:
hadoop dfs -text /mydir/f1.txt
或者:
hadoop dfs -cat /mydir/f1.txt
如圖:
11、統計HDFS基本信息。命令:
hdfs dfsadmin -report
如圖:
附:
大數據平臺Hadoop在Windows10上的搭建配置:https://zhangphil.blog.csdn.net/article/details/98730797