常用hadoop命令整理

查看HDFS根目錄下的文件

hadoop fs -ls /
hdfs dfs -ls /

創建一個文件夾

hadoop fs -mkdir /file

向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經存在，由用戶來指定是追加到原有文件末尾還是進行覆蓋

hadoop fs -put ./1.txt /file

文件存在時如果再上傳相同的文件就會出現提示：file exists

使用

hadoop fs -put -f ./1.txt /file

從HDFS中下載指定文件，如果本地文件與要下載的文件名稱相同，則自動對下載的文件重命名；

if
$(hadoop fs -test -e /file/1.txt);
then
$(hadoop fs -copyToLocal 1.txt ./1.txt); 
else
$(hadoop fs -copyToLocal 1.txt ./12.txt); 
fi

將HDFS中指定文件的內容輸出到終端中

hadoop fs -cat /file/1.txt

顯示HDFS中指定的文件的讀寫權限、大小、創建時間、路徑等信息

hadoop fs -ls -h /file/1.txt

給定HDFS中某一個目錄，遞歸輸出該目錄下的所有文件的讀寫權限、大小、創建時間、路徑等信息

hadoop fs -ls -R -h /file

提供一個HDFS的目錄的路徑，對該目錄進行創建和刪除操作。創建目錄時，如果目錄文件所在目錄不存在，則自動創建相應目錄

if $(hadoop fs -test -d /file/1.txt); 
then $(hadoop fs -touch /file/1.txt); 
else $(hadoop fs -mkdir -p /file && hadoop fs -touch /file/11.txt); 
fi

刪除目錄時，當該目錄爲空時刪除，當該目錄不爲空時不刪除該目錄

hadoop fs -rmdir /file

向HDFS中指定的文件追加內容，由用戶指定內容追加到原有文件的開頭或結尾

hdfs fs -appendToFile ./2.txt /file/1.txt

刪除HDFS中指定的文件

hadoop fs -rm /file/1.txt

在HDFS中，將文件從源路徑移動到目的路徑

hadoop fs -mv /file/3.txt