Hadoop中HDFS常用命令_文件操作
對文件的操作
HDFS命令都在Hadoop的bin目錄下，當我們配置好了Hadoop的環境變量後就可以直接輸入HDFS的命令了，而不需要轉到對應的目錄下再執行命令
|
具體命令
|
命令說明
|
|
hdfs fsck / -files -blocks
|
列出文件系統中各個文件由哪些塊組成
|
| hadoop fs -ls / |
列出hdfs文件系統根目錄下的目錄和文件
hadoop fs -ls hdfs://hadoop-server-00:9000/ 與前面的命令等同只是對路徑進行了簡寫
|
|
hadoop fs -ls -R /
|
列出hdfs文件系統所有目錄和文件
-R表示遞歸進行展示
|
|
hadoop fs -cp /dir01/1.txt /dir02
|
將HDFS上 / dir01下的1.txt拷貝一份到 /dir02目錄下
目標目錄可以有多個，多個目標目錄需要使用空格隔開
|
|
hadoop fs -copyFromLocal ./jdk.tar.gz /dir01/
|
從本地文件系統中拷貝到HDFS路徑當中去
-put 命令與它等同
|
|
hadoop fs -copyToLocal /dir01/jdk.tar.gz
|
從HDFS文件系統中拷貝到本地
-get命令與它等同
|
|
hadoop fs -getmerge /dir01/log.* ./log.sum
|
合併下載多個文件
比如：/dir01/下有多個文件 log.1,log.2,log.3……
|
|
-moveFormLocal
|
從本地把文件移動到HDFS文件系統中去
|
|
-moveToLocal
|
從HDFS文件系統中移動到本地
|
|
hadoop fs -cp /dir01/jdk.tar.gz /dir02/jdk.tar.gz.2
|
從HDFS的一個路拷貝到HDFS的另一個路徑中去
|
|
-mv
|
在HDFS目錄中移動文件
|
|
hadoop fs -mkdir -p /dir01/dir02/aaa
|
在HDFS上創建目錄
-p：表示當存在父目錄時一併創建
|
|
hadoop fs -rm -r /dir01/dir02
|
在|HDFS刪除文件或文件夾
-r：表示遞歸進行刪除
|
|
-rmdir
|
刪除空目錄
|
|
hadoop fs -cat /1.txt
|
顯示文件內容
|
|
hadoop fs -appendToFile ./1.txt /2.txt
|
追加一個文件到已存在文件的末尾
|
|
-chgrp、-chmod、-chown
如：hadoop fs -chmod 666 /1.txt
|
這三個命令與linux中的用法是一樣的
|
|
hadoop fs -count /dir01/
|
統計一個指定目錄下的文件節點數 |
|
-createSnapshot、-deleteSnapshot、-renameSnapshot
如：hadoop fs -createSnapshot /
|
這三個命令用來操作HDFS文件系統目錄信息快照 |
|
hadoop fs -df -h /
|
統計HDFS文件系統的空間信息
|
|
-help
|
輸出對應命令的參數手冊
|
|
hadoop fs -setrep 3 /dir01/jdk.tar.gz
|
設置HDFS中文件的副本信息
|
|
-stat
|
顯示一個文件的或文件夾的元信息
|
|
-tail
|
顯示一個文件的末尾
|
|
-text
|
以字符形式打印一個文件的內容
|
從本地copy文件到HDFS根目錄，在上傳完成後查看文件信息
HDFS創建目錄
hadoop fs -mkdir /software
put一個文件到HDFS的指定目錄且使用-cat查看文件內容
在web服務端查看文件
刪除HDFS中指定的目錄及文件
