Hadoop常用shell命令

總結一些 Hadoop 常用的 shell 命令：

命令	說明
hadoop fs -help	查看命令幫助
hadoop fs -ls /	查看 hdfs 根目錄下的文件列表
hadoop fs -put localsrc dst hadoop fs -f -put localsrc dst	上傳本地文件到 hdfs，若文件已存在則報錯； 若文件存在，則覆蓋上傳
hadoop fs -get src localdst	從 hdfs 下載文件到本地
hadoop fs -cat file	查看某個文件內容
hadoop fs -cp srcfile dstfile	複製某個文件到另一個目錄下
hadoop fs -df -h /	查看磁盤使用情況
hadoop fs -du -s -h hdfs://jing-hadoop:9000/*	統計根目錄下的所有文件大小； 這裏必須使用 hdfs 完整目錄，否則統計不到
hadoop fs -mkdir -p /aa/bb	遞歸創建文件夾； 若不加 -p，不能遞歸創建
hadoop fs -rm filename hadoop fs -rm -r /aa/bb hadoop fs -rm -r /aa	刪除指定文件； 刪除 bb 整個目錄，aa 目錄還在； 刪除整個 aa 目錄及其子文件夾

可以看出，Hadoop 命令跟普通的 Linux 命令很相似，只是所有的 Hadoop 命令都要帶上 hadoop fs 前綴，我們最常用的就是 put、get 命令上傳和下載文件。

需要注意的是，在 Hadoop 中已上傳的文件內容不能被修改，但可以在原文件後面追加內容。