Hadoop開發第期---HDFS 的shell操作
一、HDFS的shell命令簡介
我們都知道HDFS 是存取數據的分佈式文件系統，那麼對HDFS 的操作，就是文件系統的基本操作，比如文件的創建、修改、刪除、修改權限等，文件夾的創建、刪除、重命名等。對HDFS 的操作命令類似於lLinux 的shell 對文件的操作，如ls、mkdir、rm 等。
我們在執行HDFS的shell操作的時候，一定要確定hadoop 是正常運行的，我們可以使用使用jps 命令確保看到各個hadoop 進程。
我們可以執行命令hadoop fs，來查看HDFS的shell操作的所有命令如下。
[root@hadoop ~]# hadoop fs
Usage: java FsShell
[-ls <path>]
[-lsr <path>]
[-du <path>]
[-dus <path>]
[-count[-q] <path>]
[-mv <src> <dst>]
[-cp <src> <dst>]
[-rm [-skipTrash] <path>]
[-rmr [-skipTrash] <path>]
[-expunge]
[-put <localsrc> ... <dst>]
[-copyFromLocal <localsrc> ... <dst>]
[-moveFromLocal <localsrc> ... <dst>]
[-get [-ignoreCrc] [-crc] <src> <localdst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-setrep [-R] [-w] <rep> <path/file>]
[-touchz <path>]
[-test -[ezd] <path>]
[-stat [format] <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]]
二、HDFS的shell操作命令選項
|
選項名稱 |
使用格式 |
含義 |
|
-ls |
-ls <路徑> |
查看指定路徑的當前目錄結構 |
|
-lsr |
-lsr <路徑> |
遞歸查看指定路徑的目錄結構 |
|
-du |
-du <路徑> |
統計目錄下各文件大小 |
|
-dus |
-dus <路徑> |
彙總統計目錄下文件(夾)大小 |
|
-count |
-count [-q] <路徑> |
統計文件(夾)數量 |
|
-mv |
-mv <源路徑> <目的路徑> |
移動 |
|
-cp |
-cp <源路徑> <目的路徑> |
複製 |
|
-rm |
-rm [-skipTrash] <路徑> |
刪除文件/空白文件夾 |
|
-rmr |
-rmr [-skipTrash] <路徑> |
遞歸刪除 |
|
-put |
-put <多個linux上的文件> <hdfs 路徑> |
上傳文件 |
|
-copyFromLocal |
-copyFromLocal <多個linux 上的文件> <hdfs 路徑> |
從本地複製 |
|
-moveFromLocal |
-moveFromLocal <多個linux 上的文件> <hdfs 路徑> |
從本地移動 |
|
-getmerge |
-getmerge <源路徑> <linux 路徑> |
合併到本地 |
|
-cat |
-cat <hdfs 路徑> |
查看文件內容 |
|
-text |
-text <hdfs 路徑> |
查看文件內容 |
|
-copyToLocal |
-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路徑] [linux 目的路徑] |
複製到本地 |
|
-moveToLocal |
-moveToLocal [-crc] <hdfs 源路徑> <linux目的路徑> |
移動到本地 |
|
-setrep |
-setrep [-R] [-w] <副本數> <路徑> |
修改副本數量 |
|
-mkdir |
-mkdir <hdfs 路徑> |
創建空白文件夾 |
|
-touchz |
-touchz <文件路徑> |
創建空白文件 |
|
-stat |
-stat [format] <路徑> |
顯示文件統計信息 |
|
-tail |
-tail [-f] <文件> |
查看文件尾部信息 |
|
-chmod |
-chmod [-R] <權限模式> [路徑] |
修改權限 |
|
-chown |
-chown [-R] [屬主][:[屬組]]路徑 |
修改屬主 |
|
-chgrp |
-chgrp [-R] 屬組名稱 路徑 |
修改屬組 |
|
-help |
-help -help [命令選項] |
幫助 |
三、各命令選項的用法
1. ls 顯示當前目錄結構
(1) 該命令選項表示查看指定路徑的當前目錄結構，後面跟hdfs 路徑，如果圖3.1所示。
圖 3.1
我們解釋一下每一行的內容格式：
① 首字母表示文件夾(如果是“d”)還是文件（如果是“-”）；
② 後面的9 位字符表示權限；
③ 後面的數字或者“-”表示副本數。如果是文件，使用數字表示副本數；文件夾沒有副本；
④ 後面的“root”表示屬主；
⑤ 後面的“supergroup”表示屬組；
⑥ 後面的“0”、“ 84927175”表示文件大小，單位是字節；
⑦ 後面的時間表示修改時間，格式是年月日時分；
⑧ 最後一項表示文件路徑。
可見根目錄下面有1個文件夾、1個文件。
(2) 如果該命令選項後面沒有路徑，那麼就會訪問/user/<當前用戶>目錄。我們使用root用戶登錄，因此會訪問hdfs 的/user/root 目錄，但是如果沒有這個目錄/user/root，會提示文件不存在的錯誤如圖3.2所示，添加該目錄後再次執行該命令如圖3.3,3.4所示。
圖 3.2
圖 3.3
圖 3.4
2. -lsr 遞歸顯示目錄結構
該命令選項表示遞歸顯示當前路徑的目錄結構，後面跟hdfs 路徑。如圖3.5 所示。
圖 3.5
顯示/user 目錄下有個root 目錄，root 目錄下有文件hello
3. -du 統計目錄下各文件大小
該命令選項顯示指定路徑下的文件大小，單位是字節，如圖3.6所示。
圖 3.6
4. -dus 彙總統計目錄下文件大小
該命令選項顯示指定路徑的文件大小，單位是字節，如圖3.7所示。
圖 3.7
請讀者比較圖3.6與圖3.7的區別，體會兩個命令選項的不同含義。
5. count 統計文件(夾)數量
該命令選項顯示指定路徑下的文件夾數量、文件數量、文件總大小信息，如圖3.8所示.。
圖 3.8
在圖4-6 中有兩條命令，下面的命令是爲了佐證上面命令的正確性的。
6. mv 移動
該命令選項表示移動hdfs 的文件到指定的hdfs 目錄中。後面跟兩個路徑，第一個表示源文件，第二個表示目的目錄。如圖3.9所示。
圖 3.9
在圖3.9 中有三條命令，是爲了體現移動前後的變化情況。
7. cp 複製
該命令選項表示複製hdfs 指定的文件到指定的hdfs 目錄中。後面跟兩個路徑，第一個是被複制的文件，第二個是目的地。，如圖3.10所示。.
圖 3.10
在圖3.10中有三條命令，是爲了體現複製前後的變化情況。
8. rm 刪除文件/空白文件夾
該命令選項表示刪除指定的文件或者空目錄，如圖3.11 所示。.
圖 3.11
在圖3.11 中，前三條命令是爲了體現執行前後的變化情況。第四條命令是刪除非空的“/user”目錄，操作失敗，表明不能刪除非空目錄。
9. rmr 遞歸刪除
該命令選項表示遞歸刪除指定目錄下的所有子目錄和文件，如圖3.12 所示。
圖 3.12
10. put 上傳文件
該命令選項表示把linux 上的文件複製到hdfs 中，如圖3.12所示。.
圖 3.12
11. copyFromLocal 從本地複製到hdfs
操作與-put 一致，不再舉例。
12. moveFromLocal 從本地移動到hdfs
該命令表示把文件從linux 上移動到hdfs 中，如圖3.13所示。
圖 3.13
13. getmerge 合併到本地
該命令選項的含義是把hdfs 指定目錄下的所有文件內容合併到本地linux 的文件中，如圖3.14所示。
圖 3.14
14. cat 查看文件內容
該命令選項是查看文件內容，如圖3.15所示。
圖 3.15
15. text 查看文件內容
該命令選項可以認爲作用和用法與-cat 相同，此處略。
16. mkdir 創建空白文件夾
該命令選項表示創建文件夾，後面跟的路徑是在hdfs 將要創建的文件夾，如圖3.16 所示。
圖 3.16
17. setrep 設置副本數量
(1) 該命令選項是修改已保存文件的副本數量，後面跟副本數量，再跟文件路徑，如圖3.17所示。
圖 3.17
在圖3.17 中，我們修改了文件/file1的副本數，由1 修改爲2，意味着多了一個副本，HDFS 會自動執行文件的複製工作，產生新的副本。
(2) 如果最後的路徑表示文件夾，那麼需要跟選項-R，表示對文件夾中的所有文件都修改副
本，如圖3.18 所示
圖 3.18
在圖3.18中，我們對/user/root 文件夾進行的操作，使用了選項-R，那麼/user/root 下的文件file2,file1 的副本數發生了改變。
(3) 還有一個選項是-w，表示等待副本操作結束才退出命令，如圖3.19所示。
圖 3.19
18. touchz 創建空白文件
該命令選項是在hdfs 中創建空白文件，如圖3.20 所示。
圖 3.20
19. stat 顯示文件的統計信息
該命令選項顯示文件的一些統計信息，如圖3.21所示。
圖 3.21
在圖3.21 中，命令選項後面可以有格式，使用引號表示。示例中的格式“%b %n %o%r %Y”依次表示文件大小、文件名稱、塊大小、副本數、訪問時間.
20. tail 查看文件尾部內容
該命令選項顯示文件最後1K 字節的內容。一般用於查看日誌。如果帶有選項-f，那麼當文件內容變化時，也會自動顯示。如圖3.22 所示。
圖 3.22
21. chmod 修改文件權限
(1) 該命令選項的使用類似於linux 的shell 中的chmod 用法，作用是修改文件的權限，如圖3.23 所示。.
圖 3.23
(2) 在圖3.23中，修改了文件/emptyfile 的權限。如果加上選項-R，可以對文件夾中的所有文件修改權限，如圖3.24 所示。.
圖 3.24
22. chown 修改屬主
該命令選項表示修改文件的屬主，如圖3.25所示。
圖 3.25
(2) 上圖中把文件/emptyfile 的屬主由root 修改爲sunddenly。也可以同時修改屬組，如圖3.26 所示。
圖 3.26
在圖3.26中，把文件/emptyfile 的屬主和屬組都修改爲itcast，如果只修改屬組，可以使用“：sunddenly”。如果帶有選項-R，意味着可以遞歸修改文件夾中的所有文件的屬主、屬組信息。
23. chgrp 修改屬組
該命令的作用是修改文件的屬組，該命令相當於“chown :屬組”的用法，如圖3.27所示。
圖 3.27
24. help 幫助
該命令選項會顯示幫助信息，後面跟上需要查詢的命令選項即可，如圖4-27 所示。
圖 3.28
在圖3.28 中，查詢的rm 的用法。