HDFS常見的shell操作_學習筆記

1、-ls顯示目錄信息

查看HDFS根目錄下面的文件

[root@bigdata03 ~]# hadoop fs -ls /
Found 14 items
drwxrwxrwx   - root    root                0 2021-01-11 22:29 /benchmarks
drwxr-xr-x   - root    root                0 2020-09-13 23:41 /file
drwxr-xr-x   - root    root                0 2021-03-02 22:49 /hbase
drwxr-xr-x   - root    root                0 2020-10-08 23:19 /log
drwxrwxrwx   - root    root                0 2020-10-05 14:09 /myhive_db
drwxrwxrwx   - root    root                0 2020-12-15 23:30 /origin_data

查看HDFS “/hbase/data/”目錄下面的文件

[root@bigdata03 ~]# hadoop fs -ls /hbase/data/
Found 2 items
drwxr-xr-x   - root root          0 2021-02-24 23:32 /hbase/data/default
drwxr-xr-x   - root root          0 2020-10-17 22:24 /hbase/data/hbase

遞歸查詢HDFS的文件系統目錄

[root@bigdata03 ~]# hadoop fs -ls -R /
[root@bigdata03 ~]# hadoop fs -lsr /

2、-mkdir:在HDFS上創建目錄

遞歸創建目錄“/20210302_sanguo/shuguo”
遞歸創建文件夾用mkdir -p

[root@bigdata03 ~]# hadoop fs -mkdir -p /20210302_sanguo/shuguo
[root@bigdata03 ~]# hadoop fs -ls /
Found 15 items
drwxr-xr-x   - root    root                0 2021-03-02 23:19 /20210302_sanguo
drwxrwxrwx   - root    root                0 2021-01-11 22:29 /benchmarks
drwxr-xr-x   - root    root                0 2020-09-13 23:41 /file
drwxr-xr-x   - root    root                0 2021-03-02 22:49 /hbase
drwxr-xr-x   - root    root                0 2020-10-08 23:19 /log
drwxrwxrwx   - root    root                0 2020-10-05 14:09 /myhive_db
drwxrwxrwx   - root    root                0 2020-12-15 23:30 /origin_data

3、-appengToFile:追加一個文件到已經存在的文件的末尾

將本地文件追加到HDFS文件

hadoop fs -appengToFile  本地文件路徑  HDFS文件路徑

4、-cat顯示文件內容

[root@bigdata03 ~]# hadoop fs -cat /wc.txt
hello hadoop

5、-chgrp,-chmod,-chown:跟liunx文件系統的用法是一樣的，修改我呢見所屬權限

6、-copyFromLocal:從本地文件系統中拷貝文件到HDFS路徑去

7、-copyToLocal:從HDFS拷貝到本地

8、-cp:從HDFS的一個路徑拷貝到HDFS另外一個路徑

hadoop fs -cp HDFS源路徑  HDFS目標路徑

9、-mv:在HDFS目錄中移動文件

hadoop fs -cp HDFS文件路徑 HDFS文件移動後的路徑

10、-get:等同於copyToLocal，就是從HDFS下載文件到本地

hadoop fs -cp HDFS文件路徑 下載後的文帝路徑

11、-getmerge:合併下載多個文件，比如HDFS的目錄/aaa/下有多個文件：log.1,log.2,log.3……

12、-put:等同於copyFromLocal，從本地上傳文件HDFS

13、-tail:顯示一個文件的末尾

監控新產生文件的變化

14、-rm:刪除文件或文件夾

15、-rmdir:刪除空目錄

16、-du:統計文件夾的大小

統計HDFS根目錄下的文件大小

17、-setrep:設置HDFS文件的副本數量