HDFS常用操作命令

1.啓動 Hadoop 集羣(方便後續的測試)
     sbin/start-dfs.sh
     sbin/start-yarn.sh
2.-help:輸出這個命令參數
     hadoop fs -help rm
3.-ls: 顯示目錄信息
     hadoop fs -ls /
4.-mkdir:在 hdfs 上創建目錄
     hadoop fs -mkdir -p /ceshi/ceshi1
5.-moveFromLocal 從本地剪切粘貼到 hdfs
     hadoop fs -moveFromLocal ./ceshi.txt   /ceshi/ceshi1
6.--appendToFile :追加一個文件到已經存在的文件末尾
      hadoop  fs  -appendToFile  ceshi1.txt   /ceshi/ceshi1/ceshi.txt
7.-cat :顯示文件內容
     hadoop fs -cat /ceshi/ceshi1/ceshi.txt
8.-tail:顯示一個文件的末尾
     hadoop fs -tail /ceshi/ceshi1/ceshi.txt
9.-chgrp 、-chmod、-chown:linux 文件系統中的用法一樣,修改文件所屬權限
      hadoop  fs  -chmod  666  /ceshi/ceshi1/ceshi.txt
      hadoop  fs  -chown  ceshi:ceshi   /ceshi/ceshi1/ceshi.txt
10.-copyFromLocal:從本地文件系統中拷貝文件到 hdfs 路徑去
    hadoop fs -copyFromLocal ./ceshi.txt / /ceshi/ceshi1/
11.-copyToLocal:從 hdfs 拷貝到本地
    hadoop  fs  -copyToLocal     /ceshi/ceshi1/ceshi.txt ./
12.-cp :從 hdfs 的一個路徑拷貝到 hdfs 的另一個路徑
     hadoop fs -cp /ceshi/ceshi1/ceshi.txt   /ceshi/ceshi2/
13.-mv:在 hdfs 目錄中移動文件
     hadoop fs -mv /ceshi/ceshi1/ceshi.txt /ceshi/ceshi2/
14.-get:等同於 copyToLocal,就是從 hdfs 下載文件到本地
     hadoop fs -get /ceshi/ceshi2/ceshi.txt ./
15.-getmerge :合併下載多個文件,比如 hdfs 的目錄 /aaa/下有多個文件:log.1,
log.2,log.3,...
      hadoop  fs  -getmerge    /user/atguigu/test/*  ./ceshiall.txt
16.-put:等同於 copyFromLocal
     hadoop fs -put ./ceshiall.txt /ceshi/ceshi2/
17.-rm:刪除文件或文件夾
     hadoop fs -rm /ceshi/ceshi2/ceshiall.txt
18.-rmdir:刪除空目錄
     hadoop fs -mkdir /test
     hadoop fs -rmdir /test
19.-du 統計文件夾的大小信息
     hadoop fs -du -s -h /ceshi/ceshi2/   //文件夾大小信息
     hadoop fs -du -h /ceshi/ceshi2/      //文件夾中各個文件的大小信息
20.-setrep:設置 hdfs 中文件的副本數量
     hadoop  fs  -setrep  10   /ceshi/ceshi1/ceshi.txt
這裏設置的副本數只是記錄在 NameNode 的元數據中,是否真的會有這麼多副本,還
得看 DataNode 的數量。因爲目前只有 3 臺設備,最多也就 3 個副本,只有節點數的增加到
10 臺時,副本數才能達到 10。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章