Hadoop3.3.6 Shell命令操作

一、mkdir 创建文件夹
通过命令hadoop fs -mkdir /cyw在hdfs中创建名为cyw的文件夹

 二、moveFromLocal从本地剪切到hdfs中 

这里将本地/home/input/movefromlocal文件剪切到hdfs的cyw文件夹下
hadoop fs -moveFromLocal /home/input/movefromlocal /cyw

三、copyFromLocal从本地复制到hdfs中

这里将本地/home/input/copyfromlocal.txt文件复制到hdfs的cyw文件夹下
hadoop fs -copyFromLocal /home/input/copyfromlocal.txt /cyw

四、put等同于拷贝copyFromLocal

hadoop fs -put /home/input/put.txt /cyw

 五、appendToFile将本地文件追加到hdfs的另一个文件末尾

hadoop fs -appendToFile /home/input/words.txt /cyw/put.txt
下图可以看到在put.txt中末尾增加了文本

六、copyToLocal将hdfs文件下载到本地

hadoop fs -copyToLocal /cyw/put.txt /home/down,下图可以看到在/home/down目录下存在put.txt文件

七、get等同于copyToLocal

hadoop fs -get /cyw/put.txt /home/down/getput.txt,下图可以看到在/home/down目录下存在getput.txt文件

八、hdfs直接操作

1.ls 显示目录信息

hadoop fs -ls /cyw,显示/cyw目录信息

2.cat显示文本内容

hadoop fs -cat /cyw/put.txt,显示/cyw/put.txt文本内容

3.chgrp、chmod、chown:Linux系统用法一样。用来修改文件所属权限。

这里演示chown的用法,如上图所示,/cyw/copyfromlocal.txt文件目前的Group为supergroup,现在使用chown修改该文件的Group属性。
执行 hadoop fs -chown root:root /cyw/copyfromlocal.txt命令后刷新页面,可以在下图看到copyfromlocal.txt的group改成了root。

再执行hadoop fs -chown root:supergroup /cyw/copyfromlocal.txt,将该文件group改成原来的supergroup。

4.cp拷贝,将原地址文件拷贝到目标地址

下图可以看到,/input目录下存在words.txt文件,/cyw目录下不存在words.txt文件。

使用cp命令将/input/words.txt拷贝到/cyw目录下
hadoop fs -cp /input/words.txt /cyw

5.mv移动 将文件剪切到指定目录

如下图在/input目录下存在move.txt文件,现在需要将该文件移动到/cyw目录下

执行命令:hadoop fs -mv /input/move.txt /cyw,可以看到在/cyw目录下显示了move.txt文件,而在/input目录下move.txt文件不存在了。

6.tail命令显示文件末尾数据,类似linux。

命令:hadoop fs -tail /cyw/put.txt,显示/cyw目录下的put.txt文件末尾内容。

7.rm删除文件

这里要删除/input/put.txt文件,执行命令:hadoop fs -rm /input/put.txt

可以看到有提示Deleted /input/put.txt。

 

8.rm -r递归删除目录以及里面的内容

接着上步继续操作,这里删除/input目录和里面的内容,执行命令:hadoop fs -rm -r /input

9.du统计文件大小

统计/cyw目录文件大小,执行命令:hadoop fs -du -s -h /cyw,从下图可以看到/cyw下size累计后总共大小为263B,副本只有一个,所以副本也是263B。

 

在上面命令的基础上,去掉-s参数后则计算的是/cyw目录下每个文件的大小。执行命令: hadoop fs -du -h /cyw

 10.setrep设置文件副本个数

这里设置/cyw目录下words.txt副本数量为2个,执行命令:hadoop fs -setrep 2 /cyw/words.txt。
这里设置只是记录在NameNode中,是否真的有这么多副本还取决于DataNode。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章