Hadoop平臺的Shell基本操作

Hadoop 命令是以 ”./bin/XXX xxx” 開頭的 Shell 命令方式,其中XXX xxx 實際上有三種形式,分別是:
1. hadoop fs
2. hadoop dfs
3. hdfs dfs

hadoop fs 適用於任何不同的文件系統,比如本地文件系統和 HDFS 文件系統。
hadoop dfs 跟 hadoop dfs 的命令作用一樣,也只能適用於 HDFS 文件系統。

在使用HDFS之前要爲當前用戶在HDFS中創建用戶目錄。創建之後,系統就默認將此用戶的文件放在這個目錄下面。

例如,我們創建用戶目錄:

/bin/hdfs dfs –mkdir –p /user/hadoop

現在想要查看當前用戶下的文件就不需要輸入絕對路徑:

./bin/hdfs dfs –ls /user/hadoop

只要用 “.” 就可以表示當前用戶的目錄:

./bin/hdfs dfs –ls .

同樣,想要查看當前用戶指定文件夾下的文件也只需要文件夾名就可以:

./bin/hdfs dfs –ls [文件夾]

HDFS中的命令基本上與Linux下的Shell相同,只是前面加了./bin/XXX xxx 。區別比較大的是兩類命令:

1. copyFromLocal、moveFromLocal 和 put 命令 (從Linux文件系統拷貝文件到HDFS中);

2. copyToLocal、moveToLocal 和 get 命令 (從HDFS文件系統中拷貝文件到Linux本地文件系統)。 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章