hadoop集羣基本操作

建立目錄：

 hdfs dfs -mkdir -p /user/hadoop/input

上傳小文件：

hdfs dfs -put ./temp /user/hadoop/input

上傳大文件：

 bin/hadoop fs -put /opt/module/hadoop-2.7.2.tar.gz /user/hadoop/input 

文件存放位置：

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-1285140362-127.0.0.1-1592465251406/current/finalized/subdir0/subdir0

從集羣下載：

bin/hadoop fs -get /user/hadoop/input/hadoop-2.7.2.tar.gz ./ 

顯示文件列表

hdfs dfs  -ls  /user/hadoop/input

刪除文件：

hadoop fs -rm -r -skipTrash /user/hadoop/input/nginx-1.18.0.tar.gz

 

 集羣啓動/停止方式總結

1. 各個服務組件逐一啓動/停止 

 （1）分別啓動/停止 HDFS 組件

hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode

（2）啓動/停止 YARN 

yarn-daemon.sh start/stop resourcemanager/nodemanager

2. 各個模塊分開啓動/停止（配置 ssh是前提）常用

（1）整體啓動/停止 HDFS

start-dfs.sh / stop-dfs.sh 

（2）整體啓動/停止 YARN

 start-yarn.sh / stop-yarn.sh