hadoop扩容与下线

1、下线退役datanode nodemanager

a、下线datanode节点
修改 hadoop/etc/hadoop/slaves 文件
分发到所有机器
在执行datanode下线命令
hdfs dfsadmin -refreshNodes
检查
hdfs dfsadmin -report
yarn node -list

Decomissioning标记的即为正在下线的datanode,hadoop集群会尽快的将要下线的datanode数据块复制到其他节点上
复制完成之后会变成Decommission Status : Decommissioned,此时可以下线此datanode

b、下线nodemanager
修改hadoop/etc/hadoop/nodemanagers 文件
分发到所有机器
在active resourcemanager 执行nodemanager下线命令
yarn rmadmin -refreshNodes

扩容datanode
取消raid 每个目录创建hadoop文件目录

查看resourcemanager 状态
yarn rmadmin -getServiceState ip1

启动blance
sh start-balancer.sh -threshold 5 默认10
hdfs dfsadmin -setBalancerBandwidth 52428800 带宽50M 默认1M

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章