hadoop+Spark+hbase集羣動態增加節點

如果一個集羣資源不夠用需要擴展的時候怎麼辦，那麼是可以不關機動態擴展的，具體操作如下：

已有集羣:

192.168.111.11 lyy1 ---master節點
192.168.111.12 lyy2
192.168.111.13 lyy3
192.168.111.14 lyy4
新增：
192.168.111.15 lyy5
192.168.111.16 lyy6

開始：

1.從lyy1節點克隆出兩臺虛擬機，保證所有配置和軟件一樣，然後修改ip和hostname

（本集羣是基於proxmox的虛擬集羣，可以很方便的複製、開關虛擬機等，如果是物理集羣可以把master節點鏡像拷貝給新節點）

vim /etc/network/interfaces
vim /etc/hostname

2.修改vim /etc/hosts，加入ip映射。使用批處理命令並同步到所有機器

for i in $(seq 1 6); do echo lyy$i; scp /etc/hosts root@lyy$i:/etc/;done

同時還要修改hadoop的workers，spark的slaves，hbase的regionservers，增加主機名

for i in $(seq 1 6); do echo lyy$i; scp /opt/hadoop-3.0.0/etc/hadoop/workers root@lyy$i:/opt/hadoop-3.0.0/etc/hadoop;done
for i in $(seq 2 6); do echo lyy$i; scp /opt/hbase-1.2.4/conf/regionservers root@lyy$i:/opt/hbase-1.2.4/conf;done
for i in $(seq 2 6);do echo lyy$i; scp /opt/spark-2.2.0-bin-hadoop2.7/conf/slaves root@lyy$i:/opt/spark-2.2.0-bin-hadoop2.7/conf;done

還要同步hbase-site.xml配置文件
for i in $(seq 2 6); do echo lyy$i; scp /opt/hbase-1.2.4/conf/hbase-site.xml root@lyy$i:/opt/hbase-1.2.4/conf;done
for i in $(seq 1 6); do echo lyy$i; ssh lyy$i "cp /opt/hbase-1.2.4/conf/hbase-site.xml /opt/spark-2.2.0-bin-hadoop2.7/conf && cp /opt/hbase-1.2.4/conf/hbase-site.xml /opt/hadoop-3.0.0/etc/hadoop";done

注：不用重啓集羣，直接在新增的節點上分別啓動以下進程即可：

3.hadoop增加datanode節點

hadoop-daemon.shstart datanode 啓動DataNode進程
yarn-daemon.shstart nodemanager 啓動NodeManager進程

4.spark新增worker節點

start-slave.shspark://lyy1:7077 啓動Worker進程

5.hbase新增RegionServer

hbase-daemon.shstart regionserver 啓動HRegionServer進程
hbase-daemon.shstart zookeeper 啓動HquorumPeer進程
hbase shell中輸入status查看集羣狀態

6.負載均衡

如果不balance，那麼cluster會把新的數據都存放在新的node上，這樣會降低工作效率：
查看hdfs節點狀態：hdfsdfsadmin –report
1048576（=1Mb/s）
104857600（=100Mb/s）
hdfsdfsadmin -setBalancerBandwidth 104857600
#設置不同節點之間複製數據的帶寬是受限的，默認是1MB/s
start-balancer.sh -threshold 1
#設置如果某個datanode的磁盤裏使用率比平均水平高出1%，Blocks向其他低於平均水平的datanode中傳送, 也就是每個節點使用率相差不超過1%。
或者：
start-balancer.sh
stop-balancer.sh

負載均衡之前的使用率

負載均衡之後各節點硬盤使用率趨於平衡：

負載均衡之後的使用率

此外Hbase也需要負載均衡:

hbase shell中輸入： balance_switch true

至此可以就完成了節點擴展，現在集羣已經有6個節點了,可以分別在hadoop、spark、hbase的監控頁面上查看到節點。

我準備寫一個公衆號技術博客，回顧我學大數據以來的個人經驗，希望和大家一起每天進步一點點！剛剛開始寫，請大家多多支持，如有不足之處多多包含，最後多多關注哈哈哈。