前提:爲了在阿里雲服務器上部署Hadoop HA,在部署之前,需要了解前期的HA架構和阿里雲服務器,在熟悉了這些前提下,開始一步進行實操。在實操中熟悉各類架構後,在對各類架構的作用,啓動和關閉順序做*更進一步熟悉:
-
目錄結構:
-
1:阿里雲主機購買
-
2:遠程XSHELL登陸
-
3:hadoop用戶創建及文件上傳
-
4:hosts文件和多臺ssh互相信任
-
5:java運行程序安裝
-
1:阿里雲主機購買:
-
搭建hadoop HA 環境,至少需要三臺主機,最少配置爲2核 4G內存爲好:如果在阿里雲購買主機,只是臨時使用,建議按量付費。3臺機基本在2塊錢/小時。
-
2:遠程XSHELL/CRT登陸
-
依據自己喜好,遠程鏈接需要部署HA 的三臺機器,同時在多機器中,留意遠程鏈接工具是否具備批處理功能:
-
3:hadoop用戶創建及文件上傳
useradd hadoop
su - hadoop
mkdir software app data lib source
exit
yum install -y lrzsz
rz /home/hadoop/software
su - root
vim /etc/hosts
scp /etc/hosts root@hadoop002:/etc/hosts 從第一個傳個第二個,省事
su -hadoop
rm -rf .ssh
ssh-keygen
scp id_rsa.pub root@hadoop001:/home/hadoop/.ssh/id_rsa.pub2/3
cat id_rsa.pub(23) >>authorized_keys
scp authorized_keys root@hadoop002:/home/hadoop/.ssh/
chmod 600 /home/hadoop/.ssh/authorized_keys
chmod 700 -R /home/hadoop/.ssh
which java
ll /usr/java 查看是否安裝有
mkdir /usr/java
tar -xzvf * -C /usr/java
chown -R root:root /usr/java/
source /etc/profile 使profile生效
java -version