spark-3.0.1 hadoop 2.10.1 安裝記錄

 

計劃做一個s141~s146的分佈式。

一、製作基本的docker

通過上面的dockerfile,應該可以得到最新的centos7.9的版本。

 

二、安裝sshd

參考（0）安裝 sshd 後，將docker 保存爲 centos7-ssh

通過

三、安裝jdk

四、安裝 hadoop 

安裝完hadoop後，保留爲centos7-ssh-hadoop

建立僞分佈式，注意參考下面的（1）

配置hadoop配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

hadoop-env.sh裏jdk環境不能錯過，不然也會報錯。

 

讓集羣之間在一個網內：

docker network create --subnet=192.168.30.0/24 hadoop-net

五、安裝hadoop集羣

 

  765  20201224-16:08:51: docker run -d --name centos1622 --network=hadoop-net --ip 192.168.30.146  -p 1622:22 -p50076:50070 -p8688:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  771  20201224-16:32:34: docker run -d --name centos1222 --network=hadoop-net --ip 192.168.30.142  -p 1622:22 -p50072:50070 -p8288:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  775  20201224-16:33:37: docker run -d --name centos1222 --network=hadoop-net --ip 192.168.30.142  -p 1222:22 -p50072:50070 -p8288:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  777  20201224-16:34:23: docker run -d --name centos1322 --network=hadoop-net --ip 192.168.30.143  -p 1322:22 -p50073:50070 -p8388:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  778  20201224-16:34:42: docker run -d --name centos1422 --network=hadoop-net --ip 192.168.30.144  -p 1422:22 -p50074:50070 -p8488:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init
  779  20201224-16:35:03: docker run -d --name centos1522 --network=hadoop-net --ip 192.168.30.145  -p 1522:22 -p50075:50070 -p8588:8088  --privileged=true centos7-ssh-hadoop /usr/sbin/init

因爲每個docker 裏的ssh的pub文件一樣， 

ssh-copy-id -i /root/.ssh/id_rsa.pub -p 1122 [email protected]  docker製作 前做了這樣的操作，那麼，宿主主機就可以到任意一臺集羣機器，ssh s14*,而不用輸入密碼；

同理s141本身對自己做過這樣的操作後，那麼克隆出來的s142~146之間就可以互訪問，不用輸入密碼。因爲他們的pub一樣。

/root/.ssh/authorized_keys  裏，有s141的pub就行了，因爲各機都一樣。這個操作省去了互相訪問需要做ssh-copy-id的操作。

主要也是修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 改成集羣模式。

參考下面（2）

 

六、安裝zookeeper

安裝 容災。也是參考（2）的的zookeeper章節，注意創建myid文件。然後會出現 ：QuorumPeerMain

同時也修改下hadoop相關的配置。s141-143中安裝了。

七、安裝 scala 

https://www.scala-lang.org/download/2.12.12.html

 

八、安裝  spark3.0

http://archive.apache.org/dist/spark/spark-3.0.1/

spark-3.0.1-bin-hadoop2.7.tgz

九、安裝spark集羣

參考下面（3） 

 

參考

（3）安裝spark3.0

https://www.cnblogs.com/qixing/p/14017875.html

下載

https://www.scala-lang.org/download/2.12.12.html

http://archive.apache.org/dist/spark/spark-3.0.1/

 

（1）hadoop僞分佈式

https://www.cnblogs.com/qixing/p/12113732.html

（2） hadoop高可用

https://www.cnblogs.com/qixing/p/12252111.html

（1）.5 下載 hadoop 2.10.1

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

（0） docker裏安裝ssh

https://www.cnblogs.com/ruanqj/p/7374544.html