spark集羣詳細搭建過程及遇到的問題解決(二)

(二)配置ssh無密碼訪問集羣機器

master節點

root@master:/home# su - spark
spark@master:~$ 
spark@master:~$ ssh-keygen -t rsa
#一直enter鍵

wKiom1gsA1qSe7pKAACfyxWfZEA821.jpg-wh_50

spark@master:~$ cd .ssh/
spark@master:~/.ssh$ ls
id_rsa  id_rsa.pub
spark@master:~/.ssh$  cat id_rsa.pub > authorized_keys
spark@master:~/.ssh$ scp spark@master:~/.ssh/id_rsa.pub ./master_rsa.pub

wKioL1gsBEKC84tXAAB7EZHZBC0555.jpg-wh_50

spark@master:~/.ssh$ ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts  master_rsa.pub
spark@master:~/.ssh$ cat master_rsa.pub >>authorized_keys

worker1節點

與master節點執行過程相同


worker2節點

與master節點執行過程相同


執行完上述操作之後:

master節點:

spark@master:~/.ssh$ scp spark@worker1:~/.ssh/id_rsa.pub ./worker1_rsa.pub

注意是在./ssh目錄下

wKiom1gsBnzhG5xKAAB7eXRnrXg638.jpg-wh_50

spark@master:~/.ssh$ cat worker1_rsa.pub >>authorized_keys 
spark@master:~/.ssh$ scp spark@worker2:~/.ssh/id_rsa.pub ./worker2_rsa.pub

wKiom1gsBzTSYiAOAAB1X2M0QiM399.jpg-wh_50

spark@master:~/.ssh$ cat worker2_rsa.pub >>authorized_keys

worker1節點

spark@worker1:~/.ssh$ scp spark@worker2:~/.ssh/id_rsa.pub ./worker2_rsa.pub
cat worker2_rsa.pub >>authorized_keys

worker2節點

spark@worker2:~/.ssh$ scp spark@worker1:~/.ssh/id_rsa.pub ./worker1_rsa.pub
cat worker1_rsa.pub >>authorized_keys

驗證是否配置成功

從master節點分別登陸自身、worker1節點與worker2節點(可能第一次需要密碼、退出後,第二次重新ssh則不需要密碼)

spark@master:~/.ssh$ ssh master

wKioL1gsCXiib6nHAAB9L68ojqI030.jpg-wh_50

spark@master:~/.ssh$ ssh worker1

wKiom1gsC5XBLCFEAAB1IlnYWxQ546.jpg-wh_50

spark@master:~/.ssh$ ssh worker2

wKiom1gsDI3CTc0mAAB0R8pT1qM127.jpg-wh_50

從worker1節點登陸自身、master節點與worker2節點(可能第一次需要密碼、退出後,第二次重新ssh則不需要密碼)

spark@worker1:~/.ssh$ ssh master

wKiom1gsCl_RPOicAAB3f94QRfo706.jpg-wh_50

spark@worker1:~/.ssh$ ssh worker1

wKiom1gsDXPBroUjAAB2Hx_kuNU804.jpg-wh_50

spark@worker1:~/.ssh$ ssh worker2

wKioL1gsDcWS8SunAAB2S6kB9jo460.jpg-wh_50

從worker2節點登陸自身、master節點與worker1節點(可能第一次需要密碼、退出後,第二次重新ssh則不需要密碼)

spark@worker2:~/.ssh$ ssh master

wKioL1gsDi3jbOTCAAB_YyHaGjY664.jpg-wh_50

spark@worker2:~/.ssh$ ssh worker1

wKiom1gsDp3CJ-N3AAByEITG7To808.jpg-wh_50

spark@worker2:~/.ssh$ ssh worker2

wKioL1gsDtaxHT0QAABxdinZL6Y247.jpg-wh_50

注意,登陸到其他節點後,一定要記得退出

下文中,將開始安裝hadoop。。。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章