Hadoop離線計算——環境搭建(一)

前言

如果你從本文中學習到絲毫知識,那麼請您點點關注、點贊、評論和收藏
大家好,我是愛做夢的魚,我是東北大學大數據實驗班大三的小菜雞,非常渴望優秀,羨慕優秀的人。從5月25號我們開始了爲期兩個月的實習,我們需要做一個大型大數據項目,一個項目由三個學生+一個企業的項目經理完成。請大家持續關注我的專欄,我會每天更新。
專欄:大數據案例實戰——大三春招大數據開發
專欄:Spark官方文檔解讀【Spark2.4.5中英雙語】
博客地址:子浩的博客https://blog.csdn.net/weixin_43124279

歡迎大家關注微信公衆號【程序猿乾貨鋪
一羣熱愛技術並且嚮往優秀的程序猿同學,不喜歡水文,不喜歡販賣焦慮,只喜歡談技術,分享的都是技術乾貨。Talk is cheap. Show me the code
在這裏插入圖片描述

環境組成與注意事項

本環境由三臺虛擬機組成,一臺爲主節點,兩臺臺爲數據節
點。
IP 主機名 作用
172.16.29.109 master 主節點
172.16.29.117 slave1 數據節點1
172.16.29.121 slave2 數據節點2

一、根據以上信息修改IP與計算機名

1、修改IP並關閉防火牆

systemctl stop firewalld
systemctl disable firewalld

2、關閉Selinux

vim /etc/sysconfig/selinux

在這裏插入圖片描述

3、修改hostname

hostnamectl set-hostname xxx

以slave2服務器舉例
在這裏插入圖片描述

4、修改host文件

修改機器的/etc/hosts文件,將每個機器的hostname和ip對應,
在這裏插入圖片描述

4、將修改後/etc/hosts文件複製到集羣中的每臺機器,操作如下:

執行scp /etc/hosts 172.16.29.121:/etc/
此命令用於將hosts文件分發至其他機器對應目錄下。

5、全部分發完畢以後重啓機器(reboot)

二、設置ssh無密碼登錄

1.輸入命令,ssh-keygen -t rsa,生成key,都不輸入密碼,一直回車,/root就會生成.ssh文件夾,每臺服務器都要設置,

在這裏插入圖片描述

2.合併公鑰到authorized_keys文件,在Master服務器,進入/root/.ssh目錄,通過SSH命令合併,

cat id_rsa.pub>> authorized_keys
ssh 172.16.29.117 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh 172.16.29.121 cat ~/.ssh/id_rsa.pub>> authorized_keys

3.把Master服務器的authorized_keys、known_hosts複製到Slave服務器的/root/.ssh目錄

不直接複製到/root/.ssh下面是不想直接覆蓋掉原文件,防止刪去authorized_keys中以前的授權密鑰,我們依然採取的是文本末追加這種方式

scp ~/.ssh/authorized_keys 172.16.29.117:/root
cd /
cat authorized_keys >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys 172.16.29.121:/root
cd /
cat authorized_keys >> ~/.ssh/authorized_keys

4.完成,ssh slave1、ssh slave2就不需要輸入密碼了

三、免密登陸原理

在這裏插入圖片描述
圖解,server A免登錄到server B:
1.在A上生成公鑰私鑰。
2.將公鑰拷貝給server B,要重命名成authorized_keys(從英文名就知道含義了)
3.Server A向Server B發送一個連接請求。
4.Server B得到Server A的信息後,在authorized_key中查找,如果有相應的用戶名和IP,則隨機生成一個字符串,並用Server A的公鑰加密,發送給Server A。
5.Server A得到Server B發來的消息後,使用私鑰進行解密,然後將解密後的字符串發送給Server B。Server B進行和生成的對比,如果一致,則允許免登錄。
總之:A要免密碼登錄到B,B首先要擁有A的公鑰,然後B要做一次加密驗證。對於非對稱加密,公鑰加密的密文不能公鑰解開,只能私鑰解開。

免密登陸原理來源於以下文章
作者:FilesFan 鏈接:https://www.jianshu.com/p/e7ddb9372b00 來源:簡書

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章