大數據第4周
0.檢查聯網
每次打開虛擬機都無法聯網,都忘了打開服務這一步
1.用戶名相同
要求三個虛擬機的用戶名相同,否者相互訪問時需要使用用戶名,這樣集羣會有問題。
如要新增用戶,先轉換爲root用戶su root,然後執行以下操作:
添加新用戶:useradd 用戶名
設置用戶密碼:passwd 用戶名
添加新用戶到wheel用戶組(獲得sudo權限):usermod -a –G wheel 用戶名
如果要刪除用戶:userdel 用戶名、
2.關閉防火牆
檢查防火牆狀態:sudo systemctl status firewalld.service
關閉防火牆:sudo systemctl stop firewalld.service
Disable防火牆:sudo systemctl disable firewalld.service
如果不執行Disable防火牆,下次啓動時,防火牆還會啓動。
重啓三個節點,重啓後,分別用sudo systemctl status firewalld.service命令檢查所有節點的防火牆狀態,要求看到inactive(dead)提示。
3.ssh免密登錄設置
先ssh 要登錄的虛擬機,然後exit。
進入目錄:cd .ssh/
產生密碼:ssh-keygen -t rsa
傳送公鑰:ssh-copy-id 要登陸的虛擬機名
驗證:ssh 要登陸的虛擬機名
如果不需要密碼就說明成功了。
我們有三個節點,所以每個虛機需要3個免密登錄。
我們有三個節點,要傳三個公鑰,包括自己。
**如果在物理機集羣上安裝,需要安裝時鐘同步工具,保證每個節點的時鐘相同。在虛擬機上安裝不需要。**
4.java安裝
首先覈實當前java版本。如果當前已經有java了,覈實版本號java -version,如果可用,不用另外安裝,如果不可用,不能直接替換此版本,因爲有可能造成系統故障。
只是本賬戶使用使用我們的java版本。
建議不要用右鍵解壓,使用命令解壓,命令:tar –zxvf 文件名。
配置環境,編輯本用戶名下的.bash_profile文件,添加JAVA_HOME變量,並把變量下的bin添加到系統PATH變量中。
新增加的:
export JAVA_HOME=/home/user1/jdk1.8
export PATH=$JAVA_HOME/bin/:$PATH
其他節點,首先將文件拷貝過去:例如:
scp -r jdk1.8 slave0:~
scp -r jdk1.8 slave1:~
然後編輯.bash_profile文件。重啓後,覈實版本號java –version,我們新安裝的版本是1.8:
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)
三個節點都需要配置jdk。
5.配置hadoop
使用命令解壓hadoop文件。
配置.bash_profile中有關hadoop的環境變量:
vi .bash_profile,不要刪除原有內容,在文件尾部添加如下內容:
export HADOOP_HOME=/home/caiyishuai/hadoop-2.7
export PATH=$HADOOP_HOME/bin/:$PATH
export PATH=$HADOOP_HOME/sbin/:$PATH