一、需要工具如下
1.VMware
2.jdk-8u161-linux-x64.tar.gz
3.securecrt(相當於xshell)
4.filezilla(給虛擬機傳輸文件)
5.Centos7.iso
6.hadoop-2.9.0.tar.gz
二、搭建步驟(可參考https://www.bilibili.com/video/av15390641/?p=6和https://www.cnblogs.com/thousfeet/p/8618696.html)
1.打開VMware創建虛擬機,一路next,在選擇鏡像那一步時,選擇之前下載好的centos7鏡像
2.啓動虛擬機系統,自行根據提示配置,暫時可以不用設置用戶
3.配置完成後輸入用戶名root ,密碼。輸入ifcong,,查看IP地址。
4.
打開filezila,輸入主機IP,虛擬機有用戶名(root)端口填寫22,電機快速連接。
5.連接成功後,打開hadoop-3.0.1.tar.gz和jdk-8u161-linux-x64.tar.gz的所在目錄,直接將兩個壓縮包拖拽進centos7的文件夾目錄下,即可完成傳輸,在centos7的命令行終端輸入ls,,可查看是否傳輸成功。
6.修改主機名
7.配置java環境變量
首先將jdk解壓(框中的命令行,,-C 後面爲解壓到的指定路徑)
sudo vi /etc/profile
在最末尾添加兩行
export JAVA_HOME=/home/thousfeet/app/jdk1.8.0_161(jdk解壓後所在路徑,可進入jdk文件夾後,在命令行輸入pwd,即可出現路徑,鼠標左擊選中爲複製,再右鍵爲粘貼)
export PATH=$PATH:$JAVA_HOME/bi
配置好後,在命令行輸入 source /etc/profile,再輸入java -version,看到能夠使用。這樣就已經配置好了。
8.配置hadoop2.9.0
一、將hadoop按照同樣的放置解壓
進入解壓目錄(cd /app/hadoop-2.9.0/etc/hadop)
二、配置hadoop-env.sh
vi hadoop-env.sh 將export JAVA_HOME等號後面的改爲之前jdk解壓後的路徑
三、配置core-site.xml,參考下圖
四、配置hdfs-site.xml,參考下圖
五、配置mapred-site.xml,,直接vi mapred-site.xml會報錯,要做修改
輸入mv mapred-site.xml.template mapred-site.xml
再輸入vi mapred-site.xml就可以修改了
六、配置yarn-site.xml,參考下圖
七、配置環境變量
輸入 sudo vi /etc/profile
加入一行 export HADOOP_HOME=hadoop解壓路徑(自己參照jdk配置)
修改PATH,,追加參數export PATh=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
最後再source /etc/profile
八、關閉防火牆
九、實現ssh免密登陸
1.ssh-keygen -t rsa,,然後一路yes加回車
2.cd.ssh
touch authorized_keys
chmod 600 authorized_keys
3.cat id_rsa.pub >> authorized_keys
ssh root,,出現下圖則成功
十、啓動hadoop