windows搭建大數據Hadoop2.9.0平臺

一、需要工具如下

1.VMware

2.jdk-8u161-linux-x64.tar.gz

3.securecrt(相當於xshell)

4.filezilla(給虛擬機傳輸文件)

5.Centos7.iso

6.hadoop-2.9.0.tar.gz

二、搭建步驟(可參考https://www.bilibili.com/video/av15390641/?p=6和https://www.cnblogs.com/thousfeet/p/8618696.html)

1.打開VMware創建虛擬機,一路next,在選擇鏡像那一步時,選擇之前下載好的centos7鏡像

2.啓動虛擬機系統,自行根據提示配置,暫時可以不用設置用戶

3.配置完成後輸入用戶名root ,密碼。輸入ifcong,,查看IP地址。

4.


打開filezila,輸入主機IP,虛擬機有用戶名(root)端口填寫22,電機快速連接。

5.連接成功後,打開hadoop-3.0.1.tar.gz和jdk-8u161-linux-x64.tar.gz的所在目錄,直接將兩個壓縮包拖拽進centos7的文件夾目錄下,即可完成傳輸,在centos7的命令行終端輸入ls,,可查看是否傳輸成功。

6.修改主機名



7.配置java環境變量

首先將jdk解壓(框中的命令行,,-C 後面爲解壓到的指定路徑)


sudo vi /etc/profile

在最末尾添加兩行

export JAVA_HOME=/home/thousfeet/app/jdk1.8.0_161(jdk解壓後所在路徑,可進入jdk文件夾後,在命令行輸入pwd,即可出現路徑,鼠標左擊選中爲複製,再右鍵爲粘貼)

export PATH=$PATH:$JAVA_HOME/bi

配置好後,在命令行輸入 source /etc/profile,再輸入java -version,看到能夠使用。這樣就已經配置好了。


8.配置hadoop2.9.0

一、將hadoop按照同樣的放置解壓

進入解壓目錄(cd /app/hadoop-2.9.0/etc/hadop)

二、配置hadoop-env.sh

vi hadoop-env.sh   將export JAVA_HOME等號後面的改爲之前jdk解壓後的路徑

三、配置core-site.xml,參考下圖


四、配置hdfs-site.xml,參考下圖


五、配置mapred-site.xml,,直接vi mapred-site.xml會報錯,要做修改

輸入mv mapred-site.xml.template mapred-site.xml

再輸入vi mapred-site.xml就可以修改了



六、配置yarn-site.xml,參考下圖


七、配置環境變量

輸入 sudo vi /etc/profile

加入一行 export HADOOP_HOME=hadoop解壓路徑(自己參照jdk配置)

修改PATH,,追加參數export PATh=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最後再source /etc/profile

八、關閉防火牆


九、實現ssh免密登陸

1.ssh-keygen -t rsa,,然後一路yes加回車

2.cd.ssh

touch authorized_keys

chmod 600 authorized_keys

3.cat id_rsa.pub >> authorized_keys

ssh root,,出現下圖則成功


十、啓動hadoop



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章