Hadoop僞分佈式集羣搭建總結

                                           Hadoop僞分佈式集羣搭建總結

一、所需軟件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安裝
注意:
對文件進行編輯:輸入a,表示對該文件進行編輯,最後保存該文件,操作爲:點擊鍵盤上的Esc按鈕,然後輸入英文的:字符,再輸入wq,點擊回車,完成文件的保存。

1、關閉防火牆和禁用SELINUX
(1)、永久關閉防火牆,重啓Linux系統
Hadoop僞分佈式集羣搭建總結
(2) 、禁用SELINUX:修改文件參數 重啓Linux使其生效
Hadoop僞分佈式集羣搭建總結
(3)、檢查防火牆是否運行,顯示下圖即爲關閉
Hadoop僞分佈式集羣搭建總結
2、配置hostname與IP地址之間的對應關係
(1)、查看自己的IP
Hadoop僞分佈式集羣搭建總結
(2)、查看自己的hostname
Hadoop僞分佈式集羣搭建總結
(3)、配置對應關係
Hadoop僞分佈式集羣搭建總結
注意:IP與hostname之間有空格
3、創建用戶
(1),創建hadoop用戶
Hadoop僞分佈式集羣搭建總結
(2)、爲hadoop用戶設置密碼
Hadoop僞分佈式集羣搭建總結
4、配置 SSH免密登錄
(1)、檢查自己系統是否安裝SSH
Hadoop僞分佈式集羣搭建總結
注意:若沒安裝SSH則在有網的情況下可輸入:yum install openssh-server 進行安裝。
(2)、爲hadoop用戶配置SSH免密登錄
Hadoop僞分佈式集羣搭建總結
注意:一定要切換到hadoop用戶下並進入“~”目錄!
Hadoop僞分佈式集羣搭建總結
注意:輸入ssh-keygen -t rsa後一直回車即可!
然後進入.ssh目錄進行以下操作
Hadoop僞分佈式集羣搭建總結
注意:“authorized_keys”一定要準確!**``**
進入“~”目錄爲.ssh目錄及其文件賦予相應權限
Hadoop僞分佈式集羣搭建總結

5、JDK安裝
(1)、創建存放軟件目錄
Hadoop僞分佈式集羣搭建總結
(2)、上傳解壓jdk
Hadoop僞分佈式集羣搭建總結
注意:確保紅框內權限爲hadoop的!如果爲root,可進入root用戶修改爲hadoop, 命令爲:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然後重新進入hadoop用戶進行解壓
(3)、爲jdk1.8.0_211創建軟連接
Hadoop僞分佈式集羣搭建總結
(4)、配置bashrc文件
Hadoop僞分佈式集羣搭建總結
使配置文件生效
Hadoop僞分佈式集羣搭建總結
(5)、驗證JDK是否安裝成功,顯示下圖即爲成功
Hadoop僞分佈式集羣搭建總結
6、hadoop安裝及配置
(1)、上傳解壓hadoop
Hadoop僞分佈式集羣搭建總結
注意:確保紅框內權限爲hadoop的!如果爲root,可進入root用戶修改爲hadoop 命令爲:chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然後重新進入hadoop用戶進行解壓

(2)、進入hadoop配置文件目錄進行相應文件配置
Hadoop僞分佈式集羣搭建總結
配置core-site.xml vi core-site.xml
Hadoop僞分佈式集羣搭建總結
注意:箭頭所指應爲自己的hostname
配置hdfs-site.xml vi hdfs-site.xml
Hadoop僞分佈式集羣搭建總結
配置hadoop-env.sh vi hadoop-env.sh
Hadoop僞分佈式集羣搭建總結
注意:此路徑爲JDK的安裝目錄
配置mapred-site.xml vi mapred-site.xml
Hadoop僞分佈式集羣搭建總結
配置yarn-site.xml vi yarn-site.xml
Hadoop僞分佈式集羣搭建總結
配置slaves vi slaves
Hadoop僞分佈式集羣搭建總結
注意:此爲自己的hostname
(3)、爲hadoop-2.7.3創建軟連接
Hadoop僞分佈式集羣搭建總結
(4)、配置bashrc文件
Hadoop僞分佈式集羣搭建總結
使配置文件生效
Hadoop僞分佈式集羣搭建總結
(5)、創建hadoop相關數據目錄
Hadoop僞分佈式集羣搭建總結
(6)、格式化Namenode hadoop namenode -format
Hadoop僞分佈式集羣搭建總結
注意:出現以上2個信息即爲成功!如果出現要輸入密碼等情況,檢查自己的SSH免密登錄是否配置正確!!!
(7)、啓動hadoop僞分佈式集羣
Hadoop僞分佈式集羣搭建總結
注意:出現以上信息輸入yes即可!!!
(8)、通過jps命令查看hadoop的啓動進程
Hadoop僞分佈式集羣搭建總結
注意:出現以上5個進程即爲hadoop僞分佈式集羣啓動成功

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章