CentOs7安裝hadoop3（二）

一、準備工作

1. 配置hadoop環境變量

$ vi /etc/profile
 export HADOOP_HOME=/usr/hadoop
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
:wq
$ source /etc/profile

然後通過Hadoop version查看結果

二、搭建僞分佈式

1.進入配置文件目錄

$ cd /usr/hadoop/etc/hadoop/
$ ls

2.配置core-site.xml 文件 vi core-site.xml

// 在<configuration> 標籤裏面加上以下代碼
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost/</value> //默認端口爲：8020；
</property>

3.配置hdfs-site.xml 文件 vi hdfs-site.xml

// 在<configuration> 標籤裏面加上以下代碼
<property>
     <name>dfs.replication</name> //副本數
     <value>1</value> //僞分佈式一額節點
</property>

4.配置 mapred-site.xml 文件 vi mapred-site.xml

// 在<configuration> 標籤裏面加上以下代碼
<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

5.配置 yarn-site.xml 文件 viyarn-site.xml

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>localhost</value>
</property>
<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
</property>

6.初始化化hdfs ：hadoop namenode -format（這就像從新安裝系統一樣）

7.啓動 start-all.sh

注意：這是甚嗎？？？？
這是由於缺少用戶定義所以我們要分別對啓動和關閉腳本進行配置
8. 配置 start-dfs.sh 和 stop-dfs.sh

//把以下代碼複製到文件的空白處 ：wq 保存退出
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

9.配置 start-yarn.sh 和 stop-yarn.sh

//把以下代碼複製到文件的空白處 ：wq 保存退出
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

10.這次在運行 start-all.sh 使用jps查看進程

紅框內的5個進程缺一不可，如果沒有有一個沒有啓動，必須關閉所有所有經常，從新啓動；

三、SSH安裝與使用

1. 爲甚嗎要安裝SSH？
   衆所周知，hadoop是集羣部署的，假如你有個上千臺服務器，當hadoop互相訪問的時候，你一個一個互相輸入登陸密碼，你是不是會瘋。所有SSH就能讓你互相免密登陸，解決手動輸入密碼的問題。
2. SSH怎麼解決的免密登陸問題？
   
3. 怎麼設置呢？

$ rpm -qa | grep ssh //查詢是否安裝

如圖就是安裝了SSH

4.如果沒有請通過下面代碼安裝

$ yum install openssh

5.生成密鑰

$ ssh-keygen -t rsa

6.進入ssh密鑰目錄，把公鑰複製一份發往目標主機

$ cd ~/.ssh
$ ls
$ cp id_rsa.pub ~./ssh/authorized_keys //以自身主機爲例

7.登陸一下

$ ssh localhost

如圖結果,代表成功。

四、尾巴

1. 如有錯誤歡迎大家指出，我會及時更正，有什麼不懂也可以留言提問，互相交流嗎。
2. 這次搭建遇到了很多問題，如果想最快的解決問題，還是要看它報甚嗎錯，一個一個錯誤的排查，這樣更能讓你快速的解決問題，也能讓自己更加進步。如果是在看不懂問題的所在出，請baidu一下，會有網友遇到你也曾經遇到的坑的；
3. 也許大家覺得這沒什麼，但是我會認真對待，把它當成我的筆記、心得、這樣才能提升自己。

歡迎訪問我的個人博客