CentOs7安装hadoop3（二）

一、准备工作

1. 配置hadoop环境变量

$ vi /etc/profile
 export HADOOP_HOME=/usr/hadoop
 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
:wq
$ source /etc/profile

然后通过Hadoop version查看结果

二、搭建伪分布式

1.进入配置文件目录

$ cd /usr/hadoop/etc/hadoop/
$ ls

2.配置core-site.xml 文件 vi core-site.xml

// 在<configuration> 标签里面加上以下代码
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost/</value> //默认端口为：8020；
</property>

3.配置hdfs-site.xml 文件 vi hdfs-site.xml

// 在<configuration> 标签里面加上以下代码
<property>
     <name>dfs.replication</name> //副本数
     <value>1</value> //伪分布式一额节点
</property>

4.配置 mapred-site.xml 文件 vi mapred-site.xml

// 在<configuration> 标签里面加上以下代码
<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

5.配置 yarn-site.xml 文件 viyarn-site.xml

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>localhost</value>
</property>
<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
</property>

6.初始化化hdfs ：hadoop namenode -format（这就像从新安装系统一样）

7.启动 start-all.sh

注意：这是甚吗？？？？
这是由于缺少用户定义所以我们要分别对启动和关闭脚本进行配置
8. 配置 start-dfs.sh 和 stop-dfs.sh

//把以下代码复制到文件的空白处 ：wq 保存退出
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

9.配置 start-yarn.sh 和 stop-yarn.sh

//把以下代码复制到文件的空白处 ：wq 保存退出
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

10.这次在运行 start-all.sh 使用jps查看进程

红框内的5个进程缺一不可，如果没有有一个没有启动，必须关闭所有所有经常，从新启动；

三、SSH安装与使用

1. 为甚吗要安装SSH？
   众所周知，hadoop是集群部署的，假如你有个上千台服务器，当hadoop互相访问的时候，你一个一个互相输入登陆密码，你是不是会疯。所有SSH就能让你互相免密登陆，解决手动输入密码的问题。
2. SSH怎么解决的免密登陆问题？
   
3. 怎么设置呢？

$ rpm -qa | grep ssh //查询是否安装

如图就是安装了SSH

4.如果没有请通过下面代码安装

$ yum install openssh

5.生成密钥

$ ssh-keygen -t rsa

6.进入ssh密钥目录，把公钥复制一份发往目标主机

$ cd ~/.ssh
$ ls
$ cp id_rsa.pub ~./ssh/authorized_keys //以自身主机为例

7.登陆一下

$ ssh localhost

如图结果,代表成功。

四、尾巴

1. 如有错误欢迎大家指出，我会及时更正，有什么不懂也可以留言提问，互相交流吗。
2. 这次搭建遇到了很多问题，如果想最快的解决问题，还是要看它报甚吗错，一个一个错误的排查，这样更能让你快速的解决问题，也能让自己更加进步。如果是在看不懂问题的所在出，请baidu一下，会有网友遇到你也曾经遇到的坑的；
3. 也许大家觉得这没什么，但是我会认真对待，把它当成我的笔记、心得、这样才能提升自己。

欢迎访问我的个人博客