Linux 下伪分布式方式安装hadoop-2.9.2

1.远程工具连接Linux服务器，home文件夹下创建hadoop文件夹

mkdir hadoop

2.文件传输工具将[hadoop-2.9.2.tar.gz](这里下载)
下载，传输至/home/hadoop
注：使用2.9.2是因为我要安装hbase2.2.4,这两个版本是兼容的，可以在这里查看
解压

tar –zxvf hadoop-2.9.2.tar.gz

3.配置hadoop
服务器上要先安装jdk。
进入/home/hadoop/hadoop-2.9.2/etc/hadoop下，编辑hadoop-env.sh文件,配置jdk地址，hadoop-env.sh全局搜索“JAVA_HOME”

export  JAVA_HOME=“jdk路径”

注：如果不知道jdk地址，可以用
which java 或echo $JAVA_HOME查看

4.配置环境变量

vi /etc/profile

添加

环境变量生效

source /etc/profile

5.修改 core-site.xml
要先配置hosts文件，将主机名和ip地址进行映射
编辑hosts文件：
vim /etc/hosts，
localhost映射到本地127.0.0.1,或者改成其他的也行。
core-site.xml里面添加

<property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/home/hadoop/hadoop-2.9.2/data</value>
</property>

6.配置 mapred-site.xml
将mapred-site.xml.template复制为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

编辑mapred-site.xm
添加如下配置

<property>
    <!-- 指定将MapReduce在Yarn上运行  -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

7.配置yarn-site.xml
编辑yarn-site.xml
添加

<configuration>
    <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>localhost</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
</configuration>

注：yarn.resourcemanager.hostname的值要和hosts中的以及core-site.xml的一致。
8.格式化文件系统

hdfs  namenode  -format

出现上图说明成功。
9.启动hadoop
hadoop不推荐用root用户启动,所以要用其他用户。
以aaa用户为例
root为用户aaa 赋/home/hadoop/hadoop-2.9.2 文件夹的权限

chown –R aaa  /home/hadoop/hadoop-2.9.2

登录 aaa

su aaa

aaa用户登录成功以后需要
设置免密登录

ssh-keygen -t rsa

会有提示输入什么的，一直回车就好。
然后再执行

ssh-copy-id localhost

启动：
start-all.sh
出现下图

yes 就好。
jps命令查看如下进程说明启动成功。

还可以到http://localhost:50070/
查看。

10.出错了怎么办？
我自己安装的时候也出了很多错误。

出错了可以看下/home/hadoop/hadoop-2.9.2/logs 下面的日志。
我安装的时候报了8088端口冲突，
参考1和2解决了。
又出现"another node has already locked the storage directory"错误·
参考3删除
/dfs/*并且重新格式化解决了。

参考：
1.https://www.cnblogs.com/Komorebi-john/p/11725030.html
2.https://blog.csdn.net/weixin_30616969/article/details/99268398
3. http://www.javaear.com/question/29918984.html
4. https://segmentfault.com/a/1190000019899721
5. https://blog.csdn.net/LiuY521/article/details/93980053