Linux 下僞分佈式方式安裝hadoop-2.9.2

1.遠程工具連接Linux服務器，home文件夾下創建hadoop文件夾

mkdir hadoop

2.文件傳輸工具將[hadoop-2.9.2.tar.gz](這裏下載)
下載，傳輸至/home/hadoop
注：使用2.9.2是因爲我要安裝hbase2.2.4,這兩個版本是兼容的，可以在這裏查看
解壓

tar –zxvf hadoop-2.9.2.tar.gz

3.配置hadoop
服務器上要先安裝jdk。
進入/home/hadoop/hadoop-2.9.2/etc/hadoop下，編輯hadoop-env.sh文件,配置jdk地址，hadoop-env.sh全局搜索“JAVA_HOME”

export  JAVA_HOME=“jdk路徑”

注：如果不知道jdk地址，可以用
which java 或echo $JAVA_HOME查看

4.配置環境變量

vi /etc/profile

添加

環境變量生效

source /etc/profile

5.修改 core-site.xml
要先配置hosts文件，將主機名和ip地址進行映射
編輯hosts文件：
vim /etc/hosts，
localhost映射到本地127.0.0.1,或者改成其他的也行。
core-site.xml裏面添加

<property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/home/hadoop/hadoop-2.9.2/data</value>
</property>

6.配置 mapred-site.xml
將mapred-site.xml.template複製爲mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

編輯mapred-site.xm
添加如下配置

<property>
    <!-- 指定將MapReduce在Yarn上運行  -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

7.配置yarn-site.xml
編輯yarn-site.xml
添加

<configuration>
    <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>localhost</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
</configuration>

注：yarn.resourcemanager.hostname的值要和hosts中的以及core-site.xml的一致。
8.格式化文件系統

hdfs  namenode  -format

出現上圖說明成功。
9.啓動hadoop
hadoop不推薦用root用戶啓動,所以要用其他用戶。
以aaa用戶爲例
root爲用戶aaa 賦/home/hadoop/hadoop-2.9.2 文件夾的權限

chown –R aaa  /home/hadoop/hadoop-2.9.2

登錄 aaa

su aaa

aaa用戶登錄成功以後需要
設置免密登錄

ssh-keygen -t rsa

會有提示輸入什麼的，一直回車就好。
然後再執行

ssh-copy-id localhost

啓動：
start-all.sh
出現下圖

yes 就好。
jps命令查看如下進程說明啓動成功。

還可以到http://localhost:50070/
查看。

10.出錯了怎麼辦？
我自己安裝的時候也出了很多錯誤。

出錯了可以看下/home/hadoop/hadoop-2.9.2/logs 下面的日誌。
我安裝的時候報了8088端口衝突，
參考1和2解決了。
又出現"another node has already locked the storage directory"錯誤·
參考3刪除
/dfs/*並且重新格式化解決了。

參考：
1.https://www.cnblogs.com/Komorebi-john/p/11725030.html
2.https://blog.csdn.net/weixin_30616969/article/details/99268398
3. http://www.javaear.com/question/29918984.html
4. https://segmentfault.com/a/1190000019899721
5. https://blog.csdn.net/LiuY521/article/details/93980053