Centos6.10 hadoop2.9.2安裝及配置(單機版)

一、環境
華爲雲服務器CentOS 6.10 64bit
IP 139.9.177.214
jdk 1.8.0_222
hadoop 2.9.2

hadoop下載：
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
或
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

wget 指令

雲服務器已做設置有：
禁用selinux
vim /etc/sysconfig/selinux
將SELINUX設置爲disabled

二、配置步驟
1、使用root用戶進入操作系統
2、jdk安裝並配置環境變量
3、修改主機名
vim /etc/sysconfig/network
HOSTNAME=hadoop
4、修改機名與ip的對應關係
vim /etc/hosts
localhost.localdomain 改爲hadoop
或
新開一行並添加 格式爲（IP     機名）
5、重啓
reboot
6、免密操作
ssh hadoop
連接本機還需要輸入密碼，因此我們，還需要設置master與本機的無密碼連接，配置如下：
cd ~/.ssh
cat ./id_rsa.pub >> ./authorized_keys
再次輸入 ssh Hadoop 就不需要輸入密碼而直接與本機連接。
7、hadoop相關詳情配置
hadoop安裝路徑/opt/hadoop-2.9.2
7.1 /opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh   
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
7.2 /opt/hadoop-2.9.2/etc/hadoop/core-site.xml
<property>
 <!-- 指定hadoop運行時產生文件的存儲路徑 -->
  <name>hadoop.tmp.dir</name>
  <value>/hadoop</value>
</property>

<property>
  <name>dfs.name.dir</name>
  <value>/hadoop/name</value>
</property>

<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop:9000</value>
</property>
7.3 /opt/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<!-- 設置namenode的http通訊地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop:50070</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/hadoop/data</value>
</property>
<!-- 設置hdfs副本數量 -->
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
7.4 /opt/hadoop-2.9.2/etc/hadoop/mapred-site.xml
mapred-site.xml.template 文件重命名爲 mapred-site.xml
mv  mapred-site.xml.template mapred-site.xml

<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
7.5 /opt/hadoop-2.9.2/etc/hadoop/mapred-site.xml 
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
7.6 /opt/hadoop-2.9.2/etc/hadoop/yarn-site.xml
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
7.7 格式化文件系統
hadoop namenode -format
7.8 環境變量配置
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-2.9.2
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
7.9 運行系統  
/opt/hadoop-2.9.2/sbin/start-all.sh
或者分別執行
運行dfs
/opt/hadoop-2.9.2/sbin/start-dfs.sh
運行yarn
/opt/hadoop-2.9.2/sbin/start-yarn.sh
7.10 雲服務器 安全組 入向規則設置

jps 查看執行進程
139.9.177.214:50070 進入 namenode 的管理界面
139.9.177.214:8088   進入resourceManager的管理界面