CentOS7 配置 Hadoop

	ip	主機名
主服務器	192.168.142.110	KVM04
節點	192.168.142.100	slave

---

下載並上傳JDK和Hadoop

• CentOS Linux release 7.3.1611 (Core)
• Hadoop 2.6.5
• java version “1.8.0_241”

注意 ： 此過程中的 IP地址 、主機名 、下載路徑，或許不同，但可類比；
配置文件中個別value標籤的名稱、JAVA_HOME的值，需要根據自己的配置填寫

JDK安裝配置

• 卸載OpenJDK及相關安裝包

rpm -qa | grep java # 查看OpenJDK
rpm -e --nodeps ... # 強制卸載上述OpenJDK (nodeps 後寫OpenJDK的名稱)

• 配置下載的JDK和Hadoop

vim /etc/profile  # 配置JDK環境變量

輸入

JAVA_HOME=/opt/jdk/jdk1.8.0_241    #jdk下載的路徑 
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

#HADOOP
export HADOOP_HOME=/opt/hadoop/hadoop    # hadoop 的下載路徑
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile  # 執行環境變量

• 驗證Jdk

java -version

• 驗證Hadoop

hadoop version

修改hosts文件

vim /etc/hosts

• 主服務器和結點都要添加對方的 ip和主機名

192.168.142.100  KVM04
192.168.142.110  slave

ping 對方的主機名，看是否成功

如 : ping slave

配置Hadoop

• 配置core-site.xml

vim /opt/hadoop/hadoop/etc/hadoop/core-site.xml

    <configuration> </configuration> 內輸入

<!-- 指定HDFS中NameNode的地址 ,注意value中是主服務器名稱 -->
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://KVM04:9000</value>
</property>
<!-- 指定Hadoop運行時產生文件的存儲目錄，自己手動創建一個 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop/hadoopdata</value>
</property>

• 修改配置hadoop-env.sh

vim hadoop-env.sh

修改 export JAVA_HOME

 export JAVA_HOME=/opt/jdk/jdk1.8.0_241

• 配置hdfs-site.xml

vim /opt/hadoop/hadoop/etc/hadoop/hdfs-site.xml

<configuration> </configuration> 內輸入

<property>
		<name>dfs.replication</name>
		<value>2</value>
</property>
<!-- 注意value 中節點的主機名 -->
<property>
    	<name>dfs.namenode.secondary.http-address</name>
    	<value>slave:50090</value>
</property>

• 配置yarn-env.sh

vim yarn-env.sh

找到註釋的export JAVA_HOME，添加

export JAVA_HOME=/opt/jdk/jdk1.8.0_241

• 配置yarn-site.xml

vim /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

  <configuration> </configuration> 內輸入

<!-- Reducer獲取數據的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 ，注意value中爲主服器名稱-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>KVM04</value>
</property>

• 配置mapred-env.sh

vim mapred-env.sh

找到註釋的export JAVA_HOME，添加

export JAVA_HOME=/opt/jdk/jdk1.8.0_241

• 配置mapred-site.xml

cd /opt/hadoop/hadoop/etc/hadoop/
cp mapred-site.xml.template   mapred-site.xml

vim /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

<configuration> </configuration> 內輸入

<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

• 配置slaves

刪除第一行，添加節點名和主服務器名

vim slaves

輸入

KVM04
slave

• 將KVM04主服務器的Hadoop配置複製到節點slave服務器中

 scp -r /opt/hadoop root@slave:/opt/
 scp -r /opt/jdk    root@slave:/opt/

免密登錄

• 生成公鑰和密鑰，三次回車（…）

ssh-keygen -t rsa 

• 公鑰拷貝到節點服務器和主服務器上

ssh-copy-id KVM04
ssh-copy-id slave

• 主服務器上格式化文件系統

hadoop namenode -format

• 啓動Hadoop集羣

cd /opt/hadoop/hadoop/sbin
start-all.sh
jps

瀏覽器中輸入

192.168.114.100 ：8088

如若錯誤，還望指正