Linux6下部署Hadoop-02集羣部署參數配置

集羣機器和配置文件配置

機器配置

	hadoop001	hadoop002	hadoop003
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

配置文件修改

核心配置文件

• core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop001:9000</value>
</property>

<!-- 指定Hadoop運行時產生文件的存儲目錄 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

HDFS配置文件

• hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

• hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

<!-- 指定Hadoop輔助名稱節點主機配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop003:50090</value>
</property>

YARN配置文件

• yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

• yarn-site.xml

<!-- Reducer獲取數據的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop002</value>
</property>

MapReduce配置文件

• mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

• mapred-site.xml

<!-- 指定MR運行在Yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

羣起salve配置

• slaves

都是DataNode的節點

hadoop001
hadoop002
hadoop003

分發配置

xsync /opt/module/hadoop-2.7.2/

SSH免密登錄

• 生成公鑰和私鑰

ssh-keygen -t rsa

• 將公鑰拷貝到要免密登錄的目標機器上

ssh-copy-id hadoop001
ssh-copy-id hadoop002
ssh-copy-id hadoop003

啓動

啓動hdfs

在NameNode機器上啓動 start-dfs.sh

啓動yarn

在Yarn的ResourceManager機器啓動 start-yarn.sh

時間同步配置

安裝ntp服務

• 所有服務器安裝

yum install ntp -y

主節點配置

• ntp.conf

vim /etc/ntp.conf

• 修改添加內容

restrict 192.168.142.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

• 啓動和自動啓動

service ntpd start

chkconfig ntpd on

其它節點配置

• crond配置

 crontab -e

*/10 * * * * /usr/sbin/ntpdate hadoop001

• 重啓crond服務

service crond restart