安裝Linux以及搭建Hadoop3.1.2集羣（6）——僞分佈式環境搭建

第七章：僞分佈式環境搭建

7.1.1 虛擬機準備

	主機
主機名	hadoop100
IP地址	192.168.153.100
安裝軟件	JDK1.8、Hadoop3.1.2
環境變量	全部配置

7.1.2 僞分佈式部署需要修改以下文件

• 配置hadoop，hadoop的配置文件路徑在：

	cd /home/software/hadoop-3.1.2/etc/hadoop

1. hadoop-env.sh
   更改JDK環境變量和HADOOP的安裝目錄：

export JAVA_HOME=/opt/module/jdk1.8.0_144
export HADOOP_CONF_DIR=/opt/module/jdk3.1.2/etc/hadoop

2. core-site.xml

<configuration>
	<!--用來指定HDFS的Leader-namenode的地址-->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://hadoop100:9000</value>
	</property>
	<!--用來表明hadoop運行時所產生的文件的存放目錄-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/software/hadoop-3.1.2/tmp</value>
	</property>
</configuration>

3. hdfs-site.xml

<configuration>
	<!--指定HDFS保存的副本數量,所以1即可-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!--設置hdfs的操作權限，false表示任何用戶都可以在hdfs上進行操作-->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>

4. mapred-site.xml

<configuration>
	<!--指定MapReduce運行在Yarn上面-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

5. yarn-site.xml

<configuration>
	<!--指定Yarn的Boss，ResourceManager地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop100</value>
	</property>
	<!-- NodeManager獲取數據的方式-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

6. vim slaves

hadoop100

7. 格式化namenode

hadoop namenode -format

8. 啓動hadoop

start-all.sh

9. 查看啓動JPS

[zhangyong@hadoop100 ~]$ jps
2018 ResourceManager
1590 NameNode
2902 Jps
2108 NodeManager
1678 DataNode
1871 SecondaryNameNode

10. 網頁查看：IP:50070