Windows搭建Hadoop開發環境

一、安裝Java

• 版本1.8，安裝過程省略…

二、安裝Hadoop

1.下載

• 下載安裝包 Hadoop2.9.0
• 解壓 推薦放到D盤，C盤會有權限問題。路徑示例：‪C:\Software\hadoop-2.9.0

2.配置環境變量

三.修改hadoop配置

1.新建data目錄及子目錄
注意：記得賦予目錄讀寫權限


2.修改配置文件

• 修改 core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

• 修改 hdfs-site.xml

<configuration>
	<!--副本數量-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!--NameNode目錄-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///Software/hadoop-2.9.0/data/namenode</value>
	</property>
	<!--DataNode目錄-->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///Software/hadoop-2.9.0/data/datanode</value>
	</property>
</configuration>

• 修改 mapred-site.xml

<configuration>
	<!--yarn模式-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

• 修改 yarn-site.xml

<configuration>
	<!--RM的hostname-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>0.0.0.0</value>
	</property>
	<!--中間結果存放位置-->
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>file:///C:/Software/hadoop-2.9.0/tmp</value>
	</property>
	<!--NM上運行的附屬服務-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

• 修改 hadoop-env.cmd

# 因Java安裝在Project Files路徑下，有空格，用PROGRA~1代替
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_202

四、配置庫文件

1.VC庫

• 安裝 Visual C++ 2010 Redistributable Package (x64)
• 安裝 winutils.exe，直接copy整個bin目錄覆蓋安裝的hadoop的bin目錄即可
  
• 拷貝hadoop.dll到C:\Windows\System32下

四、啓動Hadoop

注意：以管理員身份打開cmd控制窗口

1.格式化namenode

hdfs namenode -format

2.啓動hadoop服務

• 以管理員身份運行，會打開4個service窗口。其中包括hdfs數據節點及yarn資源管理服務進程

start-all.cmd

• 瀏覽器打開 http://localhost:8088/cluster，可查看job運行情況