Windows安裝使用Hadoop3.0.0

本章將一步一步在win10下安裝Hadoop3.0.0，並啓動服務進行簡單的hdfs操作。

準備工作

1、Hadoop官方下載地址：http://hadoop.apache.org/releases.html

選擇最新的3.0.0版本後跳轉至下面的頁面選擇紅色框部分鏈接即可下載，建議採用專業的下載工具下載，速度更快

2、將tar.gz包解壓至D盤根目錄：

3、配置環境變量:

添加HADOOP_HOME配置：

在Path中添加如下：

4、Hadoop需要依賴JDK，考慮其路徑中不能有空格，故直接安裝如下目錄：

Hadoop配置：

1、修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

2、修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3、在D:/hadoop-3.0.0目錄下創建data目錄，作爲數據存儲路徑：

在D:/hadoop-3.0.0/data目錄下創建datanode目錄；

在D:/hadoop-3.0.0/data目錄下創建namenode目錄；

4、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
   
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
   <property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-3.0.0/data/namenode</value>
</property>
<property>
       <name>fs.checkpoint.dir</name>
       <value>/D:/hadoop-3.0.0/data/snn</value>
   </property>
   <property>
       <name>fs.checkpoint.edits.dir</name>
       <value>/D:/hadoop-3.0.0/data/snn</value>
   </property>
   <property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-3.0.0/data/datanode</value>
</property>
</configuration>

5、修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>

   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
6、修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置，找到"set JAVA_HOME=%JAVA_HOME%"替換爲"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"

7、bin目錄替換，至https://github.com/steveloughran/winutils下載解壓

找到對應的版本後完整替換bin目錄即可

至此配置完成.

啓動服務

1、D:\hadoop-3.0.0\bin> hdfs namenode -format

2、通過start-all.cmd啓動服務：

3、此時可以看到同時啓動了如下4個服務：

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager

HDFS應用

1、通過http://127.0.0.1:8088/即可查看集羣所有節點狀態：

2、訪問http://localhost:9870/即可查看文件管理頁面：

進入文件管理頁面：

創建目錄：

上傳文件

上傳成功

Note：在之前的版本中文件管理的端口是50070，在3.0.0中替換爲了9870端口，具體變更信息來源如下官方說明 http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface