Windows下安裝hadoop本地模式

準備

1、下載hadoop（自行到官網下載對應版本）

2、安裝了JDK（網上也有很多教程，自行查閱，也可以查看我另一篇文章：在Ubuntu14.04下配置Hadoop的兩種模式：本地模式、僞分佈模式）

3、hadoop安裝在Windows的工具，網上有很多，可自行查閱下載。

 

配置流程

一、配置環境變量

解壓好Hadoop，添加環境變量

添加HADOOP_HOME系統變量

變量名：HADOOP_HOME

變量值：D:\hadoop-2.7.7    # 改爲你自己的路徑

編輯path環境變量

添加Hadoop的bin路徑：D:\hadoop-2.7.7\bin

 

二、修改Hadoop配置文件

修改D:/hadoop-2.7.7/etc/hadoop目錄下的配置文件
1.core-site.xml

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2.mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3.在hadoop-2.7.7新建文件夾data，並在裏面新建datanode、namenode文件夾

4.hdfs-site.xml

<configuration>
    <!-- 這個參數設置爲1，因爲是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>D:\hadoop-2.7.7\data\namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>D:\hadoop-2.7.7\data\snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>D:\hadoop-2.7.7\data\snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>D:\hadoop-2.7.7\data\datanode</value>
   </property>
</configuration>

5.yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

6.
使用 cmd 創建JDK軟連接，因爲我的JDK路徑名中存在空格，如果沒有空格的不用操作以下命令

命令：mklink /J D:\hadoop-2.7.7\jdk "C:\Program Files\Java\jdk1.7.0_11" 

再修改D:/hadoop-2.7.7/etc/hadoop/hadoop-env.cmd配置文件

找到"set JAVA_HOME=%JAVA_HOME%"，把它註釋掉，在下面添加爲"set JAVA_HOME=D:\hadoop-2.7.7\jdk"
 

7. bin目錄替換

把Hadoop目錄下的bin目錄文件替換爲之前從網上下載下來的工具。

 

8. 格式化hdfs文件系統

執行D:\hadoop-2.7.7\bin\hdfs.cmd namenode -format

 

9.啓動Hadoop

執行D:\hadoop-2.7.7\sbin\start-all.cmd。

異常問題

1、啓動服務失敗、文件名、目錄名不正確問題？

是因爲hadoop高版本與Windows不兼容，換成2.7.7版本即可解決這個問題。

 

參考資料

Windows10下配置大數據開發環境（1） - 安裝Hadoop