windows搭建hadoop

1、Hadoop官方下載地址：下載
2、將壓縮包解壓到目錄，自己選擇目錄
3、配置環境變量
1）添加變量名：HADDOP_HOME
變量值：D:\hadoop-3.0.0 ps:根據自己目錄進行設置
2) 在path 添加 ：d:\hadoop-3.0.0\bin ps:根據自己目錄進行設置
4、hadoop需要依賴jdk，將jdk目錄複製一份 放在hadoop3.0.0目錄下

5、hadoop配置
1）修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2）修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
<value>yarn</value>
   	</property>
</configuration

3. 在D:/hadoop-3.0.0目錄下創建data目錄，作爲數據存儲路徑：
   <1> 在D:/hadoop-3.0.0/data目錄下創建datanode目錄；
   <2> 在D:/hadoop-3.0.0/data目錄下創建namenode目錄；

4. 修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

    <configuration>
           <!-- 這個參數設置爲1，因爲是單機版hadoop -->
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
           <property> 
               <name>dfs.permissions</name> 
               <value>false</value> 
           </property>
           <property>
               <name>dfs.namenode.name.dir</name>
               <value>/D:/hadoop-3.0.0/data/namenode</value>
           </property>
           <property>
               <name>fs.checkpoint.dir</name>
               <value>/D:/hadoop-3.0.0/data/snn</value>
           </property>
           <property>
               <name>fs.checkpoint.edits.dir</name>
               <value>/D:/hadoop-3.0.0/data/snn</value>
           </property>
           <property>
               <name>dfs.datanode.data.dir</name>
               <value>/D:/hadoop-3.0.0/data/datanode</value>
           </property>
       </configuration>
   

5. 修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

    <configuration>
    			 <!-- Site specific YARN configuration properties -->
    		<property>
    			    <name>yarn.nodemanager.aux-services</name>
    			    <value>mapreduce_shuffle</value>
           </property>
           <property>
                 <name> yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
       	      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       	   </property>
       </configuration> 
   

6）修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置，找到
“setJAVA_HOME=%JAVA_HOME%” 替換爲
“set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151”
7) bin目錄替換，至https://github.com/steveloughran/winutils下載解壓,
找到對應的版本替換bin目錄
8）啓動服務
<1> 在hadoop的bin目錄下執行 hdfs namenode -format 命令
<2> 在hadopp的sbin目錄下執行start_all.cmd 命令
<3> 可以看到同時啓動了4個服務
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager