Window10安裝hadoop分佈式配置

第一章 概述

1、安裝jkd1.8，此步驟省略。

2、安裝hadoop-2.8.5；用hadoop-3.2.1沒有安裝成功，可能是winutils版本匹配問題；

3、下載winutils

4、分佈式部署配置四個site.xml文件

5、格式化namenode

6、啓動hadoop

7、關閉hadoop

第二章 安裝hadoop

1、鏡像地址

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common

2、解壓鏡像文件

注意：路徑不能有空格；winrar要用管理員權限解壓（win10）。

3、配置環境變量

注意JDK的環境變量不能有空格，C盤中的Program Files目錄名稱可用PROGRA~1代替

4、查看hadoop的版本

第三章 分佈式配置

1、下載winutils

https://github.com/steveloughran/winutils

將winutils中bin的文件（版本號2.8.3）拷貝到hadoop的bin中（版本號2.8.5）

2、配置site文件

1) core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<!-- 默認hdfs的訪問端口 -->
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

2) hdfs-site.xml

<!-- 設置複製數爲1，即不進行復制。namenode文件路徑以及datanode數據路徑 -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/tools/hadoop-2.8.5/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/tools/hadoop-2.8.5/data/datanode</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/tools/hadoop-2.8.5/tmp</value>
    </property>
</configuration>

3) mapred-site.xml

<!-- 將mapred-site.xml.template 名稱修改爲 mapred-site.xml 後再修改內容（設置mr使用的框架，這裏使用yarn） -->
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4) yarn-site.xml 

<configuration>

    <!-- Site specific YARN configuration properties -->
    <!--  這裏yarn設置使用了mr混洗  -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

3、格式化節點文件

用管理員運行cmd, 輸入命令：hdfs namenode -format

格式化成功後出現successfully：

4、啓動hadoop

進入Hadoop的sbin目錄下執行start-dfs.cmd啓動Hadoop

啓動之後，出現兩個新的窗口

第一個窗口：hadoop datanode （數據節點）

第二個窗口：hadoop namenode（名稱節點）

注意：上圖中，namenode啓動日誌中，打印出Web-server for hdfs at: http://0.0.0.0:50070 在瀏覽器中打開http://localhost:50070 訪問namenode及HDFS的信息：

5、啓動集羣

sbin/start-all.cmd

6、訪問yarb

http://localhost:8088

7、停止服務

sbin/stop-all.cmd