大數據技術之Hadoop之HDFS(3)—— win10安裝hadoop3.1.2

第三章：win10安裝hadoop3.1.2

1、安裝環境

win10 64位
jdk1.8
hadoop3.1.2

2、安裝jdk1.8，並配置環境變量

3、安裝配置hadoop

3.1、下載

到hadoop官網下載hadoop的最新版本壓縮包，下載地址：Hadoop3.1.2，解壓過後目錄如下所示：

3.2、解壓並配置環境變量

在環境變量中新建HADOOP_HOME變量，變量值是hadoop壓縮包解壓後所在的文件路徑

將HADOOP_HOME變量添加到系統變量PATH路徑中，並進入\bin中，配置如下：

3.3、查看Hadoop版本

用記事本打開etc\hadoop\hadoop-env.cmd文件，找到set JAVA_HOME=%JAVA_HOME% 一行，將其值修改爲jdk所在目錄。因爲Program Files中存在空格，需要使用PROGRA~1 代替Program Files，即改爲C:\PROGRA~1\Java\jdk1.8.0_121

查看Hadoop版本：

3.4、修改配置文件

在core-site.xml 文件中添加：

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop-3.1.2/data/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>

在mapred-site.xml文件中添加：

<configuration>
   <property>
      	  <name>mapreduce.framework.name</name>
     	  <value>yarn</value>
    </property>
</configuration>

在yarn-site.xml文件中添加：

<configuration>
	<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
	<property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hahoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

在hdfs-site.xml文件添加：
首先在D:/hadoop-3.1.2/下創建data文件夾，並在data下創建namenode和datanode兩個子文件夾，然後修改hdfs-site.xml文件：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	<property> 
     <name>dfs.permissions.enabled</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-3.1.2/data/namenode</value>
   </property>
   <property>
		<name>fs.checkpoint.dir</name>
		<value>/D:/hadoop-3.1.2/data/snn</value>
	</property>
	<property>
		<name>fs.checkpoint.edits.dir</name>
		<value>/D:/hadoop-3.1.2/data/snn</value>
	</property>
	   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-3.1.2/data/datanode</value>
   </property>
</configuration>

3.5、替換bin目錄下的文件

默認下載的Hadoop不支持Windows系統，需要替換bin目錄下的文件方便在Windows上運行。找到3.1.0版本winutils,下載後直接替換掉hadoop目錄下bin文件即可：
沒有winutils3.0以上版本私聊我

3.6、格式化namenode

命令：hdfs namenode -format
注意：第一次啓動前執行，只執行一次。
當出現下圖時說明格式化成功：

3.7、啓動Hadoop（超級管理員運行cmd）

將D:\hadoop-3.1.2\share\hadoop\yarn\timelineservice 將這個文件夾下的hadoop-yarn-server-timelineservice-3.1.2.jar 包 複製到這個路徑下D:\hadoop-3.1.2\share\hadoop\yarn 即可解決。

3.8、查看管理頁面

http://localhost:8088/cluster

http://localhost:9870/dfshealth.html#tab-overview