Linux下圖示安裝Hadoop-2.8.5(單機版)

前言：Hadoop2.x的四個模塊.Hadoop Common，Hadoop HDFS，Hadoop MapReduce，Hadoop YARN.Centos7的版本。

一：Hadoop的的的下載。

       1. 官網。

       2.版本。

 分爲源碼和二進制的。這裏下載二進制的。這裏是簡單學習使用的是阿帕奇的版本。

3.下載的Hadoop。

wget XXX.tar.gz

 4.加壓到指定的目錄下。

 tar -zxvf XXX.tar.gz -C / usr / local 

5. Hadoop目錄結構。

6.查看的Hadoop的版本。（記得配置環境的Hadoop的環境變量）。

   cd bin

   Hadoop的版本

二.Hadoop環境配置。

   1. Java環境配置。（使用Java8的版本）   

  Hadoop的的是Java的的開發的大數據框架，因此首先要準備好Java的的的環境。這個就不介紹了。注意一下配置文件。

  cat / etc / profile

  2.配置的Hadoop的環境變量。

 vim / etc / profile

 export HAOOP_HOME = / usr / local / hadoop-2.8.5

 export PATH = $ PATH：$ HADOOP_HOME / bin

vim httpfs-env.sh

查看Hadoop HDFS支持的所有命令。

3.查看防火牆和關閉SELinux的。

   firewall-cmd --state 

 cat / etc / selinux / config

4.修改配置文件。（這裏就直接使用自己Linux的IP了，就不配置域名了）.etc / hosts

    在修改配置文件前，先創建一下幾個目錄。

    mkdir / root / hadoop

    mkdir / root / hadoop / tmp

    mkdir / root / hadoop / var

    mkdir / root / hadoop / dfs

    mkdir / root / hadoop / dfs / name

    mkdir / root / hadoop / dfs / data

    然後是依次修改下面一個XML文件。

    cd /usr/local/hadoop-2.8.5/etc/hadoop

    vim core-site.xml

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.217.134:9000</value>
   </property>
</configuration>

   接下來就是vim hdfs-site.xml

<configuration>
<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.http.address</name>
<value>192.168.217.134:50070</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.217.134:50090</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>true</value>
      <description>need not permissions</description>
</property>
</configuration>

dfs.permissions配置爲假後，可以允許不要檢查權限就生成DFS上的文件，方便倒是方便了，但是你需要防止誤刪除，請將它設置爲真，或者直接將該屬性節點刪除，因爲默認就是真正。

接下來是：

vim mapred-site.xml（沒有那個mapred-site.xml文件就觸摸mapred-site.xml）。

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>192.168.217.134:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>
</configuration>

 三.Hadoop啓動。

     1.第一次啓動時要初始化，格式化的NameNode。

    cd bin

   ./hdfs namenode -format 

    2.切換sbin目錄目錄下。

    cd ..

    cd sbin

    sh start-dfs.sh（需要輸入用戶名，分別是啓動namenode）。

    sh start-yarn.sh

   JPS

瀏覽器訪問如下：

關閉HDFS和紗線：

遇到啓動問題可以看一看啓動日誌吧。

重新格式化名稱節點之前需要清空DFS下的名稱和數據文件夾以解決數據節點無法啓動的問題。

cat hadoop-root-datanode-localhost.localdomain.out.1
cat hadoop-root-namenode-localhost.localdomain.log

至此完成的的Linux下的的Hadoop的安裝。