記一次關於Hadoop的配置或者啓動操作

                                          學習大數據篇 ---Hadoop

---

 環境基於 VM 上安裝的 Centos 7

 

Hadoop 的單機安裝知識 : 

1.  如果你的Centos 之前是有java環境的話,那麼就卸載了安裝一個新的.  java --version 可以看到是你安裝的那個jdk 版本就可以。安裝Hadoop之前,是要有Java環境的。Java 安裝: sudo vi /etc/profile 在profie文件末尾添加jdk路徑：

   ##JAVA_HOME

   export JAVA_HOME=/你的Java路徑

   export PATH=$PATH:$JAVA_HOME/bin      執行 source /etc/profile

2.  在你的Hadoop 解壓到目錄下  比如我這裏就是 : /hadoop/hadoop-2.7.2  然後給Hadoop添加到環境變量中:sudo vi /etc/profile

   ##HADOOP_HOME

   export HADOOP_HOME=/hadoop/hadoop-2.7.2

   export PATH=$PATH:$HADOOP_HOME/bin

   export PATH=$PATH:$HADOOP_HOME/sbin    讓配置文件生效 : source /etc/profile

3. [root@localhost hadoop]# hadoop version
   Hadoop 2.7.2
   Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
   Compiled by jenkins on 2016-01-26T00:08Z
   Compiled with protoc 2.5.0
   From source with checksum d0fda26633fa762bff87ec759ebe689c
   This command was run using /hadoop/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar  如果你可以看到Hadoop的版本的話,就說明上面的配置是成功的。

4.  在 hadoop 目錄下的 etc/hadoop 下進行配置的修改

5. core-site.xml : <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://192.168.119.140:9000   這個ip填寫自己的虛擬機ip;如果你寫127.0.0.1的話,存在你如果用ip訪問就會有問題的情況</value>
    </property>
   </configuration>

6.  core-site.xml 都加入這句,這裏的jdk路徑指向你自己配置的路徑  export JAVA_HOME=/usr/local/jdk1.8.0_171

7.  hdfs-site.xml 中的配置 ; 這裏的data/hadoop/hdfs/nn這些文件夾都最好自己創建了,不然到時候是可能存在問題   <configuration>
               <configuration>
                   <property>
                       <name>dfs.nameservices</name>
                       <value>hadoop-cluster</value>
                   </property>
                   <property>
                       <name>dfs.namenode.name.dir</name>
                       <value>file:///data/hadoop/hdfs/nn</value>
                   </property>
                   <property>
                       <name>dfs.namenode.ch
                       eckpoint.dir</name>
                       <value>file:///data/hadoop/hdfs/snn</value>
                   </property>
                   <property>
                       <name>dfs.namenode.checkpoint.edits.dir</name>
                       <value>file:///data/hadoop/hdfs/snn</value>
                   </property>
                   <property>
                       <name>dfs.datanode.data.dir</name>
                       <value>file:///data/hadoop/hdfs/dn</value>
                   </property>
           <property>
               <name>dfs.permissions</name>
               <value>false</value>
           <description>
               If "true", enable permission checking in HDFS.
               If "false", permission checking is turned off,
               but all other behavior is unchanged.
               Switching from one parameter value to the other does not change the mode,
               owner or group of files or directories.
           </description>
           </property>
               </configuration>
   </configuration>

8. start-all.sh 啓動指令.

 

  由於這裏沒有配置免密的,所以你啓動的時候,裏面是會有要你輸入密碼的操作。

  然後你jps 一下, 就可以看到啓動的Java進程.

  

   yarn 的配置

   1 :   在yarn-env.sh 上配置JAVA_HOME的路徑.

   2 :  然後配置 yarn-site.xml 

        <configuration>

<!-- Site specific YARN configuration properties -->
                   <!-- 指定ResourceManager的地址-->
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>192.168.119.140</value>
                </property>
                <!-- 指定reducer獲取數據的方式-->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
                <property>
                    <name>yarn.nodemanager.local-dirs</name>
                    <value>file:///data/hadoop/yarn/nm</value>
                </property>
</configuration>

  3 : 配置 mapred-env.sh 也是配置下JAVA_HOME的路徑

 4  : 對mapred-site.xml.template重新命名爲  mapred-site.xml

 5 : 啓動前必須保證namenode和datanode已經啓動

 6 : 進入sbin 目錄下 ; yarn-daemon.sh start resourcemanager    yarn-daemon.sh start nodemanager

 7 : http://192.168.119.140:8088/cluster

   效果如下 : 第一張是Hadoop 的 UI ； 第二張是 Yarn 的UI

  

 

 

啓動歷史服務 : 

  也是在sbin 目錄下 : 

mr-jobhistory-daemon.sh start historyserver

然後輸入 jps 是可以看到 JobHistoryServer 這個Java進程的顯示

http://192.168.119.140:19888/jobhistory  也是可以看到 UI界面的

 

 

 大致的單機安裝就是這麼多了啦。不曉得有沒有有地方是有漏掉了,如果有的話，請各位大佬提出來,然後修改.晚安各位.