hadoop的安裝與配置

Hadoop版本

Hadoop 有兩個主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大數公司已經更新Hadoop 2.x 版本，本教程均可適用.

基本環境:Centos 6.5   jdk1.7.0_67   hadoop2.5.1

一、配置jdk

1)下載jdk 版本

  本教程試用jdk-7u67-linux-x64.war.gz

2)創建解壓目錄

   mkdir /usr/local/java

3)移動jdk到/usr/local/java

  mv jdk-7u67-linux-x64.war.gz  /usr/local/java

4)解壓jdk

tar -xvf jdk-7u67-letcinux-x64.war.gz 

5)配置環境

 5.1)編輯 ~/.bash_profile文件 (可以在/etc/profile配置,但是不建議)

  1.vi   ~/.bash_profile

   2.JAVA_HOME =/usr/local/java/jdk1.7.0_67

   3.CLASSPATH=. :$JAVA_HOME/lib/*.jar

   4.PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

   5.退出編輯,並 source ~/.bash_profile

   6.驗證  java -version

二、安裝配置hadoop

1)下載hadoop 版本

本教程使用hadoop2.5.1.war.gz

2)創建解壓目錄

 mkdir /usr/local/hadoop

3)移動hadoop到/usr/local/hadoop

mv hadoop2.5.1.war.gz  /usr/local/hadoop

4)解壓hadoop

tar -xvf hadoop2.5.1.war.gz 

5)配置環境

 5.1)編輯~/.bash_profile文件

  1.vi   ~/.bash_profile

   2.HADOOP_HOME=/usr/local/hadoop2.6.4

   4.PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/jre/bin

   5.退出編輯,並 source ~/.bash_profile

5.2)配置etc/hadoop/hadoop-env.sh,etc/hadoop/core-site.xml,hdfs-site.xml ,etc/hadoop/salves

  http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html

   1.配置hadoop-env.sh

     export JAVA_HOME=/*your jdk的目錄*/

   2.配置core-site.xml  (可以參考官方文檔)

   <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>  /** your的主機名**/
    </property>
  </configuration>
  
  3.配置hdfs-site.xml
  

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  4.配置salves
  

  your的機主名
  
   
 6)關閉臨時防火牆
   
   1)service iptables stop
   2)chkconfig iptables off
   
   7)格式化
    hadoop namenode -format

   
   8)驗證
   
     start-hdfs.sh
     
     

   8)jps產看狀態   

    2135 NodeManager

    5087 SecondaryNameNode

    2054 ResourceManager

    9053 Jps

    4891 DataNode

    7489 NameNode

 9) 網頁查看

     yourip:50070  (windows 沒有添加host ,就用IP地址)