hadoop 环境准备

  1  上传JDK文件jdk-6u45-linux-i586.bin 到/home/bigdata/
     1.1 赋权   chmod +x  jdk-6u45-linux-i586.bin
     1.2 解压   ./ jdk-6u45-linux-i586.bin
     1.3 配置环境变量
         vi  /etc/profile
        增加 到文件末尾
   export JAVA_HOME=/home/bigdata/jdk


   export PATH=$PATH:$JAVA_HOME/bin


   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


   export JAVA_HOME JAVA_BIN PATH CLASSPATH
 


 2 关闭防火墙  


   service iptables stop
 
  chkconfig iptables off


 3  上传Hadoop文件  hadoop-1.1.2.tar.gz到 /home/bigdata/ 目录


   3.1 解压 tar -zxvf   hadoop-1.1.2.tar.gz
       该名称   mv  hadoop-1.1.2.tar.gz  hadoop 


   3.2 配置Hadoop 环境变量
       vi /etc/profile 


  export HADOOP_HOME=/home/bigdata/hadoop/bin


  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME
4 修改主要配置文件


  4.1 修改Hadoop/conf文件中的 hadoop-env.sh
    export JAVA_HOME=/home/bigdata/jdk
   


  4.2 修改core-site.xml，如下：
<configuration>  
        <property>  
                <name>fs.default.name</name>  
                <value>hdfs://master:9000</value>  
        </property>  


     <property>
              <name>hadoop.tmp.dir</name>
                <value>/home/root/tmp</value>
                        <description>A base for other temporary directories.</description>
                </property>




</configuration>


  4.3 修改hdfs-site.xml，如下：
<configuration>
        <property>
                <name>dfs.name.dir</name>
                <value>/home/bigdata/hadoopdata/hdfs/name</value>/*这个目录要事先建立好，然后赋权*/
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/home/bigdata/hadoopdata/hdfs/data</value> /*这个目录要事先建立好，然后赋权*/
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>
 


4.4  修改mapred-site.xml，如下：
<configuration>  
        <property>  
                <name>mapred.job.tracker</name>  
                <value>master:9001</value>  
        </property>  
</configuration>






5  将namenode机器下的jdk文件夹,hadoop文件夹以及/etc/profile文件拷贝到datanode机器上相同的路径下。


  5.1  修改三台机器的hosts文件


修改每台机器下/etc文件夹下的hosts文件
127.0.0.1 localhost
192.168.119.128  master


192.168.119.129 slave1


192.168.119.130 slave2






6 SSH配置


 先在各机器新建文件夹  /root.ssh




在namenode机器的/root文件夹下生成密钥对，执行：
$ ssh-keygen -t rsa
然后一直按Enter键，就会按照默认选项生成密钥对保存在/root/.ssh/id_rsa文件中。


继续执行如下命令，把密钥传递给每个datanode节点：
$ cd ~/.ssh  
$ cp id_rsa.pub authorized_keys
$ scp authorized_keys slave1:/root/.ssh/authorized_keys  
$ scp authorized_keys slave2:/root/.ssh/authorized_keys


克隆配置ssh
scp authorized_keys h2slave1:/root/.ssh/authorized_keys 
scp authorized_keys h2slave2:/root/.ssh/authorized_keys 
scp authorized_keys h2slave3:/root/.ssh/authorized_keys 




7 启动格式化
hadoop namenode -format  


8 检查运行情况
  jps






然后可以通过如下地址来查看集群运行状况：
http://master:50030  
http://master:50070 






另一种生成ssh，免密码登陆


     ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
     
   1   生成私钥和公钥：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   2   把公钥（id_dsa.pub）追加到授权的key中去：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys