hadoop 環境準備

  1  上傳JDK文件jdk-6u45-linux-i586.bin 到/home/bigdata/
     1.1 賦權   chmod +x  jdk-6u45-linux-i586.bin
     1.2 解壓   ./ jdk-6u45-linux-i586.bin
     1.3 配置環境變量
         vi  /etc/profile
        增加 到文件末尾
   export JAVA_HOME=/home/bigdata/jdk


   export PATH=$PATH:$JAVA_HOME/bin


   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


   export JAVA_HOME JAVA_BIN PATH CLASSPATH
 


 2 關閉防火牆  


   service iptables stop
 
  chkconfig iptables off


 3  上傳Hadoop文件  hadoop-1.1.2.tar.gz到 /home/bigdata/ 目錄


   3.1 解壓 tar -zxvf   hadoop-1.1.2.tar.gz
       該名稱   mv  hadoop-1.1.2.tar.gz  hadoop 


   3.2 配置Hadoop 環境變量
       vi /etc/profile 


  export HADOOP_HOME=/home/bigdata/hadoop/bin


  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME
4 修改主要配置文件


  4.1 修改Hadoop/conf文件中的 hadoop-env.sh
    export JAVA_HOME=/home/bigdata/jdk
   


  4.2 修改core-site.xml，如下：
<configuration>  
        <property>  
                <name>fs.default.name</name>  
                <value>hdfs://master:9000</value>  
        </property>  


     <property>
              <name>hadoop.tmp.dir</name>
                <value>/home/root/tmp</value>
                        <description>A base for other temporary directories.</description>
                </property>




</configuration>


  4.3 修改hdfs-site.xml，如下：
<configuration>
        <property>
                <name>dfs.name.dir</name>
                <value>/home/bigdata/hadoopdata/hdfs/name</value>/*這個目錄要事先建立好，然後賦權*/
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/home/bigdata/hadoopdata/hdfs/data</value> /*這個目錄要事先建立好，然後賦權*/
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>
 


4.4  修改mapred-site.xml，如下：
<configuration>  
        <property>  
                <name>mapred.job.tracker</name>  
                <value>master:9001</value>  
        </property>  
</configuration>






5  將namenode機器下的jdk文件夾,hadoop文件夾以及/etc/profile文件拷貝到datanode機器上相同的路徑下。


  5.1  修改三臺機器的hosts文件


修改每臺機器下/etc文件夾下的hosts文件
127.0.0.1 localhost
192.168.119.128  master


192.168.119.129 slave1


192.168.119.130 slave2






6 SSH配置


 先在各機器新建文件夾  /root.ssh




在namenode機器的/root文件夾下生成密鑰對，執行：
$ ssh-keygen -t rsa
然後一直按Enter鍵，就會按照默認選項生成密鑰對保存在/root/.ssh/id_rsa文件中。


繼續執行如下命令，把密鑰傳遞給每個datanode節點：
$ cd ~/.ssh  
$ cp id_rsa.pub authorized_keys
$ scp authorized_keys slave1:/root/.ssh/authorized_keys  
$ scp authorized_keys slave2:/root/.ssh/authorized_keys


克隆配置ssh
scp authorized_keys h2slave1:/root/.ssh/authorized_keys 
scp authorized_keys h2slave2:/root/.ssh/authorized_keys 
scp authorized_keys h2slave3:/root/.ssh/authorized_keys 




7 啓動格式化
hadoop namenode -format  


8 檢查運行情況
  jps






然後可以通過如下地址來查看集羣運行狀況：
http://master:50030  
http://master:50070 






另一種生成ssh，免密碼登陸


     ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
     
   1   生成私鑰和公鑰：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   2   把公鑰（id_dsa.pub）追加到授權的key中去：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys