Hadoop分佈式安裝

一、安裝準備


        1、下載hadoop，地址：http://hadoop.apache.org/,下載相應版本
        2、下載JDK版本：Hadoop只支持1.6以上，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html
        3、操作系統：Linux
        4、四臺機器，192.168.1.211（master）， 192.168.1.212（slave），192.168.1.213（slave），192.168.1.214（slave）


二、安裝操作
        1、在所有機器安裝jdk
        
        2、在所有機器創建Hadoop用戶及用戶組
                groupadd -g 55 hadoop
                useradd -g 55 hadoop
        
        3、上傳解壓Hadoop包，對Hadoop文件的擁有者改爲hadoop用戶和組
                tar -zxvf hadoop-1.0.1.tar.gz
                sudo chown -R hadoop:hadoop hadoop-1.0.1
        4、配置SSH無密碼登陸
                ssh-keygen  -t  rsa
                生成的密鑰對id_rsa，id_rsa.pub，默認存儲在.ssh目錄下
                然後將id_rsa.pub的內容複製到每個機器(也包括本機)的.ssh/authorized_keys文件中，
                如果機器上已經有authorized_keys這個文件了，就在文件末尾加上id_rsa.pub中的內容，
                如果沒有authorized_keys這個文件，直接cp或者scp就好了，
                下面的操作假設各個機器上都沒有authorized_keys文件。
                scp [email protected]:/home/hadoop/.ssh/authorized_keys ./
        5、修改conf/目錄下的master文件，內容如下：
                        192.168.1.211
        6、修改conf/目錄下的slaves文件，內容如下：
                        192.168.1.212
                        192.168.1.213
                        192.168.1.214
        
        7、修改$HADOOP_HOME/conf/hadoop-env.sh文件的環境變量：
                        # The java implementation to use.  Required.
                        export JAVA_HOME=/usr/java/jdk1.6.0_27
        8、修改$HADOOP_HOME/conf/core-site.xml配置文件，內容如下：
                        <?xml version="1.0"?>
                        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                        <!-- Put site-specific property overrides in this file. -->
                        <configuration>
                                <property>
                                  <name>hadoop.tmp.dir</name>
                                  <value>/hadoopdata</value>
                                  <description>A base for other temporary directories.</description>
                                </property>
                                
                                <property>
                                  <name>fs.default.name</name>
                                  <value>hdfs://192.168.1.211:9000</value>
                                  <description>The name of the default file system.  A URI whose
                                  scheme and authority determine the FileSystem implementation.  The
                                  uri's scheme determines the config property (fs.SCHEME.impl) naming
                                  the FileSystem implementation class.  The uri's authority is used to
                                  determine the host, port, etc. for a filesystem.</description>
                                </property>
                                
                                <property>
                                  <name>dfs.hosts.exclude</name>
                                  <value>excludes</value>
                                </property>
                        </configuration>
        9、修改$HADOOP_HOME/conf/hdfs-site.xml配置文件，內容如下：
                        <?xml version="1.0"?>
                        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                        <!-- Put site-specific property overrides in this file. -->
                        <configuration>
                                <property>
                                <name>dfs.replication</name>
                                <value>1</value>
                                </property>
                        </configuration>
        10、修改$HADOOP_HOME/conf/mapred-site.xml配置文件，內容如下：
                        <?xml version="1.0"?>
                        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                        <!-- Put site-specific property overrides in this file. -->
                        <configuration>
                        <property>
                          <name>mapred.job.tracker</name>
                          <value>192.168.1.211:9001</value>
                          <description>The host and port that the MapReduce job tracker runs
                          at.  If "local", then jobs are run in-process as a single map
                          and reduce task.
                          </description>
                        </property>
                        </configuration>
        11、修改/ect/profile配置文件，在末尾追加以下內容，並輸入source/etc/profile使之生效：
                export JAVA_HOME=/usr/java/jdk1.6.0_27
                export JRE_HOME=/usr/java/jdk1.6.0_27/jre
                export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
                export PATH=$JAVA_HOME/bin:$PATH
                export HADOOP_HOME=/home/hadoop/hadoop-1.0.1
                export PATH=$HADOOP_HOME/bin:$PATH
                export PATH=$PATH:$HIVE_HOME/bin
        12、將主控機器上Hadoop分別給節點機器複製一份。
                將/ect/profile拷貝到132、133和134機器上。注意profile需要做生效操作。


三、啓動/停止hadoop
                1、通過shell腳本啓動hadoop，可以通過jps命令查看是否啓動NameNode、DataNode、secondaryNameNode、JobTracker、TaskTracher
                   注意：先要進行格式化HDFS文件系統，才能啓動NameNode
                        $HADOOP_HOME/bin/start-all.sh
                2、停止hadoop
                        $HADOOP_HOME/bin/stop-all.sh
四、初始配置
                1、格式化HDFS文件系統。進入$HADOOP_HOME/bin目錄。執行:hadoop namenode –format
                2、在$HADOOP_HOME/bin目錄下，執行:hadoop fs -ls /
                                如果控制檯返回結果，表示初始化成功。可以向裏面錄入數據。
                3、通過WEB查看hadoop
                                查看集羣狀態 http://192.168.1.211:50070/dfshealth.jsp 
                                查看JOB狀態 http://192.168.1.211:50030/jobtracker.jsp