linux下hadoop 2.4的編譯安裝.

1.下載需要的工具包

jdk-7u5-linux-i586.gz,apache-maven-3.0.5-bin.tar.gz,cmake-2.8.12.1.tar.gz

,hadoop-2.4.0.tar.gz,protobuf-2.5.0.tar.gz,zlib127.zip(如果機器已經安裝了zlib或gzip即可不用安裝)

2.安裝工具

(1)安裝JDK

進入jdk的tar包目錄:cd /usr/home/twolf/D/vmsoft

解壓tar包到指定目錄:tar zxvf jdk-7u5-linux-i586.gz -C /usr/lib/jvm

打開環境變量文件: gedit ~/.bashrc

添加如下信息:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_05

     export JRE_HOME=${JAVA_HOME}/jre

     export CLASSPATH=.:${JAVA_HOME}/bin:${JRE_HOME}/lib

              export PATH=${JAVA_HOME}/bin:$PATH

重新加載環境變量文件:source ~/.bashrc

檢查是否安裝成功:java -version     

(2)安裝maven

進入maven的tar包目錄:cd /usr/home/twolf/D/vmsoft

解壓tar包到指定目錄:tar zxvf apache-maven-3.0.5-bin.tar.gz -C /usr/lib

打開環境變量文件: gedit ~/.bashrc

添加如下信息:export M2_HOME=/usr/lib/apache-maven-3.0.5

     export M2_HOME

     export PATH=${M2_HOME}/bin:$PATH

重新加載環境變量文件:source ~/.bashrc

檢查是否安裝成功:mvn -version

(3)安裝cmake

進入cmake的tar包目錄:cd /usr/home/twolf/D/vmsoft

解壓tar包到指定目錄:tar zxvf cmake-2.8.12.1.tar.gz -C /usr/lib

進入cmake目錄:cd /usr/lib/cmake-2.8.12.1

./configure

make

make install

(4)安裝protobuf

進入protobuf的tar包目錄:cd /usr/home/twolf/D/vmsoft

解壓tar包到指定目錄:tar zxvf protobuf-2.5.0.tar.gz -C /usr/lib

進入protobuf目錄:cd /usr/lib/protobuf-2.5.0

./configure --prefix=/root/protobuf

make

make install

打開環境變量文件: gedit ~/.bashrc

添加如下信息:export PATH=$PATH:/root/protobuf/bin

     export PKG_CONFIG_PATH=/root/protobuf/lib/pkgconfig

重新加載環境變量文件:source ~/.bashrc

(6)安裝hadoop

進入hadoop的tar包目錄:cd /usr/home/twolf/D/vmsoft

解壓tar包到指定目錄:tar zxvf hadoop-2.4.0.tar.gz -C /usr

打開環境變量文件: gedit ~/.bashrc

添加如下信息:export HADOOP_HOME=/usr/hadoop-2.4.0

     export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

重新加載環境變量文件:source ~/.bashrc

檢查是否安裝成功:hadoop version

3.僞集羣模式啓動

啓動前需要做些基本的設置

(1)免登陸模式(前提必須安裝ssh,檢查是否安裝ssh:ssh localhost,如果顯示登錄時間則表示安裝成功,一般已經自帶安裝好了)

使用ssh公鑰實現免密碼登陸

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

說明:這個命令會產生一個公鑰(~/.ssh/id_dsa.pub)和密鑰(~/.ssh/id_dsa)

-t dsa 表示密鑰的加密類型,可以爲rsa和dsa

-p ''表示不需要密碼登陸

-f ~/.ssh/id_dsa表示密鑰存放的路徑

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

說明:這個命令將本機的公鑰添加進authorized_keys中,這樣允許本機通過ssh的形式免密碼登陸

注意:使用>>,而不是>,因爲如果其他主機(如A)也採用免登陸的形式登陸,也可以把主機的公鑰添加到authorized_keys文件中。這樣主機A就可以免登陸ssh到本機了

(2)設置hadoop的配置參數(etc/hadoop/core-site.xml,etc/hadoop/hdfs-site.xml

gedit /usr/hadoop/hadoop-2.4.0/etc/hadoop/core-site.xml

在<configuration>標籤中添加如下內容:

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>


gedit /usr/hadoop/hadoop-2.4.0/etc/hadoop/hdfs-site.xml

在<configuration>標籤中添加如下內容:

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

   <property>
        <name>dfs.datanode.failed.volumes.tolerated</name>
        <value>1</value>
    </property>

   <property>
<name>dfs.namenode.name.dir</name>
<value>/usr/hadoop/hadoop-2.4.0/name1,/usr/hadoop/hadoop-2.4.0/name2</value>
    </property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/hadoop/hadoop-2.4.0/data1,/usr/hadoop/hadoop-2.4.0/data2</value>
    </property>

(3)第一次啓動文件系統前需格式化系統,即通過hadoop namenode -format或hdfs namenode -format

(4)使用start-dfs.sh來啓動hdfs服務

使用jps來看hdfs的進程是否已啓動,執行結果如下:

再通過web界面來查看namenode是否正常啓動默認地址:http://localhost:50070/

(5)測試hdfs是否可用

hadoop fs -ls /

hadoop fs -mkdir /zxb

hadoop fs -ls /zxb

hdfs dfs -put hadoop/ /zxb/input

hdfs dfs -ls /zxb/input

(6)設置單節點(etc/hadoop/yarn-site.xml)

gedit /usr/hadoop/hadoop-2.4.0/etc/hadoop/yarn-site.xml

在<configuration>節點中添加如下內容:

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

(7)測試yarn的啓動和停止

sbin/start-yarn.sh

sbin/stop-yarn.sh








發佈了27 篇原創文章 · 獲贊 12 · 訪問量 13萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章