1.下載需要的工具包
jdk-7u5-linux-i586.gz,apache-maven-3.0.5-bin.tar.gz,cmake-2.8.12.1.tar.gz
,hadoop-2.4.0.tar.gz,protobuf-2.5.0.tar.gz,zlib127.zip(如果機器已經安裝了zlib或gzip即可不用安裝)
2.安裝工具
(1)安裝JDK
進入jdk的tar包目錄:cd /usr/home/twolf/D/vmsoft
解壓tar包到指定目錄:tar zxvf jdk-7u5-linux-i586.gz -C /usr/lib/jvm
打開環境變量文件: gedit ~/.bashrc
添加如下信息:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_05
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/bin:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
重新加載環境變量文件:source ~/.bashrc
檢查是否安裝成功:java -version
(2)安裝maven
進入maven的tar包目錄:cd /usr/home/twolf/D/vmsoft
解壓tar包到指定目錄:tar zxvf apache-maven-3.0.5-bin.tar.gz -C /usr/lib
打開環境變量文件: gedit ~/.bashrc
添加如下信息:export M2_HOME=/usr/lib/apache-maven-3.0.5
export M2_HOME
export PATH=${M2_HOME}/bin:$PATH
重新加載環境變量文件:source ~/.bashrc
檢查是否安裝成功:mvn -version
(3)安裝cmake
進入cmake的tar包目錄:cd /usr/home/twolf/D/vmsoft
解壓tar包到指定目錄:tar zxvf cmake-2.8.12.1.tar.gz -C /usr/lib
進入cmake目錄:cd /usr/lib/cmake-2.8.12.1
./configure
make
make install
(4)安裝protobuf
進入protobuf的tar包目錄:cd /usr/home/twolf/D/vmsoft
解壓tar包到指定目錄:tar zxvf protobuf-2.5.0.tar.gz -C /usr/lib
進入protobuf目錄:cd /usr/lib/protobuf-2.5.0
./configure --prefix=/root/protobuf
make
make install
打開環境變量文件: gedit ~/.bashrc
添加如下信息:export PATH=$PATH:/root/protobuf/bin
export PKG_CONFIG_PATH=/root/protobuf/lib/pkgconfig
重新加載環境變量文件:source ~/.bashrc
(6)安裝hadoop
進入hadoop的tar包目錄:cd /usr/home/twolf/D/vmsoft
解壓tar包到指定目錄:tar zxvf hadoop-2.4.0.tar.gz -C /usr
打開環境變量文件: gedit ~/.bashrc
添加如下信息:export HADOOP_HOME=/usr/hadoop-2.4.0
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
重新加載環境變量文件:source ~/.bashrc
檢查是否安裝成功:hadoop version
3.僞集羣模式啓動
啓動前需要做些基本的設置
(1)免登陸模式(前提必須安裝ssh,檢查是否安裝ssh:ssh localhost,如果顯示登錄時間則表示安裝成功,一般已經自帶安裝好了)
使用ssh公鑰實現免密碼登陸
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
說明:這個命令會產生一個公鑰(~/.ssh/id_dsa.pub)和密鑰(~/.ssh/id_dsa)
-t dsa 表示密鑰的加密類型,可以爲rsa和dsa
-p ''表示不需要密碼登陸
-f ~/.ssh/id_dsa表示密鑰存放的路徑
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
說明:這個命令將本機的公鑰添加進authorized_keys中,這樣允許本機通過ssh的形式免密碼登陸
注意:使用>>,而不是>,因爲如果其他主機(如A)也採用免登陸的形式登陸,也可以把主機的公鑰添加到authorized_keys文件中。這樣主機A就可以免登陸ssh到本機了
(2)設置hadoop的配置參數(etc/hadoop/core-site.xml,etc/hadoop/hdfs-site.xml)
gedit /usr/hadoop/hadoop-2.4.0/etc/hadoop/core-site.xml
在<configuration>標籤中添加如下內容:
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
gedit /usr/hadoop/hadoop-2.4.0/etc/hadoop/hdfs-site.xml
在<configuration>標籤中添加如下內容:
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.datanode.failed.volumes.tolerated</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/hadoop/hadoop-2.4.0/name1,/usr/hadoop/hadoop-2.4.0/name2</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/hadoop/hadoop-2.4.0/data1,/usr/hadoop/hadoop-2.4.0/data2</value>
</property>
(3)第一次啓動文件系統前需格式化系統,即通過hadoop namenode -format或hdfs namenode -format
(4)使用start-dfs.sh來啓動hdfs服務
使用jps來看hdfs的進程是否已啓動,執行結果如下:
再通過web界面來查看namenode是否正常啓動默認地址:http://localhost:50070/
(5)測試hdfs是否可用
hadoop fs -ls /
hadoop fs -mkdir /zxb
hadoop fs -ls /zxb
hdfs dfs -put hadoop/ /zxb/input
hdfs dfs -ls /zxb/input
(6)設置單節點(etc/hadoop/yarn-site.xml)
gedit /usr/hadoop/hadoop-2.4.0/etc/hadoop/yarn-site.xml
在<configuration>節點中添加如下內容:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
(7)測試yarn的啓動和停止
sbin/start-yarn.sh
sbin/stop-yarn.sh