Linux安裝,環境搭建:
1.安裝VM
2.安裝CentOS_6.5虛擬機,硬盤空間設置爲10G
3.設置網絡連接:選擇VM-編輯-虛擬網絡編輯器-更改設置,選擇名稱VMnet8移除網絡,再添加VMnet8網絡,選擇NAT模式,點擊應用
4.設置虛擬機網絡連接:右擊虛擬機右下角網絡適配器-設置-網絡適配器,先選擇橋接模式,再選擇NAT模式,對IP網段進行自動獲取
5.設置虛擬機IP地址,用root用戶:cd /etc/sysconfig/network-scripts/,vim ifcfg-eth0,
DEVICE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.111.10
NETMASK=255.255.255.0
GATEWAY=192.168.111.2
DNS1=202.103.24.68
6.重啓網絡服務:/etc/init.d/network restart
7.驗證IP設置是否成功:ifconfig
8.驗證是否可以上網:curl www.baidu.com
9.複製兩份虛擬機文件,分別作爲slave1和slave2,在VM中打開這兩臺slave虛擬機
10.修改兩臺slave虛擬機的IP設置:進入/etc/sysconfig/network-scripts/ifcfg-eth0文件,修改IP地址,然後選擇虛擬機的網絡適配器,刪除再添加,重新獲取MAC,然後重啓網絡服務器:/etc/init.d/network restart,查看是否能上網
11.設置共享文件夾:VM虛擬機-設置-選項-共享文件夾,Linux路徑:/mnt/hgfs/
安裝jdk
12.安裝jdk和hadoop:拷貝jdk和Hadoop到/usr/local/src/目錄下,
cp hadoop-1.2.1-bin.tar.gz /usr/local/src/
cp jdk-6u45-linux-x64.bin /usr/local/src/
進入/usr/local/src/目錄,運行 ./jdk-6u45-linux-x64.bin
13.添加環境變量:vim ~/.bashrc,添加:
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
14.運行source ~/.bashrc
15.運行java查看是否安裝成功
16.將jdk遠程複製到其他兩臺slave虛擬機上:
scp -rp jdk-6u45-linux-x64.bin 192.168.111.11:/usr/local/src/
scp -rp jdk-6u45-linux-x64.bin 192.168.111.12:/usr/local/src/
17.在兩臺slave虛擬機上安裝jdk,重新執行步驟12~15
安裝Hadoop
18.安裝Hadoop:解壓Hadoop
tar xvzf hadoop-1.2.1-bin.tar.gz
19.進入hadoop-1.2.1文件夾:cd hadoop-1.2.1
20.創建tmp文件夾:mkdir tmp
21.進入conf文件夾:cd conf/
22.修改配置文件:master和slave,master文件里加master,slave文件里加slave1,slave2
23.修改core-site.xml文件:vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.111.10:9000</value>
</property>
</configuration>
24.修改mapred-site.xml文件:vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.111.10:9001</value>
</property>
</configuration>
25.修改hdfs-site.xml文件:vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
26.修改hadoop-env.sh文件:vim hadoop-env.sh 在最後加上java_home:
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
本地配置
27.本地網絡配置:vim /etc/hosts,添加:
192.168.111.10 master
192.168.111.11 slave1
192.168.111.12 slave2
28.輸入hostname master,使配置立即生效
29.修改hostname:vim /etc/sysconfig/network
HOSTNAME=master
30.將master上修改好的文件遠程拷貝到slave1和slave2上:
scp -rp hadoop-1.2.1 192.168.111.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.111.12:/usr/local/src/
31.修改slave1和slave2的本地網絡配置,重複步驟27~29
32.關閉防火牆,每臺虛擬機上執行:/etc/init.d/iptables stop,此種方法爲臨時關閉,如果遇到虛擬機重啓,會失效,需要重新執行步驟32~35
33.檢查防火牆是否關閉:iptables -L
34.每臺虛擬機上執行:setenforce 0
35.檢查,每臺虛擬機上執行:getenforce
互信關係
36.虛擬機之間建立互信關係:
在虛擬機上執行:ssh-keygen
進入目錄:cd ~/.ssh/
拷貝公鑰:cat id_rsa.pub > authorized_keys
將slave1和slave2的id_rsa.pub複製到中,並複製給slave1和slave2:
scp -rp authorized_keys slave1:~/.ssh/
scp -rp authorized_keys slave2:~/.ssh/
啓動Hadoop集羣
37.進入hadoop-1.2.1/bin目錄,啓動Hadoop集羣:
格式化:hadoop初始化 ./hadoop namenode -format
啓動hadoop集羣 ./start-all.sh
查看進程:jps