Hadoop分佈式集羣搭建

Linux安裝,環境搭建:

1.安裝VM

2.安裝CentOS_6.5虛擬機,硬盤空間設置爲10G

3.設置網絡連接:選擇VM-編輯-虛擬網絡編輯器-更改設置,選擇名稱VMnet8移除網絡,再添加VMnet8網絡,選擇NAT模式,點擊應用

4.設置虛擬機網絡連接:右擊虛擬機右下角網絡適配器-設置-網絡適配器,先選擇橋接模式,再選擇NAT模式,對IP網段進行自動獲取

5.設置虛擬機IP地址,用root用戶:cd /etc/sysconfig/network-scripts/,vim ifcfg-eth0,

DEVICE="eth0"

BOOTPROTO="static"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR=192.168.111.10

NETMASK=255.255.255.0

GATEWAY=192.168.111.2

DNS1=202.103.24.68

6.重啓網絡服務:/etc/init.d/network restart

7.驗證IP設置是否成功:ifconfig

8.驗證是否可以上網:curl www.baidu.com

9.複製兩份虛擬機文件,分別作爲slave1和slave2,在VM中打開這兩臺slave虛擬機

10.修改兩臺slave虛擬機的IP設置:進入/etc/sysconfig/network-scripts/ifcfg-eth0文件,修改IP地址,然後選擇虛擬機的網絡適配器,刪除再添加,重新獲取MAC,然後重啓網絡服務器:/etc/init.d/network restart,查看是否能上網

11.設置共享文件夾:VM虛擬機-設置-選項-共享文件夾,Linux路徑:/mnt/hgfs/


安裝jdk

12.安裝jdk和hadoop:拷貝jdk和Hadoop到/usr/local/src/目錄下,

cp hadoop-1.2.1-bin.tar.gz /usr/local/src/

cp jdk-6u45-linux-x64.bin /usr/local/src/

進入/usr/local/src/目錄,運行 ./jdk-6u45-linux-x64.bin

13.添加環境變量:vim ~/.bashrc,添加:

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

14.運行source ~/.bashrc

15.運行java查看是否安裝成功

16.將jdk遠程複製到其他兩臺slave虛擬機上:

scp -rp jdk-6u45-linux-x64.bin 192.168.111.11:/usr/local/src/

scp -rp jdk-6u45-linux-x64.bin 192.168.111.12:/usr/local/src/

17.在兩臺slave虛擬機上安裝jdk,重新執行步驟12~15


安裝Hadoop

18.安裝Hadoop:解壓Hadoop

tar xvzf hadoop-1.2.1-bin.tar.gz

19.進入hadoop-1.2.1文件夾:cd hadoop-1.2.1

20.創建tmp文件夾:mkdir tmp

21.進入conf文件夾:cd conf/

22.修改配置文件:master和slave,master文件里加master,slave文件里加slave1,slave2

23.修改core-site.xml文件:vim core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/src/hadoop-1.2.1/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.111.10:9000</value>

</property>

</configuration>

24.修改mapred-site.xml文件:vim mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>http://192.168.111.10:9001</value>

</property>

</configuration>

25.修改hdfs-site.xml文件:vim hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

26.修改hadoop-env.sh文件:vim hadoop-env.sh 在最後加上java_home:

export JAVA_HOME=/usr/local/src/jdk1.6.0_45


本地配置

27.本地網絡配置:vim /etc/hosts,添加:

192.168.111.10 master

192.168.111.11 slave1

192.168.111.12 slave2

28.輸入hostname master,使配置立即生效

29.修改hostname:vim /etc/sysconfig/network

HOSTNAME=master

30.將master上修改好的文件遠程拷貝到slave1和slave2上:

scp -rp hadoop-1.2.1 192.168.111.11:/usr/local/src/

scp -rp hadoop-1.2.1 192.168.111.12:/usr/local/src/

31.修改slave1和slave2的本地網絡配置,重複步驟27~29

32.關閉防火牆,每臺虛擬機上執行:/etc/init.d/iptables stop,此種方法爲臨時關閉,如果遇到虛擬機重啓,會失效,需要重新執行步驟32~35

33.檢查防火牆是否關閉:iptables -L

34.每臺虛擬機上執行:setenforce 0

35.檢查,每臺虛擬機上執行:getenforce


互信關係

36.虛擬機之間建立互信關係:

在虛擬機上執行:ssh-keygen

進入目錄:cd ~/.ssh/

拷貝公鑰:cat id_rsa.pub > authorized_keys

將slave1和slave2的id_rsa.pub複製到中,並複製給slave1和slave2:

scp -rp authorized_keys slave1:~/.ssh/

scp -rp authorized_keys slave2:~/.ssh/


啓動Hadoop集羣

37.進入hadoop-1.2.1/bin目錄,啓動Hadoop集羣:

格式化:hadoop初始化   ./hadoop namenode -format

啓動hadoop集羣   ./start-all.sh

查看進程:jps


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章