Linux環境搭建Hadoop僞分佈模式

Hadoop有三種分佈模式:單機模式、僞分佈、全分佈模式,相比於其他兩種,僞分佈是最適合初學者開發學習使用的,可以瞭解Hadoop的運行原理,是最好的選擇。接下來,就開始部署環境

首先要安裝好Linux環境,可以是真機,也可以是虛擬機,我的環境是VMWare下安裝的CentOS 6.3的虛擬機,如果你還沒有安裝好Linux環境,可以參考我的另一篇文章: window7環境下VMWare自定義安裝Linux虛擬機完全教程,希望可以幫到你。


等你安裝好了Linux環境,我們就可以真正開始部署hadoop了。

需要準備好Linux版本的jdk和hadoop的壓縮包,可以分別去官網下載,我也提供我的資源給大家參考:鏈接:http://pan.baidu.com/s/1mhKixFq 密碼:6lqt;


1.添加用戶和組,並上傳文件

  • 用管理員root登錄Linux,創建hadoop用戶組:groupadd hadoop,
  • 創建用戶:useradd hadoop -g hadoop ,
  • 使用傳輸軟件將到Linux系統的任意目錄下,如/root/sethadoop;
  • 使用命令:su hadoop切換用戶,查看是否創建成功,出現[root@localhost ~]表示創建成功;
  • 然後exit退出到root用戶。
  • (注:在學習安裝Hadoop之前,最好學習和熟悉一下Linux的常用命令)。

2.Host的配置

vim /etc/hosts 進入配置文件,添加linux主機的ip地址和主機名;需要查看你自己的主機名,ifconfig;


vim /etc/sysconfig/network,設置主機名,以後所有的主機名都必須統一;
source /etc/sysconfig/network ,重新加載配置文件後生效;

logout 登出後重新登錄,發現主機名變爲[root@master ~]#


3.SSH和無密碼登錄

安裝SSH客戶端:yum -y install openssh-client;
輸入ssh localhost ,出現提示信息,輸入yes


切換到hadoop用戶,su hadoop;
生成無密碼的‘公私鑰’:
ssh-keygen -t dsa -P '' -f ~/ssh/id_dsa
cat ~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys


修改權限:chmod 600 ~/.ssh/authorized_keys,chmod 700 .ssh/

測試一下,ssh master,-》yes,然後退出hadoop登錄,exit


4.JDK的安裝


進入到jdk安裝包存放的目錄下,我的是/root/set,

創建安裝Java的目錄,mkdir /usr/java

解壓到/usr/java:tar -zxvf jdk-7u9-linux-i586.tar.gz -C /usr/java

爲Java安裝目錄建一個軟連接,方便使用:ln -s jdk1.7.0_09/ jdk 

(以上操作都視你的jdk版本和存儲位置而定,切忌照搬)

修改環境變量,vim /etc/profile ,在文件末尾添加如下信息,也可再添加

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar;

有過window中jdk安裝經驗的童鞋會比較熟悉的。


退出保存文件,重新加載配置文件,source /etc/profile.

驗證Java是否安裝成功:java -version,這個有Java開發經驗的都知道吧。。。


5.hadoop的安裝


使用root用戶登錄,進入你的hadoop壓縮包的目錄,

解壓:tar -zxvf hadoop-1.0.4.tar.gz -C /opt/,解壓目錄/usr/也行,根據自己選擇;

進入/opt目錄下,更改一下文件夾的名字,方便使用,mv hadoop-1.0.4/ hadoop/;

修改用戶組和權限:chown -R hadoop:hadoop hadoop/

登錄hadoop用戶,su hadoop;

配置 vim conf/hadoop-env.sh,在末尾添加:


第二個變量可以不是256M,根據你的內存大小而定,也可以是512M或更大;

配置 vim conf/core-site.xml 在<configuration>中添加:


配置vim conf/hdfs-site.xml,如下,由於是僞分佈式,所以replication配1就行


配置 conf/mapred-site.xml:主機名要一致;


配置輔助接點名稱,conf/masters,就添加一個master就行

配置子節點,conf/slave 也是添加一個master就行

經過以上步驟,hadoop的配置文件就全部配置好了,不要忘記:wq退出保存哦。

格式化分佈式文件系統:進入hadoop的bin目錄,

執行 ./hadoop namenode -format,完成後是這樣的:


啓動hadoop集羣:./start-all.sh,


檢查hadoop結點是否全部啓動成功:共6個結點,一個都不能少,

如果哪個結點沒有出現,說明其出錯了,請進入logs目錄下的日誌文件查看相應的日誌文件,並修改,

具體方法請查看其它網絡資源;


查看hadoop集羣的狀態信息:

在瀏覽器地址欄輸入:http://192.168.64.128:50070/ (ip是你自己服務器的ip)


出現上圖信息,說明你的hadoop僞分佈模式就配置成功了!

(注:如果運行jps沒有問題,而上面的頁面加載不出來的話,請試着關閉防火牆:service iptables stop)

發佈了25 篇原創文章 · 獲贊 9 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章