hadoop集羣配置


1 軟件準備
ubuntu 11.10 
Hadoop 1.0
jdk-6u29-linux-i586
虛擬機VMWare8.0
2 環境配置
安裝ubuntu
3 基本環境配置
命名機器爲:hadoopnamenode(etc目錄下的hostname文件)
對應IP地址爲:192.168.12.10(界面方式配置:systemsetting-Network)

4 ssh安裝
ssh進程查看 ssh -V
sudo apt-get update(下載軟件包)
sudo apt-get install openssh-server(安裝ssh)
5 克隆另外兩臺機器:
hadoopdatanode1(192.168.12.11),hadoopdatanode2(192.168.12.12)
修改方式參照3
6 配置ssh的無密碼訪問
首先需要在各臺機器上創建grid帳戶,登錄各臺機器後,創建目錄.ssh(登錄shell後直接mkdir .ssh)。
然後執行:
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
scp authorized_keys hadoopdatanode1:/home/grid/.ssh
scp authorized_keys hadoopdatanode2:/home/grid/.ssh
chmod 644 authorized_keys 
之後得到hadoopnamenode到hadoopdatanode1和hadoopdatanode2的無密碼訪問。
7 安裝java
將jdk-6u29-linux-i586安裝到usr/java目錄下,並配置JAVA_HOME到/etc/profile。

8 解壓hadoop1.0
切換到grid用戶
cd home/grid
tar -zxvf hadoop-1.0.0.tar.gz
將hadoop目錄下的conf內的hadoop.env.sh配置文件增加
export JAVA_HOME = /usr/java/jdk1.7.0
9 hadoop文件分佈
將hadoop文件分別傳至各個datanode的home/grid下
10 服務啓動
/bin/hadoop namenode -format
/bin/start-all.sh
11 測試wordcount程序


發佈了42 篇原創文章 · 獲贊 9 · 訪問量 12萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章