Ubuntu上搭建Hadoop環境


單機模式(standalone)
單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時,Hadoop無法瞭解硬件安裝環境,便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均爲空。當配置文件爲空時,Hadoop會完全運行在本地。因爲不需要與其他節點交互,單機模式就不使用HDFS,也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。


僞分佈模式(Pseudo-Distributed Mode)
僞分佈模式在“單節點集羣”上運行Hadoop,其中所有的守護進程都運行在同一臺機器上。該模式在單機模式之上增加了代碼調試功能,允許你檢查內存使用情況,HDFS輸入輸出,以及其他的守護進程交互。
全分佈模式(Fully Distributed Mode)

Hadoop守護進程運行在一個集羣上。
版本:Ubuntu 13.04,Hadoop 1.2.0

1.添加hadoop用戶到系統用戶
安裝前要做一件事——添加一個名爲hadoop到系統用戶,專門用來做Hadoop測試。

~$ sudo addgroup hadoop  
~$ sudo adduser --ingroup hadoop hadoop 

現在只是添加了一個用戶hadoop,它並不具備管理員權限,因此我們需要將用戶hadoop添加到管理員組:

~$ sudo usermod -aG admin hadoop 


2、安裝JDK

教程很多,參考http://www.linuxidc.com/Linux/2012-11/74189.htm。這裏不多說。我安裝的是JDK 1.7 64位版本


3.安裝ssh

由於Hadoop用ssh通信,先安裝ssh

sudo apt-get install openssh-server 

ssh安裝完成以後,先啓動服務:

sudo /etc/init.d/ssh start

啓動後,可以通過如下命令查看服務是否正確啓動:

ps -e | grep ssh

130616110229271.png

建立ssh無密碼登錄本機.首先要轉換成hadoop用戶:

01.su - hadoop

作爲一個安全通信協議,使用時需要密碼,因此我們要設置成免密碼登錄,生成私鑰和公鑰:

hadoop@scgm-ProBook:~$ ssh-keygen -t rsa -P ""

130616110491243.png

因爲我已有私鑰,所以會提示是否覆蓋當前私鑰。第一次操作時會提示輸入密碼,按Enter直接過,這時會在~/home/{username}/.ssh下生成兩個文件:id_rsa和id_rsa.pub,前者爲私鑰,後者爲公鑰,現在我們將公鑰追加到authorized_keys中(authorized_keys用於保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容):

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

現在可以登入ssh確認以後登錄時不用輸入密碼:

ssh localhost

130616110491241.png

登出:

exit

第二次登錄:

ssh localhost

130616110491242.png

登出:

exit

這樣以後登錄就不用輸入密碼了。

 

4.安裝Hadoop

官網下載hadoop源文件,這裏選擇hadoop 1.2.0

解壓並放到你希望的目錄中。我是放到/usr/local/hadoop

sudo tar xzf hadoop-1.2.0.tar.gz 

sudo mv hadoop-1.2.0 /usr/local/hadoop 

 要確保所有的操作都是在用戶hadoop下完成的:

sudo chown -R hadoop:hadoop /usr/local/hadoop

5.設定hadoop-env.sh(Java 安裝路徑)

進入hadoop目錄,打開conf目錄下到hadoop-env.sh,添加以下信息:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 (視你機器的java安裝路徑而定) 

export HADOOP_HOME=/usr/local/hadoop 

export PATH=$PATH:/usr/local/hadoop/bin 

並且,讓環境變量配置生效source

source /usr/local/hadoop/conf/hadoop-env.sh

下面是僞分佈模式需要的一些配置,繼續。

6.設定*-site.xml

 這裏需要設定3個文件:core-site.xml,hdfs-site.xml,mapred-site.xml,都在/usr/local/hadoop/conf目錄下

 core-site.xml:  Hadoop Core的配置項,例如HDFS和MapReduce常用的I/O設置等。

 hdfs-site.xml:  Hadoop 守護進程的配置項,包括namenode,輔助namenode和datanode等。

 mapred-site.xml: MapReduce 守護進程的配置項,包括jobtracker和tasktracker。

首先在hadoop目錄下新建幾個文件夾

01. ~/hadoop$ mkdir tmp 

02. ~/hadoop$ mkdir hdfs 

03. ~/hadoop$ mkdir hdfs/name 

04. ~/hadoop$ mkdir hdfs/data

接下來編輯那三個文件:

130616111939741.png

core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>
</configuration>

mapred-site.xml:

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

7.格式化HDFS

通過以上步驟,我們已經設定好Hadoop單機測試到環境,接着就是啓動Hadoop到相關服務,格式化namenode,secondarynamenode,tasktracker:

source /usr/local/hadoop/conf/hadoop-env.sh

hadoop namenode -format

130616112195251.png

130616112195252.png


8.啓動Hadoop

接着執行start-all.sh來啓動所有服務,包括namenode,datanode,start-all.sh腳本用來裝載守護進程。

01.hadoop@Ubuntu:/usr/local/hadoop$ cd bin 
02.hadoop@ubuntu:/usr/local/hadoop/bin$ start-all.sh

130616112597681.png

用Java的jps命令列出所有守護進程來驗證安裝成功

hadoop@ubuntu:/usr/local/hadoop$ jps 

出現如下列表,表明成功

130616112597682.png

9.檢查運行狀態
 所有的設置已完成,Hadoop也啓動了,現在可以通過下面的操作來查看服務是否正常,在Hadoop中用於監控集羣健康狀態的Web界面:
 http://localhost:50030/    - Hadoop 管理介面
 http://localhost:50060/    - Hadoop Task Tracker 狀態
 http://localhost:50070/    - Hadoop DFS 狀態
Hadoop 管理介面:

130616112597683.pngHadoop Task Tracker 狀態:

130616112597684.png

Hadoop DFS 狀態:130616112597685.png

至此,hadoop的僞分佈模式已經安裝成功.

當Hadoop結束時,可以通過stop-all.sh腳本來關閉Hadoop的守護進程

hadoop@ubuntu:/usr/local/hadoop$ bin/stop-all.sh

10.結語

單機模式和僞分佈模式均用於開發和調試的目的。真實Hadoop集羣的運行採用的是第三種模式,即全分佈模式。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章