本章介紹了分佈式環境中Hadoop多節點集羣的設置。
由於整個集羣無法演示,我們將使用三個系統(一個主節點和兩個從節點)解釋Hadoop集羣環境;下面給出他們的IP地址。
Hadoop Master:192.168.1.15(hadoop-master)
Hadoop Slave:192.168.1.16(hadoop-slave-1)
Hadoop Slave:192.168.1.17(hadoop-slave-2)
按照以下步驟進行Hadoop多節點羣集設置。
安裝Java
Java是Hadoop的主要先決條件。首先,您應該使用“java -version”驗證系統中是否存在java。java版本命令的語法如下。
$ java -version
如果一切正常,它會給你以下輸出。
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果系統中沒有安裝java,請按照給定的步驟安裝java。
步驟1
通過訪問以下鏈接下載java(JDK - X64.tar.gz)http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
然後 jdk-7u71-linux-x64.tar.gz 將下載到您的系統。
第2步
通常你會在下載文件夾中找到下載的java文件。使用以下命令驗證它並解壓縮jdk-7u71-linux-x64.gz文件。
$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz
$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz
第3步
要使java可用於所有用戶,您必須將其移動到位置“/ usr / local /”。打開根目錄,然後鍵入以下命令。
$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit
第4步
要設置PATH和JAVA_HOME變量,請將以下命令添加到〜/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin
現在如上所述從終端驗證java -version命令。按照上述過程並在所有集羣節點中安裝java。
創建用戶帳戶
在主系統和從系統上創建系統用戶帳戶以使用Hadoop安裝。
# useradd hadoop
# passwd hadoop
映射節點
您必須在所有節點上的/ etc / folder中編輯hosts文件,指定每個系統的IP地址,後跟其主機名。
# vi /etc/hosts
enter the following lines in the /etc/hosts file.
192.168.1.109 hadoop-master
192.168.1.145 hadoop-slave-1
192.168.56.1 hadoop-slave-2
配置基於Key的登錄
在每個節點中設置ssh,以便它們可以彼此通信,而不需要提示輸入密碼。
# su hadoop
$ ssh-keygen -t rsa
$ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2
$ chmod 0600 ~/.ssh/authorized_keys
$ exit
Hadoop安裝
在主服務器中,使用以下命令下載並安裝Hadoop。
# mkdir /opt/hadoop
# cd /opt/hadoop/
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz
# tar -xzf hadoop-1.2.0.tar.gz
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop
# cd /opt/hadoop/hadoop/
Hadoop配置
您必須通過進行以下更改來配置Hadoop服務器。
core-site.xml
打開core-site.xml文件並進行編輯,如下所示。
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000/</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
hdfs-site.xml
打開hdfs-site.xml文件並進行編輯,如下所示。
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/opt/hadoop/hadoop/dfs/name/data</value>
<final>true</final>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/hadoop/hadoop/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml中
打開mapred-site.xml文件並進行編輯,如下所示。
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>
hadoop-env.sh
打開hadoop-env.sh文件並編輯JAVA_HOME,HADOOP_CONF_DIR和HADOOP_OPTS,如下所示。
注意:根據系統配置設置JAVA_HOME。
export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf
在從屬服務器 Slave上安裝Hadoop
按照給定的命令在所有從屬服務器 Slave上安裝Hadoop。
# su hadoop
$ cd /opt/hadoop
$ scp -r hadoop hadoop-slave-1:/opt/hadoop
$ scp -r hadoop hadoop-slave-2:/opt/hadoop
在主服務器上配置Hadoop
打開主服務器並按照給定的命令配置它。
# su hadoop
$ cd /opt/hadoop/hadoop
配置主節點
$ vi etc/hadoop/masters
hadoop-master
配置從節點
$ vi etc/hadoop/slaves
hadoop-slave-1
hadoop-slave-2
格式命名Hadoop Master上的節點
# su hadoop
$ cd /opt/hadoop/hadoop
$ bin/hadoop namenode –format
11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = hadoop-master/192.168.1.109
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.0
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013
STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode:
SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/
啓動Hadoop服務
以下命令用於啓動Hadoop-Master上的所有Hadoop服務。
$ cd $HADOOP_HOME/sbin
$ start-all.sh
在Hadoop集羣中添加新的DataNode
下面給出了將新節點添加到Hadoop集羣時需要遵循的步驟。
網絡配置
通過一些適當的網絡配置向現有Hadoop集羣添加新節點。假設以下網絡配置。
對於新節點配置:
IP address : 192.168.1.103
netmask : 255.255.255.0
hostname : slave3.in
添加用戶和SSH訪問
添加用戶
在新節點上,通過使用以下命令將“hadoop”用戶和Hadoop用戶的密碼添加到“hadoop123”或任何您想要的密碼。
useradd hadoop
passwd hadoop
設置從主機到新從屬機的密碼關聯性低。
在主站上執行以下操作
mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub [email protected]:/home/hadoop/
在從站上執行以下操作
登錄到hadoop。如果沒有,登錄到hadoop用戶。
su hadoop ssh -X [email protected]
將公共密鑰的內容複製到文件“$ HOME / .ssh / authorized_keys”中,然後通過執行以下命令更改其權限。
cd $HOME
mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys
檢查主機的ssh登錄。現在檢查是否可以ssh到新節點沒有主密碼。
ssh [email protected] or hadoop@slave3
設置新節點的主機名
您可以在文件/etc /sysconfig /network中設置主機名
On new slave3 machine
NETWORKING=yes
HOSTNAME=slave3.in
要使更改生效,請重新啓動計算機或運行hostname命令到具有相應主機名的新計算機(重新啓動是一個好的選項)。
在slave3節點機器上:
主機名 slave3.in
使用以下行在集羣的所有計算機上更新/etc/hosts:
192.168.1.102 slave3.in slave3
現在嘗試用主機名ping機器,以檢查它是否正在解析到IP。
在新節點機器上:
ping master.in
在新節點上啓動DataNode
使用$HADOOP_HOME / bin / hadoop-daemon.sh script手動啓動datanode守護程序。它將自動聯繫主節點(NameNode)並加入集羣。我們還應該將新節點添加到主服務器中的conf / slaves文件。基於腳本的命令將識別新節點。
登錄新節點
su hadoop or ssh -X [email protected]
使用以下命令在新添加的從屬節點上啓動HDFS
./bin/hadoop-daemon.sh start datanode
在新節點上檢查jps命令的輸出。它看起來如下。
$ jps
7141 DataNode
10312 Jps
從Hadoop集羣中刪除DataNode
我們可以在運行時從羣集中刪除節點,而不會有任何數據丟失。HDFS提供了一個停用功能,確保安全地執行刪除節點。要使用它,請按照下面的步驟:
第1步:登錄master
登錄到安裝了Hadoop的主機用戶。
$ su hadoop
第2步:更改集羣配置
必須在啓動集羣之前配置排除文件。將名爲dfs.hosts.exclude的鍵添加到我們的$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中。與此鍵相關的值提供了NameNode本地文件系統上文件的完整路徑,該文件包含不允許連接到HDFS的計算機列表。
例如,將這些行添加到etc/hadoop/hdfs-site.xml文件。
<property>
<name>dfs.hosts.exclude</name>
<value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value>
<description>DFS exclude</description>
</property>
第3步:確定要停用的主機
要停用的每臺計算機都應添加到由hdfs_exclude.txt標識的文件中,每行一個域名。這將阻止他們連接到NameNode。如果要刪除DataNode2,“/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt”文件的內容如下所示。
slave2.in
第4步:步驟4:強制配置重新加載
運行命令
$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes
這將強制NameNode重新讀取其配置,包括新更新的“excludes”文件。它將在一段時間內停止節點,從而允許將每個節點的塊的時間複製到被調度爲保持活動的機器上。
在slave2.in上,檢查jps命令輸出。一段時間後,您將看到DataNode進程被自動關閉。
第5步:關閉節點
在停用過程完成後,停用的硬件可以安全關閉進行維護。運行report命令dfsadmin以檢查停用的狀態。以下命令將描述退役節點和連接到集羣的節點的狀態。
$ $HADOOP_HOME/bin/hadoop dfsadmin -report
第6步:編輯再次排除文件
一旦計算機已停用,它們可以從“excludees”文件中刪除。再次運行
$ HADOOP_HOME / bin / hadoop dfsadmin -refreshNodes
會將excludees文件讀回NameNode;允許DataNodes在維護完成後重新加入羣集,或者在羣集中再次需要額外的容量等。
特別注意:如果遵循上述過程,並且tasktracker進程仍在節點上運行,則需要關閉它。一種方法是斷開機器,就像我們在上面的步驟。
tasktracker可以在任何時間點通過以下命令即時運行/關閉。Master將自動識別過程,並宣佈爲死亡。沒有必要遵循相同的過程來刪除tasktracker,因爲它與DataNode相比並不重要。DataNode包含要安全刪除的數據,而不會有任何數據丟失。
tasktracker可以在任何時間點通過以下命令即時運行/關閉。
$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker