一、安裝環境
操作系統:
CentOS7.2.1511hadoop版本:
2.7.3節點信息:
角色 | 地址 |
---|---|
Namenode | 192.168.1.182 |
Datanode | 192.138.1.186 |
Datanode | 192.168.1.122 |
二、安裝jdk
安裝jdk8,注意:hadoop2.x,必須是jdk8
curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u71-b15/jdk-8u71-linux-x64.rpm"
安裝jdk
rpm -Uvh jdk-8u71-linux-x64.rpm
配置環境變量
打開/etc/profile
,在文件最後面添加如下內容
export JAVA_HOME=/usr/java/default export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
最後,source /etc/profile
三、設置hostname
三個節點都配置
192.168.1.182 hadoop-namenode 192.168.1.186 hadoop-datanode-1 192.168.1.122 hadoop-datanode-2
四、配置密鑰對,可以免密執行。
生成SSH KEY並將其拷貝到各個節點主機上
依次執行如下命令:
ssh-keygen ssh-copy-id localhost #免密鑰登錄本機 ssh-copy-id hadoop-datanode-1 ssh-copy-id hadoop-datanode-2
五、安裝hadoop(三個節點都配置)
#下載2.7.3版本hadoopcurl -O #安裝到/usr/hadoop目錄 tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop --strip-components 1
1、配置環境變量
export HADOOP_HOME=/usr/hadoop export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin source ~/.bashrc
2、配置datenode文件目錄(三個節點都配置)
cd /usr/hadoop/ mkdir datanode
3、配置hdfs(三個節點都配置)
打開~/etc/hadoop/hdfs-site.xml
文件,在<configuration> - </configuration>
之間添加如下內容:
<property> <name>dfs.replication</name> <value>2</value> <description>副本個數,默認是3,應小於datanode機器數量</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///usr/hadoop/datanode</value> <description>datanode上數據塊的物理存儲位置</description> </property>
4、主節點增加內容(只有namenode節點)
在namenode節點,打開~/etc/hadoop/hdfs-site.xml
文件,新增如下內容:
<property> <name>dfs.namenode.name.dir</name> <value>file:///usr/hadoop/datanode/name</value> <description>namenode上存儲hdfs名字空間元數據 </description> </property>
5、配置hadoo core(三個節點都配置)
打開~/etc/hadoop/core-site.xml
文件,在<configuration> - </configuration>之間添加如下內容:
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop-namenode:9000/</value> </property>
6、在hadoop中設置JAVA_HOME
環境變量(三個節點都配置)
首先通過如下命令在本機修改hadoop-env.sh
文件中的環境變量:
sed -i -e 's/\${JAVA_HOME}/\/usr\/java\/default/' hadoop-env.sh
7、配置map-reduce(只在namenode節點配置)
打開~/etc/hadoop/mapred-site.xml
文件,新增如下內容:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <description>指定mapreduce使用yarn框架</description> </property> </configuration>
8、配置yarn
首先打開~/etc/hadoop/yarn-site.xml文件,在<configuration> - </configuration>之間添加如下內容:
<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-namenode</value> <description>指定resourcemanager所在的hostname</description> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> <description>NodeManager上運行的附屬服務。需配置成mapreduce_shuffle,纔可運行MapReduce程序</description> </property>
9、配置slave
打開etc/hadoop/slaves文件,添加如下內容:
hadoop-namenode hadoop-datanode-1 hadoop-datanode-2
10、在Namenode上運行如下命令,分別啓動hdfs和yarn服務
初始化:hdfs namenode -format start-dfs.sh start-yarn.sh
11、驗證
在Namenode上運行jps
命令,應該會看到如下進程
NameNode SecondaryNameNode NodeManager DataNode ResourceManager Jps
在Datanode上運行jps
命令,應該會看到如下進程:
NodeManager Jps DataNode
12、web界面
192.168.1.182:50070
192.168.1.182:8088
總結:
安裝步驟
1、配置jdk
2、配置ssh
3、安裝hadoop
4、配置hfds-site.xml,注意,主節點比其他節點多內容。
5、配置core-site.xml,三個節點都配置
6、配置yarn-site.xml,三個節點都配置
7、配置mapred-site.xml,主節點配置
錯誤:
錯誤1:
多次format導致id識別失敗
處理方法:刪除datanode目錄,或者重命名目錄。
重命名了一下各個數據節點DataNode