1、安裝環境:
- 硬件:VMware虛擬機
- 操作系統:Centos 7 64位
- IP:192.168.1.134
- 主機名:bogon
- 安裝用戶:hzq
- Java環境:jdk-8u131-linux-x64.tar.gz(具體安裝步驟見:《Linux安裝JDK步驟》)
2、配置免密碼登錄見:《Linux之ssh免密登錄》
3、安裝hadoop-2.8.0
①、下載hadoop-2.8.0
下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
②、創建安裝目錄及數據存儲目錄,安裝位置“/home/hzq/hadoop”
mkdir /home/hzq/hadoop
mkdir /home/hzq/hadoop/data
③、解壓“hadoop-2.8.0.tar.gz”到“/home/hzq/hadoop”文件中:
tar -zxvf hadoop-2.8.0.tar.gz -C /home/hzq/hadoop/
④、配置“/etc/profile”文件,添加如下代碼:
HADOOP_HOME=/home/hzq/hadoop/hadoop-2.8.0
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH HADOOP_HOME
如圖:
配置完成後保存,使用下面命令使配置文件生效:
source /etc/profile
⑤、配置hadoop
進入/home/hzq/hadoop/hadoop-2.8.0/etc/hadoop目錄,修改如下文件:
- 配置:hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/home/hzq/software/jdk1.8.0_131
- 配置:core-site.xml
<configuration>
<!-- 指定HADOOP所使用的文件系統schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://logon:9000</value>
</property>
<!-- 指定hadoop運行時產生文件的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hzq/hadoop/data</value>
</property>
</configuration>
- 配置:hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- 配置:“mapred-site.xml“文件,但是我們發現沒有這個文件,有一個“mapred-site.xml.template”文件,我們將其修改成“mapred-site.xml”文件,進行配置。
<configuration>
<!-- 指定mr運行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 配置:yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bogon</value>
</property>
<!-- reducer獲取數據的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4、啓動hadoop
①、格式化namenode
hadoop namenode -format
如圖:表示成功
②、啓動NameNode和DataNode守護進程
start-dfs.sh
使用“jps”查看是否啓動完成:
③、啓動“yarn”:
start-yarn.sh
使用“jps”查看是否啓動完成:
5、驗證是否啓動成功
使用“jps”命令驗證:
http://192.168.1.134:50070 (HDFS管理界面)
http://192.168.1.134:8088 (MR管理界面)
總結:初學hadoop,望路過大神不喜勿噴!!!