Hadoop伪分布式部署

目录

• Hadoop伪分布式
• 所需文件
• jdk配置
• ssh免密登陆
• Hadoop环境变量
• 配置Hadoop相关文件
  • hadoop-env.sh
  • core-site.xml
  • hdfssite.xml
  • mapred-site.xml
  • yarn-site.xml
• 启动Hadoop

Hadoop伪分布式

Hadoop伪分布式，单节点，Hadoop的守护进程(NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker)全部运行在一个节点上，相互独立，模拟一个集群。

所需文件

jdk-8u231-linux-x64.tar.gz
hadoop-3.2.1.tar.gz

jdk配置

软件包都在opt目录里

ln -s jdk1.8.0_231 jdk   #感觉文件名字太长可以创建一个软链接容易记忆

vim /etc/profile                 #编辑系统配置文件
export JAVA_HOME=/opt/jdk        #在文件最后添加配置
export PATH=$PATH:$JAVA_HOME/bin 

网上好多都配置了classpath其实早在jdk1.5官方就已经说明不必配置classpath

source /etc/profile  #配置后需要执行一下才能生效,使用jps命令验证成功

ssh免密登陆

ssh-keygen -t rsa  #使用此命令一直回车，密钥及公钥就存在/root/.ssh里

cd /root/.ssh			
cat id_rsa.pub >> authorized_keys    #授权密钥

ssh root@ip地址      #无需密码就可以登陆进去表示成功，exit退出

Hadoop环境变量

tar -zxvf hadoop-3.2.1.tar.gz		#同jdk配置一样，解压压缩包
ln -s hadoop-3.2.1 hadoop			#创建软链接
vim /etc/profile                    #配置环境变量
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME=/sbin
source /etc/profile					#执行文件，命令行输入hadoop验证配置成功

配置Hadoop相关文件

说明：此处配置可以参考官网的默认配置来配置
Hadoop配置文件全部在 /opt/hadoop/etc/hadoop
本文所出现的weekeight可换成自己的hostname

hadoop-env.sh

vim hadoop-env.sh			#在此文件再次配置Java的路径

core-site.xml

core-site.xml的全部默认配置项,可进行参考来配置
在文件的最后的configuration标签里添加一下配置
1.指定HDFS的的路径地址
2.hadoop的工作目录，存放hadoop进程的临时文件

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://weekeight:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/var/hadoop</value>
</property>

hdfssite.xml

hdfssite.xml的全部默认配置项,可进行参考来配置
1.指定副本数（默认为3，伪分布式指定1就行）
2.指定namenode当前数据的目录(路径需为hadoop.tmp.dir配置的目录下)
3.指定datanode当前数据的目录（同上）
4.namenode将监听的地址和基本端口(3.0以后的端口都是9870，之前版本大多50070)

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/var/hadoop/dfs/name</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/var/hadoop/dfs/data</value>
</property>
<property>
        <name>dfs.namenode.http-address</name>
        <value>weekeight:9870</value>
</property>

mapred-site.xml

mapred-site.xml的全部默认配置项,可进行参考来配置
1.执行MapReduce时官方默认的为local（本地）

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

yarn-site.xml

yarn-site.xml的全部默认配置项,可进行参考来配置

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

启动Hadoop

所有的配置都已经配置完了，我们剩下的步骤只剩格式化，启动，验证。

格式化,出现图中字样格式化成功。

hdfs namenode -format			#格式化

start-dfs.sh      #启动,启动后使用jps验证

启动时出现错误，参考Hadoop单点安装FAQ

也可以在网站上打开weekeight:9870(此处为自己设置的)

可以打开表示部署成功。