查看ubuntu系统:lsb_release -a
下载jdk-8u221-linux-x64.tar.gz和hadoop-2.7.7.tar.gz放在/work文件夹下
解压:
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/lib/jvm
tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local
安装jdk:环境变量的修改在~/.bashrc中,仅针对当前用户,如果修改/etc/profile则针对所有用户。
配置环境变量:vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使配置立即生效:source /etc/profile
检测:java -version
安装hadoop:搭建Hadoop伪分布式(单节点集群)
配置环境变量:vi /etc/profile ,此处PATH兼容了jdk的配置
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME:$HADOOP_HOME/bin
使配置立即生效:source /etc/profile
检测:hadoop
单节点集群搭建:在hadoop安装目录,cd etc/hadoop
1、修改hadoop-env.sh,配置JAVA_HOME
vi hadoop-env.sh,设置以下值
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_221
2、修改core-site.xml,在hadoop安装目录,mkdir temp 新建目录
在<configuration></configuration>标签中改为如下代码:
3、修改hdfs-site.xml
在<configuration></configuration>标签中添加如下代码:
4、设置ssh无密码登录
在搭建hadoop过程中需要使用SSH的RSA认证方法使集群中的主机省去密码登录
首先需要安装open-ssh服务sudo apt-get install openssh-server
在本机生成密钥对`ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
将公钥放到自动认证的xx文件中(我也不太懂) cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
5、格式化文件系统。执行hadoop中bin目录下的hdfs namenode -format 指令
6、开启节点守护进程。执行hadoop 中sbin 目录下的start-dfs.sh 指令:
7、使用jps查看进程启动情况:jps
8、浏览器输入地址:http://192.168.0.117:50070,出现如下结果,说明搭建成功。