ubuntu搭建hadoop伪分布式环境随笔记录

查看ubuntu系统:lsb_release -a

下载jdk-8u221-linux-x64.tar.gz和hadoop-2.7.7.tar.gz放在/work文件夹下

解压:

    tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/lib/jvm

    tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local

安装jdk:环境变量的修改在~/.bashrc中,仅针对当前用户,如果修改/etc/profile则针对所有用户。  

    配置环境变量:vi /etc/profile

    export JAVA_HOME=/usr/lib/jvm/jdk
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

    使配置立即生效:source /etc/profile

    检测:java -version

    

安装hadoop:搭建Hadoop伪分布式(单节点集群)

    配置环境变量:vi /etc/profile ,此处PATH兼容了jdk的配置

    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$JAVA_HOME:$HADOOP_HOME/bin

    使配置立即生效:source /etc/profile

    检测:hadoop

    

单节点集群搭建:在hadoop安装目录,cd etc/hadoop

    1、修改hadoop-env.sh,配置JAVA_HOME

    vi hadoop-env.sh,设置以下值

    export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_221

    2、修改core-site.xml,在hadoop安装目录,mkdir temp 新建目录

    在<configuration></configuration>标签中改为如下代码:

    

   3、修改hdfs-site.xml

    在<configuration></configuration>标签中添加如下代码:

    

    4、设置ssh无密码登录

    在搭建hadoop过程中需要使用SSH的RSA认证方法使集群中的主机省去密码登录

    首先需要安装open-ssh服务sudo apt-get install openssh-server

    在本机生成密钥对`ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

    将公钥放到自动认证的xx文件中(我也不太懂) cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    5、格式化文件系统。执行hadoop中bin目录下的hdfs namenode -format 指令

    6、开启节点守护进程。执行hadoop 中sbin 目录下的start-dfs.sh 指令:

    7、使用jps查看进程启动情况:jps

    

    8、浏览器输入地址:http://192.168.0.117:50070,出现如下结果,说明搭建成功。

    

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章