Hadoop集群部署总结(单机伪集群部署)

一、JAVA环境的安装
hadoop环境是一定需要有JAVA环境的,所以有一个关键的前提是安装JAVA环境并且对环境变量进行配置
安装JAVA
安装命令:
    rpm -ivh jdk-7u80-linux-x64.rpm
对环境变量进行配置
    home目录下有一个隐藏文件:.bash_profile
    export JAVA_HOME=/usr/java/jdk1.7.0_80
    export PATH=$PATH:$JAVA_HOME/bin
使配置的环境生效
    source .bash_profile
二、Hadoop安装
Hadoop是一个tar.gz的压缩包在上传服务器后,放到指定的目录,如:/root/software
解压命令
    tar -zxvf hadoop-2.5.1_x64.tar.gz
将Hadoop的环境信息写入到配置文件中
注意:需要把hadoop中的bin文件和sbin文件都 写入到配置文件中
export HADOOP_HOME=/root/software/hadoop-2.5.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
在Hadoop中需要把JAVA_HOME信息写入到环境配置文件中:hadoop-env.sh(这个文件位于hadoop解压目录下etc/hadoop中)
注意:这里必须要修改为绝对路径,否则在后续的操作过程中,hadoop会出现找不到java环境的情况
 
三、模拟分布式安装
上面已经完成了基本的安装,接下来在一台机器上做模拟分布式的安装(伪分布式安装)
Hadoop配置,有两个xml文件需要进行配置
    1.core-site.xml:这个文件主要用来配置访问hadoop集群的主要信息
    2.hdfs-site.xml:配置 HDFS的相关信息
core-site.xml(它位于:hadoop解压目录下etc/hadoop中)
在configuration节点下配置如下信息:
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://masternode:9000</value>
    </property>
这样外部可以通过hdfs://masternode:9000来找到集群
这里有几个点需要注意:
    1.masternode:这个可以使用IP来代替
    2.masternode是在hosts文件中进行配置的(/etc/hosts)
    3.在hosts文件是设置的名称必须要与主机的名称一致否则使用这个方式配置启动hadoop集群时会报错会找不到主机
 
hdfs-site.xml(它位于:hadoop解压目录下etc/hadoop中)
在configuration节点下配置如下信息
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
这里表示副本数是1
 
在完成上面操作后需要有一个特别注意的点需要补充操作如,否则后面在格式化HDFS时 可能会报错
    网上描述:Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。
把以需要进行下载native和配置native
下载native:
选择对应的版本,比如这里使用2.5.1版本的则可以下载:hadoop-native-64-2.5.0.tar
将下载的tar文件上传至服务器合适的目录(这个目录位置没有特别的要求),执行下面的命令进行文件的解压
     tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib/native
    tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib
注意:上面是两条命令,两条命令都需要执行到
配置native
    .bash_profile 文件进行配置信息的追加
    
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
    环境信息追加后,执行命令:source .bash_profile (目的:让配置生效)
    
完成上面的配置后,接下来可以进行HDFS的格式化操作
使用如下命令:
    hdfs namenode -format
 
格式化完成后则可以启动HDFS
    start-dfs.sh
启动完成后可地访问 如下链接
 
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章