hadoop3.0+centos7.4單機安裝教程

參考教程
http://blog.csdn.net/cafebar123/article/details/73500014
相關下載
hive下載地址
http://mirrors.hust.edu.cn/apache/hive/stable-2/apache-hive-2.3.2-bin.tar.gz
hadoop下載地址
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz

1. hive安裝目錄  /opt/hive/apache-hive-2.3.2-bin
2. hadoop安裝目錄 /opt/hadoop/hadoop-3.0.0
3. JDK安裝目錄 /usr/java/jdk1.8.0_65
4. 環境變量配置
export  JAVA_HOME=/usr/java/jdk1.8.0_65
export  HADOOP_HOME=/opt/hadoop/hadoop-3.0.0
export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"
export  HIVE_HOME=/opt/hive/apache-hive-2.3.2-bin
export  HIVE_CONF_DIR=${HIVE_HOME}/conf
export  CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH
export  PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:$PATH
5. 讓環境變量生效
source  /etc/profile
6.  vim /opt/hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml 修改
    <configuration>  
        <!-- 指定HDFS老大(namenode)的通信地址 -->  
        <property>  
            <name>fs.defaultFS</name>  
            <value>hdfs://localhost:9000</value>  
        </property>  
        <!-- 指定hadoop運行時產生文件的存儲路徑 -->  
        <property>  
            <name>hadoop.tmp.dir</name>  
            <value>/opt/hadoop/tmp</value>  
        </property>  
    </configuration>  

7. vim /opt/hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml 修改增加以下內容
<configuration>  
    <property>  
        <name>dfs.name.dir</name>  
        <value>/opt/hadoop/hdfs/name</value>  
        <description>namenode上存儲hdfs名字空間元數據 </description>   
    </property>  
    <property>  
        <name>dfs.data.dir</name>  
        <value>/opt/hadoop/hdfs/data</value>  
        <description>datanode上數據塊的物理存儲位置</description>  
    </property>    
    <!-- 設置hdfs副本數量 -->  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
</configuration>  
8. SSH 設置免密碼登錄
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
    chmod 0600 ~/.ssh/authorized_keys  
9. 啓動命令
     9.1 初始化
     cd /opt/hadoop/hadoop-3.0.0  
    ./bin/hdfs namenode -format
    9.2 啓動命令
    ./sbin/start-dfs.sh
    9.3 停止命令
    ./sbin/stop-dfs.sh  

    錯誤處理
    Starting namenodes on [localhost]
    ERROR: Attempting to operate on hdfs namenode as root
    ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
    Starting datanodes
    ERROR: Attempting to operate on hdfs datanode as root
    ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
    Starting secondary namenodes [bogon]
    ERROR: Attempting to operate on hdfs secondarynamenode as root
    ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
    處理1
        $ vim sbin/start-dfs.sh
        $ vim sbin/stop-dfs.sh
    兩處增加以下內容
        HDFS_DATANODE_USER=root
        HADOOP_SECURE_DN_USER=hdfs
        HDFS_NAMENODE_USER=root
        HDFS_SECONDARYNAMENODE_USER=root
    處理2
        $ vim sbin/start-yarn.sh
        $ vim sbin/stop-yarn.sh
    兩處增加以下內容
        YARN_RESOURCEMANAGER_USER=root
        HADOOP_SECURE_DN_USER=yarn
        YARN_NODEMANAGER_USER=root

10. 驗證安裝
    http://192.168.50.48:9870/dfshealth.html#tab-overview
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章