Hadoop集羣 之《僞分佈集羣搭建》

版本：

hadoop hadoop-2.7.1_64bit.tar.gz
jdk jdk-8u144-linux-x64.tar.gz

1、先配置JAVA_HOME和HADOOP_HOME在/etc/profile的配置

2、hadoop的 七大配置文件

2,1、後綴是 env.sh 的

hadoop-env.sh
yarn-env.sh
mapred-env.sh
(sh後綴的都是配置JAVA_HOME路徑的)

2.2、hdfs-site.xml

<configuration>
<!--指定hdfs保存數據副本的數量，包括自己，默認值是3-->
        <!--如果是僞分佈模式，此值是1-->
        <property>
                <name>dfs.replication</name>
                <value>副本數量</value>
        </property>
        <!--secondary的地址    僞分佈所以namenode和secondarynamenode放在一塊-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>主機名:50090</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

2.3、core-site.xml

<configuration>
        <!--指定哪臺虛擬機上面放namenode，用來指定hdfs的老大，namenode的地址-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://主機名:9000</value>
        </property>
        <!--用來指定hadoop運行時產生文件的存放目錄-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/xss/java/hadoop/tmp</value>
        </property>

</configuration>

2.4、cp ./mapred-site.xml.template ./mapred-site.xml

<configuration>
        <property>
                <!--指定mapreduce運行在yarn上-->
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

2.5、yarn-site.xml

<configuration>
    <!-- Site specific YARN configuration properties -->
        <!-- Site specific YARN configuration properties -->
        <property>
                <!--指定yarn的老大 resoucemanager的地址-->
                <name>yarn.resourcemanager.hostname</name>
                <value>node132</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

3、搭建過程中更能會報的錯

啓動僞分佈的時候datanode一直啓動不起來，
解決方法：
1、就需要把hadoop/tmp/dfs/data下的current刪除掉
2、然後再重新格式化
3、在重新啓動集羣 start-all.sh

4、搭建完僞分佈，如果需要還可以繼續搭建完全分佈

博客鏈接 ：https://blog.csdn.net/qq_44472134/article/details/105047536