排坑——阿里雲僞分佈式安裝hadoop

坑0 把hadoop用戶分進root組

其實這個不算坑，單純是我自己蠢

adduser hadoop sudo

坑1 配置文件

要用0.0.0.0，不能用localhost

另外這些文件是放在hadoop安裝目錄下的ect/hadoop下的，不是根目錄下的etc

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/hadoop-2.8.5/tmp</value>
    </property>
</configuration>

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop-2.8.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop-2.8.5/tmp/dfs/data</value>
    </property>
</configuration>

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>
</configuration>

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>0.0.0.0:8088</value>
    </property>
</configuration>

坑2 阿里雲安全組

要在阿里雲裏把端口50070 8088和19888打開

坑3 防火牆

阿里雲給端口擋了一道，Linux防火牆又擋了一道

因爲在阿里雲裏配置好安全組了，Linux防火牆事實上就不需要了

ufw disable

關閉了防火牆，並取消了開機自啓動