Hadoop3.1.2(Linux版本)環境搭建記錄2-Pseudo-Distributed(僞分佈式模式)

    上一節中我們瞭解了單機模式,這一節中,會說明第二種模式僞分佈式模式,這種模式相比於單機模式,增加了檢查內存使用情況,hdfs輸入輸出,以及其他的守護進程交互。

    配置僞分佈式主要是配置etc/hadoop中的配置文件,分別是core-site.xml、mapred-site.xml以及hdfs-site.xml。

core-site.xml(配置namenode)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml(配置datanode)

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml(配置jobtracker/tasktracker)

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

    完成上述配置後,檢測一下ssh的安裝情況,要配置成免密登錄的方式,具體實現方式

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

    完成上述步驟後,需要首先格式化一下文件系統,具體實現方式:

$ bin/hdfs namenode -format

    完成上述步驟後,需要啓動hadoop,這時候需要用到sbin目錄中的sh腳本,如果使用的是root賬戶啓動,使用之前需要在使用的腳本之前,加入以下配置:

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

例如,我要使用start-dfs.sh腳本,就需要把上述的內容粘貼到腳本中,然後就可以直接運行腳本。

運行完腳本後,可以使用jps命令查看啓動的守護進程。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章