上一節中我們瞭解了單機模式,這一節中,會說明第二種模式僞分佈式模式,這種模式相比於單機模式,增加了檢查內存使用情況,hdfs輸入輸出,以及其他的守護進程交互。
配置僞分佈式主要是配置etc/hadoop中的配置文件,分別是core-site.xml、mapred-site.xml以及hdfs-site.xml。
core-site.xml(配置namenode)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml(配置datanode)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml(配置jobtracker/tasktracker)
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
完成上述配置後,檢測一下ssh的安裝情況,要配置成免密登錄的方式,具體實現方式
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
完成上述步驟後,需要首先格式化一下文件系統,具體實現方式:
$ bin/hdfs namenode -format
完成上述步驟後,需要啓動hadoop,這時候需要用到sbin目錄中的sh腳本,如果使用的是root賬戶啓動,使用之前需要在使用的腳本之前,加入以下配置:
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
例如,我要使用start-dfs.sh腳本,就需要把上述的內容粘貼到腳本中,然後就可以直接運行腳本。
運行完腳本後,可以使用jps命令查看啓動的守護進程。