本地安裝hadoop單機模式的時候需要啓動namenode。我使用的是hadoop 3.2,配置文件如下:
site-core.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
使用如下可以生成謎鑰免密碼登錄:
#生成
ssh-keygen -t rsa -N '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
格式化節點:
bin/hdfs namenode -format
之後啓動節點:
$ sbin/start-dfs.sh
但是報錯 namenode等都出現錯誤
pdsh@xxx: localhost: connect: Connection refused
原因是pdsh默認採用的是rsh登錄,修改成ssh登錄即可,在環境變量/etc/profile里加入:
export PDSH_RCMD_TYPE=ssh
再source profile生效,然後再 sbin/start-dfs.sh。之後就可以在jps查看到hdfs服務啓動。