HDFS僞分佈式的搭建步驟

HDFS僞分佈式的搭建

1.配置免密登錄

① ssh-keygen -t rsa （此處一路回車即可）
② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

2.配置JDK

① export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
② export PATH=$PATH: $JAVA_HOME/bin

注意：如果安裝的Linux系統中本來有jdk的，需要先卸載掉以前的jdk之後再安裝新版本。

3.修改hdfs-site.xml配置文件

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

<property>     
 <name>dfs.namenode.secondary.http-address</name>
     <value>主機名:50090</value>
</property>

4.修改core-site.xml配置文件

	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://主機名:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/local</value>
</property>

5. 修改slaves配置文件
 
	修改爲你自己的主機名

6.格式化NameNode

 hdfs namenode -format

7.啓動HDFS

在Hadoop的sbin目錄下使用命令start-dfs.sh

操作

1.創建目錄

hdfs dfs -mkdir -p /user/root

2.上傳文件

hdfs dfs -D dfs.blocksize=1048576 -put