HDFS僞分佈式的搭建
1.配置免密登錄
① ssh-keygen -t rsa (此處一路回車即可)
② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
2.配置JDK
① export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
② export PATH=$PATH: $JAVA_HOME/bin
注意:如果安裝的Linux系統中本來有jdk的,需要先卸載掉以前的jdk之後再安裝新版本。
3.修改hdfs-site.xml配置文件
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>主機名:50090</value>
</property>
4.修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://主機名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/local</value>
</property>
5. 修改slaves配置文件
修改爲你自己的主機名
6.格式化NameNode
hdfs namenode -format
7.啓動HDFS
在Hadoop的sbin目錄下使用命令start-dfs.sh
操作
1.創建目錄
hdfs dfs -mkdir -p /user/root
2.上傳文件
hdfs dfs -D dfs.blocksize=1048576 -put