Hadoop集羣啓動HDFS

壓縮包下載地址：https://archive.apache.org/dist/hadoop/common/

準備工作：

（一）關閉防火牆

（二）三臺IP不同的虛擬機：

詳情見：Linux修改IP地址

（三）java環境（JDK1.7以上版本）：

詳情見：Linux下安裝JDK

（四）Zookeeper單機和集羣：

詳情見：手把手帶你搭建Zookeeper單機和集羣

（五）有ssh服務並且可以免密登錄：

詳情見：Linux設置ssh免密登錄

 
注：準備就緒後開始，分別在三臺虛擬機上操作

創建文件夾：

mkdir /usr/local/hadoop

解壓：

tar -zxvf hadoop-2.9.2.tar.gz -C /usr/local/hadoop

修改hadoop配置文件：

cd /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/

vim hadoop-env.sh

修改

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_144

修改環境變量：

vim /etc/profile

export PATH=$PATH:/usr/local/hadoop/hadoop-2.9.2/bin:/usr/local/hadoop/hadoop-2.9.2/sbin

執行/etc/profile文件：

source /etc/profile

創建臨時目錄：

mkdir -p /usr/local/hadoop/hadoop-2.9.2/data/tmp

所有者改爲 hadoop：

 chown -R root:hadoop1 /usr/local/hadoop/hadoop-2.9.2/data/tmp

修改配置文件 core-site.xml：

vim /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml

修改

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/hadoop-2.9.2/data/tmp</value>
        </property>
</configuration>

配置 hdfs-site.xml（HDFS存儲時的備份數量，僞分佈式環境只有一個節點）：

vim /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

修改

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

格式化 namenode：

hdfs namenode -format

格式化後驗證 core-site.xml 配置的臨時目錄裏是否有 dfs 文件：

cd /usr/local/hadoop/hadoop-2.9.2/data/tmp

啓動namenode：

/usr/local/hadoop/hadoop-2.9.2/sbin/hadoop-daemon.sh start namenode

啓動datanode：

/usr/local/hadoop/hadoop-2.9.2/sbin/hadoop-daemon.sh start datanode

啓動secondarynamenode：

/usr/local/hadoop/hadoop-2.9.2/sbin/hadoop-daemon.sh start secondarynamenode

測試：

jps

 

兩種命令操作 hdfs ：
第一種

/usr/local/hadoop/hadoop-2.9.2/bin/hdfs dfs -命令 操作的文件

第二種

hadoop dfs -命令 操作的文件