hadoop僞分佈式集羣安裝

一、下載hadoop安裝包

hadoop安裝包分爲apache官方以及CDH，具體區別在此不做介紹，本次搭建選擇的是hadoop-2.6.0-cdh5.7.0版本
下載路徑http://archive.cloudera.com/cdh5/

---

二、配置hadoop

hadoop相關配置文件在/etc目錄下
我們需要修改的文件有
core-site.xml，hadoop-env.sh，hdfs-site.xml

1. 對hadoop-env.sh文件中的JAVA_HOME進行一下配置

2. 在hdfs-site.xml文件中添加配置

   <configuration>
       <property>
       <!-- 存儲副本的數量，因爲我們是僞分佈式，所以副本數量爲1 -->
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <!-- namenode相關信息存儲路徑 -->
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>file:/XXX/Hadoop/dfs/name</value>
       </property>
       <!-- datanode相關信息存儲路徑 -->
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>file:/XXX/Hadoop/dfs/data</value>
       </property>
   </configuration>
   

   配置好之後我們需要創建/XXX/Hadoop/dfs/name和/XXX/Hadoop/dfs/data這兩個文件

3. 配置core-site.xml

   <configuration>
       <!-- 表明我們hdfs的默認ip -->
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
       <!-- 表明我們tmp文件的路徑 -->
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/XXX/Hadoop/tmp</value>
       </property>
   </configuration>
   

   之後我們需要進到/bin目錄下面執行./hdfs namenode -format對namenode進行格式化
   如果看到下面這段話則說明格式化成功

   19/12/07 15:04:31 INFO util.ExitUtil: Exiting with status 0
   

---

三、啓動

1. /sbin目錄下面使用./start-dfs.sh啓動hdfs集羣
2. 使用./hdfs dfs -ls /查看hdfs根目錄爲空
3. 然後我們在執行./hdfs dfs -mkdir /test之後再查詢會發現根目錄已經存在/test文件