Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。
用戶可以在不瞭解分佈式底層細節的情況下，開發分佈式程序。充分利用集羣的威力進行高速運算和存儲。
Hadoop實現了一個分佈式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有着超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。
Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS爲海量的數據提供了存儲，則MapReduce爲海量的數據提供了計算
一、安裝hadoop包
1、使用課程提供的hadoop-2.4.1.tar.gz，使用WinSCP上傳到CentOS的/usr/local目錄下。
2、將hadoop包進行解壓縮：tar -zxvf hadoop-2.4.1.tar.gz
3、對hadoop目錄進行重命名：mv hadoop-2.4.1 hadoop
4、配置hadoop相關環境變量
vi .bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source .bashrc
二、修改core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://spark1:9000</value>
</property>
三、修改hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
四、修改mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
五、修改yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>spark1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
六、修改slaves文件
spark1
spark2
spark3
七、在另外兩臺機器上搭建hadoop
1、使用如上配置在另外兩臺機器上搭建hadoop，可以使用scp命令將spark1上面的hadoop安裝包和.bashrc配置文件都拷貝過去。
2、要記得對.bashrc文件進行source，以讓它生效。
3、記得在spark2和spark3的/usr/local目錄下創建data目錄。
八、啓動hdfs集羣
1、格式化namenode：在spark1上執行以下命令，hdfs namenode -format
2、啓動hdfs集羣：start-dfs.sh3、驗證啓動是否成功：jps、50070端口
spark1：namenode、datanode、secondarynamenode
spark2：datanode
spark3：datanode
九、啓動yarn集羣
1、啓動yarn集羣：start-yarn.sh2、驗證啓動是否成功：jps、8088端口
spark1：resourcemanager、nodemanager
spark2：nodemanager
spark3：nodemanager