Hadoop安裝

Hadoop是apache軟件基金會的開源分佈式計算平臺hadoop集羣包括兩種角色Mater和Slave。一個HDFS集羣由一個運行於Master上的NameNode和若干個運行於Slave節點的DataNode組成。NameNode負責管理文件系統命名空間和客戶端對文件系統的訪問操作；DataNode管理存儲的數據。文件以塊形式在DataNode中存儲，假如一個塊大小設置爲50MB，塊的副本數爲3（通過設置塊的副本數來達到冗餘效果，防止單個DataNode磁盤故障後數據丟失），一個40MB的文件將被存儲在一個塊中，然後將相同的3個塊存儲在3個DataNode中實現冗餘。大文件將被切成小塊存儲。
本實驗的目的：
搭建hadoop的HDFS，通過DataNode節點的添加與刪除實現HDFS空間動態增加與減少，以及HDFS文件系統的基本管理。
實驗環境：