hdfs集羣——安裝、配置、部署(hadoop)

一、安裝包上傳至服務器並解壓

二、修改配置文件

1) 指定hadoop的默認文件系統爲：hdfs 
2) 指定hdfs的namenode節點爲哪臺機器
3) 指定namenode軟件存儲元數據的本地目錄
4) 指定datanode軟件文件塊的本地目錄

hadoop的配置文件在：path/to/hadoop/etc/hadoop

1. 修改hadoop-env.sh
   export JAVA_HOME=/path/to/jdk
2. 修改core-site.xml

   <configuration>
   	<property>
   		<name>fs.defaultFS</name>
   		<value>hdfs://hostname:9000</value>
   	</property>
   </configuration>
   

3. 修改hdfs-site.xml

	<configuration>
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>/path/to/name</value>
		</property>
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>/path/to/data</value>
		</property>
		<!--關閉ip -> 域名檢查（如果core-site.xml中配置的是ip:port形式，添加此配置）-->
		<property>  
			<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
			<value>false</value>
		</property>
	</configuration>

部署

拷貝整個hadoop安裝目錄到其它機器

	scp -r /path/to/hadoop hostname:/path/to/hadoop

啓動(單節點啓動)

1. 初始化namenode的元數據目錄(在namenode機器上執行)
   hadoop namenode -format

   創建了一個全新的元數據存儲目錄
   生成了記錄元數據的文件fsimage
   生成了集羣的相關標識：如 集羣id——clusterID

2. 啓動namenode進程

	hadoop-daemon.sh start namenode
	啓動完成後，首先使用jps命令查看一下namenode的進程是否存在
	> http://hostname:50070  # 可用該地址查看網頁形式

3. 啓動datanode
   hadoop-daemon.sh start datanode

集羣啓動(腳本方式)

1. 先配置hadp-01機器到集羣中所有機器(包含自己)的免密登錄
2. 配置完免密後，可執行一次 ssh 0.0.0.0
3. 修改hadoop安裝目錄中 /path/to/hadoop/etc/hadoop/slaves(把需要啓動datanode進程的節點列入)
   hdp-01
   hdp-02
   hdp-03
   hdp-04
   hdp-05
4. 在hdp-01上用腳本：start-dfs.sh來啓動整個集羣
5. 如果要停止，則用腳本：stop-dfs.sh

寫在最後

歡迎留言私信討論；
文章有知識性錯誤請立馬聯繫博主，博主將非常感謝；
無需經過允許即可隨意使用轉載，知識本來就是被廣泛用來學習的；
非常感謝您能看到此處，本文爲博主學習筆記，如有不同見解，請不吝賜教。