Linux創建多個虛擬機來配置Hadoop集羣環境（二）

查看hadoop的解壓縮目錄結構

bin 可執行二進制腳本文件
etc/hadoop目錄 hadoop系統配置文件所在目錄

• hadoop-env.sh 配置環境
• core-site.xml 配置hdfs集羣核心配置
• hdfs-site.xml 用來對hdfs文件系統做配置

sbin 可執行二進制腳本文件
share hadoop的文檔和運行核心包

配置hadoop的環境變量 /etc/profile

export HADOOP_HOME=hadoop安裝目錄
export PATH=$HADOOP_HOME/bin:$HADOOP/sbin

source /etc/profile 重新加載環境配置

配置hadoop-env.sh 配置環境變量即可

vim hadoop安裝目錄下的etc/hadoop/hadoop-env.sh
vim一般模式輸入命令:set nu顯示行號，然後nG命令定位到第n行
修改export JAVA_HOME=${JAVA_HOME}
改爲export JAVA_HOME=jdk的絕對路徑

配置core-site.xml 用來對hdfs集羣核心配置

vim hadoop安裝目錄下的etc/hadoop/core-site.xml
配置configuration標籤內容

<configuration>
	<!-- 配置hdfs文件系統默認名稱,配置NameNode全局入口 -->
	<property>
		<name>fs.defaulFS</name>
		<value>hdfs://hadoop1(主機名):9000</value>
	</property>
</configuration>

配置hdfs-site.xml 用來對hdfs文件系統做相關配置

<configuration>
	<!-- 配置block副本數  -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

配置slaves配置文件 用來決定那些機器爲DataNode節點

當前是standalone模式，默認有localhost
把它改成hadoop1（主機名）

格式化NameNode 格式化成hadoop可以識別hdfs文件系統

僅僅第一次配置需要格式化
命令：
hdfs namenode -format

啓動hdfs集羣

sbin目錄下的start-dfs.sh
啓動之後用jps查看當前節點進程
可以上傳一個文件到hdfs的根目錄下
hdfs dfs -put a.txt /

訪問hdfs管理界面

關閉防火牆
一次：systemctl stop firewalld
永久：systemctl diable firewalld

訪問hadoop的webui界面：
主機ip:50070

hdfs創建多級目錄
hdfs dfs -mkdir -p /datas/res(目錄路徑）

在自己動手實踐的時候報了一個錯誤，分析了一波，是NameNode的節點入口沒配置好，這裏面涉及到了一個core-site.xml文件裏面的一個屬性的配置問題，具體分析就在Hadoop的core-site.xml配置文件裏的fs.default.name和fs.defaultFS
總的來說，還是不能盲目跟着視頻或者教程做，要清楚到底爲什麼這樣做才能慢慢找出問題原因~