首先安裝hadoop要安裝好java的開發環境,配置好jdk
其實創建一個hadoop的用戶
cd到這個用戶的目錄下
創建一個apps的目錄。以後所有的東西都解壓進入apps
解壓後的目錄中的文件如下
這裏lib是本地的庫!
bin是自己的操作命令,
sbin是啓動命令!
etc是配置文件
include是本地庫的頭文件!
我們的jar包在share文件中!
下圖是share包中的目錄
剩下就在前面的etc/hadoop/目錄下的配置文件進行配置對紅線標註的配置文件進行修改
這裏我們先配置hadoop-env.sh
我們將JAVA_HOME的值設置在此處如下圖,因爲你要使用ssh遠程連接,所以使用原有的${JAVA_HOME}行不通
第二部在core-site.xml文件中進行配置
上圖中的配置第一個指定hadoop的文件系統,第二個指定集羣每個主機的進程工作在哪個數據目錄
第三修改hdfs.site.xml
把數據保存兩份,做個備份!
然後修改mapred-site.xml.template
這裏指定mapreduce運行的平臺爲yarn,否則他默認是local.
別忘了執行這個命令
第四接下來配置yarn-site.xml
裝好之後,設置hadoop的環境變量!
主要就是這兩個!
然後使用scp命令將apps目錄整個複製到其他主機上
也將/etc/profile傳過去
然後使用
這兩個命令,一個是啓動namenode節點,另一個是查看java的進程,這裏用了看看namenode進行是否啓動!
這裏就表示已經啓動了。
然後我們可以在使用ip地址進行可視化查看這個文件系統的各種情況!
http://192.168.150.129:50070/dfshealth.html#tab-overview
這裏192.168.150.129是我mini1這個臺虛擬機的ip。又來做namenode節點的主機!
然後我們可能看到使用的空間爲0
這是因爲我們沒有啓動datanode .所以這裏我們隨便啓動一個主機的datanode
注意一定su hadoop這個用戶下運行
使用命令 hadoop-daemon.sh start datanode
然後使用jps命令查看是否啓動datanode的進程
如果在jps命令中沒有DataNode那麼你就查看,上述的/home/..../hadoop-hadoop-datanode-mini2.log
注意這裏唯一與上圖中的不同,在於它是log,而上圖是out
如果想要關閉這個datanode,可以使用
這個命令。
講用腳本啓動所有的datanode,和namenode
這裏需要修改slaves的配置文件,
將其修改
可以將腳本話啓動mini2和mini3作爲datanode,mini1啓動爲namenode,(這裏腳本就在mini1中運行)
但是要不斷的輸入密碼。所以可以使用免密登錄!!!!
情形是:我想在mini1中登錄mini2,mini3然後可以免密碼登錄!
我們可以在mini1中使用命令ssh-keygen產生祕鑰
然後依次拷貝到其他主機上
然後就可以正常使用了
這裏我們看出來完全不用輸入密碼就可以直接啓動!!!
配置完全後我們可以直接啓動腳本!將slaves裏面配置的全部啓動!!
我們可以看出來,並沒有輸入任何密碼
當然我們也可以使用命令直接將全部的都停止掉stop-dfs.sh