安裝hadoop和配置hadoop,啓動namenode和設置免密登錄的詳細解析!

首先安裝hadoop要安裝好java的開發環境,配置好jdk

其實創建一個hadoop的用戶

cd到這個用戶的目錄下

blob.png

創建一個apps的目錄。以後所有的東西都解壓進入apps

blob.png


解壓後的目錄中的文件如下

blob.png

這裏lib是本地的庫!

bin是自己的操作命令,

sbin是啓動命令!

etc是配置文件

include是本地庫的頭文件!

我們的jar包在share文件中!

下圖是share包中的目錄

blob.png


剩下就在前面的etc/hadoop/目錄下的配置文件進行配置對紅線標註的配置文件進行修改

blob.png

這裏我們先配置hadoop-env.sh

我們將JAVA_HOME的值設置在此處如下圖,因爲你要使用ssh遠程連接,所以使用原有的${JAVA_HOME}行不通

blob.png

第二部在core-site.xml文件中進行配置

blob.png

上圖中的配置第一個指定hadoop的文件系統,第二個指定集羣每個主機的進程工作在哪個數據目錄

第三修改hdfs.site.xml

blob.png

把數據保存兩份,做個備份!


然後修改mapred-site.xml.template

blob.png

這裏指定mapreduce運行的平臺爲yarn,否則他默認是local.

blob.png

別忘了執行這個命令


第四接下來配置yarn-site.xml

blob.png


裝好之後,設置hadoop的環境變量!

blob.png

主要就是這兩個!

然後使用scp命令將apps目錄整個複製到其他主機上

blob.png

也將/etc/profile傳過去

blob.png

然後使用

blob.png

這兩個命令,一個是啓動namenode節點,另一個是查看java的進程,這裏用了看看namenode進行是否啓動!

blob.png

這裏就表示已經啓動了。

然後我們可以在使用ip地址進行可視化查看這個文件系統的各種情況!


http://192.168.150.129:50070/dfshealth.html#tab-overview

這裏192.168.150.129是我mini1這個臺虛擬機的ip。又來做namenode節點的主機!


然後我們可能看到使用的空間爲0

這是因爲我們沒有啓動datanode .所以這裏我們隨便啓動一個主機的datanode

注意一定su hadoop這個用戶下運行

使用命令 hadoop-daemon.sh start datanode

然後使用jps命令查看是否啓動datanode的進程

blob.png

如果在jps命令中沒有DataNode那麼你就查看,上述的/home/..../hadoop-hadoop-datanode-mini2.log

注意這裏唯一與上圖中的不同,在於它是log,而上圖是out


blob.png


如果想要關閉這個datanode,可以使用

blob.png

這個命令。



講用腳本啓動所有的datanode,和namenode

這裏需要修改slaves的配置文件,

blob.png

將其修改

blob.png

可以將腳本話啓動mini2和mini3作爲datanode,mini1啓動爲namenode,(這裏腳本就在mini1中運行)

是要不斷的輸入密碼。所以可以使用免密登錄!!!!

情形是:我想在mini1中登錄mini2,mini3然後可以免密碼登錄!


我們可以在mini1中使用命令ssh-keygen產生祕鑰

blob.png

然後依次拷貝到其他主機上

blob.png

然後就可以正常使用了

blob.png

這裏我們看出來完全不用輸入密碼就可以直接啓動!!!

配置完全後我們可以直接啓動腳本!將slaves裏面配置的全部啓動!!

blob.png

我們可以看出來,並沒有輸入任何密碼

當然我們也可以使用命令直接將全部的都停止掉stop-dfs.sh

blob.png

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章