1.hadoop的分佈式安裝過程
1.1 分佈結構 主節點(1個,是hadoop0):NameNode、JobTracker、SecondaryNameNode
從節點(2個,是hadoop1、hadoop2):DataNode、TaskTracker
1.2 各節點重新產生ssh加密文件
ssh-keygen -t rsa
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
1.3 編輯各個節點的/etc/hosts,在該文件中含有所有節點的ip與hostname的映射信息
1.4 兩兩節點之間的SSH免密碼登陸
ssh-copy-id -i hadoop20
scp /root/.ssh/authorized_keys hadoop21:/root/.ssh/
1.5 把hadoop0的hadoop目錄下的logs和tmp刪除
1.6 把hadoop0中的jdk、hadoop文件夾複製到hadoop1和hadoop2節點
scp -r /usr/local/jdk hadoop1:/usr/local/
1.7 把hadoop0的/etc/profile複製到hadoop1和hadoop2節點,在目標節點中執行source /etc/profile
1.8 編輯hadoop0的配置文件slaves,改爲從節點的hostname,分別是hadoop1和hadoop2 (DataNode Tracker)
編輯hadoop0的配置文件masters,改爲從節點的hostname,分別是hadoop1 (SecondaryNameNode)
1.9 格式化,在hadoop0節點執行hadoop namenode -format
1.10 啓動,在hadoop0節點執行start-all.sh
****注意:對於配置文件core-site.xml和mapred-site.xml在所有節點中都是相同的內容。
終端查看集羣狀態:
#hadoopdfsadmin -report
2.動態的增加一個hadoop節點
2.1 配置新節點的環境
2.2 把新節點的hostname配置到主節點的slaves文件中
2.3 在新節點,啓動進程
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
2.4 在主節點執行腳本 hadoop dfsadmin -refreshNodes