四臺機器 hadoop1 爲master 其他爲 slave
設置scp
yum -y installopenssh-clients
修改主機名
配置地址映射(每一個都要配)
設置免密登錄
cd /root/.ssh/
ssh-keygen -t rsa
ssh-copy-id hadoop2
ssh-copy-id hadoop3
ssh-copy-id hadoop4
驗證設置成功
安裝jdk
拷貝安裝包到其他機器
解壓安裝包
修改環境
vi /etc/profile
source /etc/profile
修改配置文件
hadoop-env.sh
core-site.xml
<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<!--指定hadoop運行時產生文件的存儲路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/Hadoop/tmpdata</value>
</property>
hdfs-site.xml
<!-- 設置namenode的http通訊地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop1:50070</value>
</property>
<!--設置namenode存放的路徑 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/Hadoop/namenode</value>
</property>
<!--設置hdfs副本數量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--設置datanode存放的路徑 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/Hadoop/datanode</value>
</property>
mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
<!-- 設置 resourcemanager 在哪個節點-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<!-- reducer取數據的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
將文件複製到其他機器
格式化NameNode
hadoop namenode –format
開啓集羣
./sbin/start-all.sh
驗證是否正常開啓
jps
切記不要多次格式化,否則會無法開啓DataNode(解決辦法刪除namenode,datanode,tmpdata)
歡迎補充