搭建hadoop集羣

四臺機器 hadoop1 爲master 其他爲 slave

設置scp

yum -y installopenssh-clients

修改主機名



配置地址映射(每一個都要配)


設置免密登錄

cd /root/.ssh/    

ssh-keygen -t rsa


ssh-copy-id hadoop2

ssh-copy-id hadoop3

ssh-copy-id hadoop4


驗證設置成功



安裝jdk

拷貝安裝包到其他機器







解壓安裝包



修改環境

vi /etc/profile



source /etc/profile

修改配置文件


hadoop-env.sh


core-site.xml

<!-- 指定HDFS老大(namenode)的通信地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop1:9000</value>

    </property>

    <!--指定hadoop運行時產生文件的存儲路徑 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/Hadoop/tmpdata</value>

    </property>

 

hdfs-site.xml

<!-- 設置namenode的http通訊地址-->

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop1:50070</value>

    </property>

 

    <!--設置namenode存放的路徑 -->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/usr/Hadoop/namenode</value>

    </property>

 

    <!--設置hdfs副本數量 -->

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <!--設置datanode存放的路徑 -->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/usr/Hadoop/datanode</value>

    </property>

 

mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

 </property>

yarn-site.xml

<!-- 設置 resourcemanager 在哪個節點-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop1</value>

    </property>

 

    <!-- reducer取數據的方式是mapreduce_shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

 

    <property>

         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

         <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

 

 

 

將文件複製到其他機器




格式化NameNode

hadoop namenode –format

開啓集羣

./sbin/start-all.sh

驗證是否正常開啓

jps


切記不要多次格式化,否則會無法開啓DataNode(解決辦法刪除namenode,datanode,tmpdata)


歡迎補充

 

 




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章