大數據時代之Hadoop集羣搭建

前面說搭建Hadoop+Hbase+Hive這些環境什麼的太麻煩，說直接搭個CDH好了，結果看了幾篇文章都說內存10G以下的就不要玩了，wtfk，我只是學習，又不是公司運維，我哪來這麼大的服務器搞哦，算了還是一個個的搭吧。

搭建Hadoop環境

先前已經寫過一篇Hadoop僞分佈式搭建的文章了，這裏就不再贅述了，貼鏈接：java連接Hbase操作數據庫的全過程—搭建僞分佈式hadoop環境

搭建分佈式環境

1. 將先前的機器設置爲master

2. 克隆master虛擬機，命名爲slave

3. 在hosts文件中配置master和slave的地址（master和slave虛擬機上都需要配置）
   

4. 因爲虛擬機是克隆來的，公鑰私鑰是一樣的，所以master和slave之間可以相互免密登錄，所以slave不需要生成ssh的公鑰和私鑰並拷貝給master。

5. 在master和slave服務器上的~/hadoop/etc/hadoop/slaves文件中配置slave的地址：
   

6. 在mster機器上啓動dfs：
   start-dfs.sh

7. 分別在master和slave上jps將會看到如下圖：
   
   本以爲可以了，興高采烈的打開瀏覽器查看：
   網上收索一通後找到文章：僞分佈式+分佈式安裝Hadoop（兩個節點）,好吧與之區別就在於僞分佈式部署得時候很多采用的是默認配置，遂參考其配置，對以下文件進行配置：
   core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://my-cdh-master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name> #配置Hadoop臨時文件保存路徑
        <value>file:/tmp/hdfs/</value>
    </property>
</configuration>

hdfs-site.xml

    <configuration> 
        <property> 
            <name>dfs.replication</name> 
            <value>1</value> 
        </property> 
        <property>
                <name>dfs.namenode.secondary.http-address</name> #配置第二名稱節點端口號
                <value>my-cdh-master:50090</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name> #配置namenode數據保存路徑
                <value>file:/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name> #配置datanode數據保存路徑
                <value>file:/tmp/dfs/data</value>
        </property>
    </configuration>

mapred-site.xml

    <configuration> 
        <property> 
            <name>mapreduce.framework.name</name> 
            <value>yarn</value> 
        </property> 
        <property>
                <name>mapreduce.jobhistory.address</name> #jobhistory服務器端地址
                <value>my-cdh-master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name> #jobhistory的Web端地址
                <value>my-cdh-master:19888</value>
        </property>
    </configuration>

yarn-site.xml

    <property>
        <name>yarn.resourcemanage.hostname</name> #配置擔當resourcemanage的節點
        <value>my-cdh-master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

yarn-env.sh

mapred-env.sh

hadoop-env.sh
![在這裏插入圖片描述](https://img-blog.csdnimg.cn/20191128150408127.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMTA0OTU0NTQ1MA==,size_16,color_FFFFFF,t_70

注意，master和slave上都這麼配置即可，我估計這麼配置後slave才知道他的master是誰。如果添加節點的話，應該拷貝slave即可，然後在slaves裏面進行添加即可，此處爲驗證。
至此完成僞分佈式hadoop轉換成分佈式hadoop。