linux虛擬機搭建hadoop集羣(超簡單)

1.下載:

1.1 下載centos7:

黑羊君是在官網下載的centos 因爲是外網 如果沒有VPN的話可能比較慢,當然也可以百度一下國內的鏡像站 例如:阿里雲鏡像 網易雲鏡像 清華鏡像等等...

官網地址:https://www.centos.org/download/

點擊下圖紅色圈圈處 可選擇歷史版本 一般下載DVD ISO版本安裝 可以選擇桌面版 或者最小mini安裝.

這是黑羊君下載傳到百度網盤的 版本是:centOS7 

 鏈接：https://pan.baidu.com/s/1nUrMLBNuVorfpkPN7vKdRA 
提取碼：dpym

1.2  下載vmware

百度網盤地址:

鏈接：https://pan.baidu.com/s/1LpzVfS2JFblV3ssHcR7__A 
提取碼：42ew

1.3下載hadoop

hadoop當然是要官網下載才放心啦!

地址:https://hadoop.apache.org/releases.html

黑羊君是下載的Binary download 版本

當然如果是想計幾來編譯也可以選擇Source download版本嗒!

1.4下載jdk

jdk選擇的版本是1.8

地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1.5 下載linux 工具

linux 鏈接工具衆多 看個人愛好啦

黑羊君選擇的是 Xshell6 和 winscp,Xshell官網可以選擇個人學習版註冊 免費試用的!

2.linux安裝JDK

2.1

通過winscp將jdk安裝包上傳到 /root/apps/ 文件夾下面(最好與黑羊君一樣哦 否則後面可能出現錯誤)
 解壓安裝包  tar -zxvf /root/apps/jdk-8u181-linux-x64.tar.gz 

 2.2

配置環境變量
            vim /etc/profile
        在文件行尾加入配置後保存退出
            export JAVA_HOME=/root/apps/jdk1.8.0_181
            export PATH=$PATH:$JAVA_HOME/bin
        重新加載profile使配置生效
            source /etc/profile
        環境變量配置完成，測試環境變量是否生效
            echo $JAVA_HOME 
            java -version 輸出Java信息就是配置好啦

3.linux基礎配置

3.1.關閉防火牆

    service iptables status;#查看防火牆狀態
    service iptables start;#立即開啓防火牆，但是重啓後失效。
    service iptables stop;#立即關閉防火牆，但是重啓後失效。

     重啓後生效 
    chkconfig iptables on;#開啓防火牆，重啓後生效
    chkconfig iptables off;#關閉防火牆，重啓後生效 

3.2修改主機名稱

1.配置主機名
    !!!!!注意安裝hadoop的集羣主機名不能有下劃線!!不然會找不到主機!無法啓動!
    配置主機名
    $vi /etc/sysconfig/network
    $source /etc/sysconfig/network
    例如：
    NETWORKING=yes
    HOSTNAME=node1

    或

    $hostname xxxx
        
2.配置Hosts
    vi /etc/hosts
    填入以下內容
    192.168.163.131 node1
    其他主機和ip對應信息。。。

3.3.配置免密碼互通

    生成自己的公鑰和私鑰,生成的公私鑰將自動存放在/root/.ssh目錄下。
        $ ssh-keygen
    把生成的公鑰copy到遠程機器上
        $ ssh-copy-id [user]@[host]
    此時在遠程主機的/root/.ssh/authorized_keys文件中保存了公鑰,在known_hosts中保存了已知主機信息，當再次訪問的時候就不需要輸入密碼了。
        $ ssh [host]
    通過此命令遠程連接，檢驗是否可以不需密碼連接

 

4.安裝hadoop

        通過winscp將hadoop安裝包上傳到linux
        解壓安裝包 tar -zxvf [hadoop安裝包位置]   例如: tar -zxvf /root/apps/hadoop-2.7.7.tar.gz

(1)修改 hadoop-env.sh
        通過vim打開
            vim [hadoop]/etc/hadoop/hadoop-env.sh
        主要是修改java_home的路徑
            在hadoop-env.sh的第27行,把export JAVA_HOME=${JAVA_HOME}修改成具體的路徑
    (2)修改 core-site.xml
        通過vim打開
            vim [hadoop]/etc/hadoop/core-site.xml
        增加namenode配置、文件存儲位置配置
            <configuration>
                <property>
                    <!--用來指定hdfs的老大，namenode的地址-->
                    <name>fs.defaultFS</name>
                    <value>hdfs://node1:9000</value>
                </property>
                <property>
                    <!--用來指定hadoop運行時產生文件的存放目錄-->    
                    <name>hadoop.tmp.dir</name> 
                    <value>/root/apps/work/hadoop/tmp</value>
                </property>
            </configuration>
    (3)修改 hdfs-site.xml
        通過vim打開
            vim [hadoop]/etc/hadoop/hdfs-site.xml
        配置包括自身在內的備份副本數量。
            <configuration>
                <property>
                    <!--指定hdfs保存數據副本的數量，包括自己，默認爲3-->
                    <!--僞分佈式模式，此值必須爲1-->
                    <name>dfs.replication</name> 
                    <value>2</value>
                </property>
                <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>node2:50090</value>
                </property>
            </configuration>

    (4)修改 mapred-site.xml
        說明：在/etc/hadoop的目錄下，只有一個mapred-site.xml.template文件，複製一個
            cp mapred-site.xml.template mapred-site.xml
        通過vim打開
            vim [hadoop]/etc/hadoop/mapred-site.xml
        配置mapreduce運行在yarn上
            <configuration>
<property>  
<!--指定mapreduce運行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
            </configuration>

    (5)修改 yarn-site.xml    
        通過vim打開
            vim [hadoop]/etc/hadoop/yarn-site.xml
        配置
        <configuration>
<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<!--NodeManager獲取數據的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
        </configuration>

    (6)修改 slaves
     vim slaves 
node1
node2
node3

    (7)配置hadoop的環境變量
        vim /etc/profile
        export HADOOP_HOME=/root/apps/hadoop-2.7.7/
        export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
        重新加載profile使配置生效
            source /etc/profile
        環境變量配置完成，測試環境變量是否生效
            echo $HADOOP_HOME 
    
    (7.5)複製配置文件到從節點上        
            
            scp -r /root/apps/hadoop-2.7.7/  root@node2:/root/apps/hadoop-2.7.7/
            scp -r /root/apps/hadoop-2.7.7/  root@node3:/root/apps/hadoop-2.7.7/
            
            scp -r /etc/profile  root@node2:/etc/profile
            scp -r /etc/profile  root@node3:/etc/profile

    (8)重啓linux    
        一般不需要，如果發現hadoop有問題 則重啓一下    
        $reboot

    (8)格式化namenode
        進入 hadoop/bin 輸入命令格式化namenode
            hadoop namenode -format(hdfs namenode -format  以前的方式)
        在格式化的時候，會有這樣的輸出：
            Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted

7.啓動hadoop
    在/home/app/hadoop-2.6.0/sbin目錄下
    $start-all.sh

8.關閉hadoop
    在/home/app/hadoop-2.6.0/sbin目錄下
    $stop-all.sh

之後打開網頁輸入ip:50070

 

打開網頁輸入IP:8088 顯示

 

終於大功告成啦 接下來就可以正式開始學習大數據啦!