大數據平臺搭建（一）：虛擬機環境配置

前言

     最近看了些hadoop相關的資料，然後想自己從零開始搭建一個大數據平臺。

大數據平臺架構

    1.概念性的東西還是不想多囉嗦，先上一張網上找的平臺架構圖，上圖的目的是爲了大家對整個平臺架構有個宏觀的認識，這個很重要，如果盲目的零碎的去研究效果很差。

    2.目標當然是整合圖中所有框架和組件，但是時間可能有限，機器也有限(本機搭建)。所以，我的計劃是先從最主要的hadoop入手，然後再慢慢擴展。

虛擬機環境搭建

1.VMware下載

     此處略過n個字。

2.centos7下載安裝

    1.我下載的是最小的鏡像版本

    2.用阿里雲的吧

    3.下一步，選擇鏡像，自己起個虛擬機名字，默認步驟走就行，因爲我已經安裝完了，就不演示了，安裝過程需要設置管理員密碼、時區等，配置完後下一步直到安裝完成即可。

3.虛擬機網絡設置

    1.爲什麼要用NAT模式？可以設置靜態IP，可以上網，可以作爲windows客戶端的服務器。

    2.主要設置NAT模式對應的網絡，一般是VMnet8。

注意：IP一定要在同一個網段，且地址不能衝突！！！

     點這裏也可以

    3.修改VMnet8的windows IP爲192.168.8.88。

    4.虛擬機網絡適配器

    5.測試網絡

      linux ping 百度沒問題

     windows下ping linux服務器也沒問題

4.centos服務器的網絡配置文件修改

    1.vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意：ONBOOT設置爲yes，因爲centos7默認網卡是關閉的

    2.修改主機名和ip映射，這個要重啓服務器

     vim etc/hostname #hadoop201

     vim etc/hosts #192.168.8.201 hadoop201

至此，已完成NAT模式下Linux服務器中 指定靜態IP 和 上網 的目的，有網之後利用yum可以安裝任意插件了，比如vim， lrzsz，ntp(同步網絡時間)，openssh-server,openssh-clients等。

---

5.安裝JDK8，配置環境變量

    1.vim /etc/profile

     2.驗證

6.關閉防火牆，同步網絡時間

    systemctl stop firewalld.service #停止firewall

    systemctl disable firewalld.service #禁止firewall開機啓動

    firewall-cmd –state #查看默認防火牆狀態

    ntpdate pool.ntp.org #同步網絡時間

    hwclock -w #將當前時間和日期寫入BIOS,避免重啓後失效

注意：生成環境上，肯定是要創建hadoop用戶，我們這裏不再增加創建用戶的模塊，爲了簡單好理解。如果是初學者，建議用root用戶搞。

至此，單個節點的centos服務器的基本配置就全部完成了，以後如果再缺少插件，請用yum自行安裝吧。

---

7.克隆集羣節點(我們還需要4個節點)

    1.201這個服務器我們已經安裝好了，那麼就要爲集羣準備其他幾個節點，直接克隆201即可。右鍵管理–>克隆–>其他都下一步，下面這裏選擇完整克隆

    2.克隆完成後，檢查各節點配置並修改，包括網卡、主機名及映射等信息。5個節點的hosts文件全部改爲如下：

8.設置ssh免密登陸

    1.cd ~ 根目錄下生成rsa 非對稱加密密鑰 ssh-keygen -t rsa， ls -la查看如果沒有.ssh文件請mkdir。

    2.五個節點執行ssh-copy-id hadoop201 把各自的公鑰發送到hadoop201的授權文件 authorized_keys中；

    3.然後把hadoop201 的authorized_keys文件拷貝到其他節點，完成5個節點的相互授權，查看hadoop201的授權文件中是否都包含了所有節點的公鑰

    4.將.ssh文件拷貝到其他節點

    scp -r .ssh/authorized_keys hadoop@hadoop202:~/.ssh/

    scp -r .ssh/authorized_keys hadoop@hadoop203:~/.ssh/

    scp -r .ssh/authorized_keys hadoop@hadoop204:~/.ssh/

     scp -r .ssh/authorized_keys hadoop@hadoop205:~/.ssh/

    5.設置權限，所有節點執行：chmod 700 .ssh

    6.測試ssh免密登陸

    

---

總結：

     本文主要講了虛擬機的配置和centos服務器的配置，爲下一步集羣搭建做好了準備。正常情況下這些工作應該由運維的同事來做，由於我在自己本機搭建，所以就寫一下這個過程來方便大家理解。下一章節將開始集羣搭建。

大數據平臺搭建（二）：hadoop HA 集羣搭建