大數據平臺環境搭建準備

1.虛擬機安裝
安裝vmware,此處安裝vmware14版本虛擬機,密匙易搜。
2.linux環境準備
下載linux系統鏡像,下載地址:
http://archive.kernel.org/centos-vault/6.5/isos/x86_64/
cent-os下載鉅細說明:
https://blog.csdn.net/sinat_36564972/article/details/81560395
此處鑑於本機原因選擇cent-os-64位-6.5版本(現在一般服務server均使用7.4左右)
3.linux系統(cent-os)於虛擬機安裝
關於安裝cent-os有直接安裝標準版,可以直接安裝很容易,這樣安裝得到的是桌面版的cent-os系統,但是初始使用basic-server版的cent-os安裝可以對該系統有個好的的瞭解,具體的安裝本人借鑑於慕課網linux課程安裝進行,也可以自行蒐集進行linux系統的安裝,安裝需要注意的地方做一羅列。
不使用標準簡易安裝,使用自定義安裝,之後進入安裝,需要注意的是如果是win10系統,需要進入dos界面進行簡單的設置。


下一步選擇好下載好的cent-os系統鏡像文件:

此處注意,開始安裝虛擬需要給自己所在盤符如e盤下留有足夠的空間,爲了文件以及後續大數據hadoop體系組件搭建,留40g以上空間爲保證後續操作順暢。
win10系統創建虛擬機需要bois界面設置:
https://blog.csdn.net/sinat_37390744/article/details/56498655
安裝前虛擬機創建好後,其中一般將處理器設置爲多核,此處設置爲4核,選擇centos系統鏡像文件網絡選擇橋接,簡單的方法使得一臺電腦上的多臺虛擬機網絡可以互通(橋接的意思是跟主機可以互相通信且是率屬於同一網段,非主機路由出的子網段,如果是net模式是由主機路由出的子網),初始建議網絡均選擇橋接模式,橋接模式下在同一局域網下或者公司內網,之間均可以通信,但是需要注意如果公司網絡大量用於開發使用,需要跟網絡工程師溝通,看是否有閒置ip,否則造成ip衝突,網絡不穩定,還會影響同時辦公,也可以請教網絡工程師進行協助,那樣效率也會高很多,由於其它原因後續需要考慮與雲主機進行通訊等,暫不鉅細討論。
網絡選擇橋接,選擇鏡像文件,內存選擇1g(1g一般夠用,本機內存是8g,內存1g分給虛擬機)

開機(快速切入虛擬機按F2)
進入後選擇第一項-->已經存在的系統-->之後檢查選擇skip跳過-->之後ok確認後進入centos的安裝-->選擇語言Chinese中文簡體-->鍵盤美國英式標準-->設備選擇基本存儲設備默認-->默認之後選擇安裝模式-->此處爲了節省存儲空間-->使用自定義安裝-->然後進行分區-->一般分區設置-->自定義分區-->必須根分區與boot分區,boot 200M home 2000M swap 1000M \ 根分選擇剩餘全部,作爲最後需要的擴展分區(備存放邏輯分區)
-->格式化-->選擇basic server,之後按照引導重新啓動ok,密碼設置此處均設置的不少於6位,完成安裝,上述主要步驟如上,鉅細可以查找資料或者慕課網linux安裝。

安裝成功後關機配置網絡,在安裝虛擬機後,進入網絡適配器選項,修改vm8網絡適配器,其網段與本機所在網絡一致,此處再可以查找資料。



修改vm8網絡適配器後修改vmware的網路適配器




網絡適配器參考:

配置好之後開機進入虛擬機。
上述安裝完畢,虛擬機有兩個功能比較實用,快照和克隆,快照記錄下虛擬機某一狀態,所得到的快照文件也就便於另一臺,或者多態虛擬機的安裝,克隆可以將整個系統克隆下來,生成的文件比快照要大,快照使用的更多一些,快照下某一時刻的應用,之間進行切換,便於系統恢復以及相關功能或者應用組件安裝測試。

上述對於虛擬機的基本安裝已經好了,接下來需要做一些爲使用,再更進一步爲大數據組件安裝使用做一些準備工作。
網絡配置:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
如果是動態獲取地址,BOOTPROTO=dhcp ,如果是設置靜態地址,則BOOTPROTO=static

BOOTPROTO=static
IPADDR=192.168.1.103 (此處所在局域網的網絡ip設置,與網絡適配器屬同一網段)
NETMASK=255.255.255.0
GATEWAY=192.168.1.1 (主機網絡適配器設置的網關)
https://blog.csdn.net/u010064017/article/details/77883776
ONBOOT=yes
無論是動態還是靜態,配置文件裏默認的ONBOOT=no要改成ONBOOT=yes,然後保存。
service neteork restart 命令重啓網絡服務。
vi /etc/resolv.conf
添加域名服務器:
nameserver 218.2.135.1
nameserver 8.8.8.8
保存後,無需重啓網卡,DNS立即生效。
網絡成功配置參考:
https://blog.csdn.net/u010064017/article/details/77883776
https://blog.csdn.net/u014466635/article/details/80284792
網絡防火牆關閉(較爲簡單,參考下文檔,注意最好使用永久關閉防火牆):
service iptables stop(關閉)
chkconfig iptables off (永久關閉,使用永久關閉,三臺機器均操作)
service iptables status
https://www.cnblogs.com/maybo/p/5250668.html
service network restart 重啓網絡服務

爲了配置安裝hadoop以及其它使用還需要進行主機名的設置
主機名進行設置(修改主機名):
[root@master /]# cat /etc/sysconfig/network #HOSTNAME=localhostzjx
NETWORKING=yes
HOSTNAME=master
NETWORKING_IPV6=yes

需要進行切換用戶生效:
su - root

也可百度下設置用戶名和密碼,另外需要將進行網絡通信的主機名與ip加入/etc/hosts 。這裏面配置的是其它主機的ip與主機名的映射,由此纔可以通過主機名進行訪問。
vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.176.2.101 master
10.176.2.103 zjx03
10.176.2.105 zjx05
10.176.2.111 yjy11
10.176.2.113 yjy13
10.176.2.115 yjy15

可以使用主機名進行測試:
ssh master date

基本安裝與環境配置到此已經完畢,可以使用此鏡像完成

大數據hadoop安裝準備
hadoop安裝
hadoop下載地址:
http://central.maven.org/maven2/org/apache/hadoop/
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

hadoop安裝獲取hadoop官方版本,另一個是CDH版本,關於安裝版本選擇,目前所使用的較多的有hadoop-2.5版本,但後續更多應用均採用2.7,此處也選用hadoop-2.7
有參考版本如下:
hadoop-2.5.0.tar.gz
hbase-0.98.6-cdh5.3.0
jdk-7u67-linux-x64
zookeeper-3.4.5-cdh.10.0

實際安裝版本:
jdk-8.191
hadoop-2.7.7
zookeeper-3.4.5-cdh5.12.2
後續組件安裝sqoop選用版本:sqoop-1.4.7.bin__hadoop-2.6.0
已成功安裝對應此版本下的基於zookeeper的hadoop集羣,此版本測試環境可以放心使用,生產環境待測。

下一篇:進行大數據平臺搭建hadoop安裝(單機版,hadoop集羣版,zookeeper管理集羣的安裝)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章