搭建環境-個人學習ridis搭建集羣環境使用Centos6,個人操作筆記

課程大綱

1、在虛擬機中安裝CentOS
2、在每個CentOS中都安裝Java和Perl
3、在4個虛擬機中安裝CentOS集羣
4、配置4臺CentOS爲ssh免密碼互相通信

從零開始,純手工,一步一步搭建出一個4個節點的CentOS集羣

爲我們後面的課程做準備,後面會講解大型的分佈式的redis集羣架構,一步一步純手工搭建redis集羣,集羣部署,主從架構,分佈式集羣架構

我們後面的課程,會講解一些實時計算技術的應用,包括storm,講解一下storm的基礎知識,對於java工程師來說,會用就可以了,用一些storm最基本的分佈式實時計算的feature就ok了,搭建一個storm的集羣

部署我們整套的系統,nginx,tomcat+java web應用,mysql

儘量以真實的網絡拓撲的環境,去給大家演示一下整套系統的部署,不要所有東西,redis集羣+storm集羣+nginx+tomcat+mysql,全部放在一個節點上玩兒,也可以去試一試,但是作爲課程來說,效果不是太理想

redis集羣,獨立的一套機器
storm集羣,獨立的一套機器
nginx,獨立部署
tomcat + java web應用,獨立部署
mysql,獨立部署

十幾個機器,去部署整套系統,我在自己的筆記本電腦上來講課的,這麼玩兒撐不住的

i5,12G

4臺虛擬機,每臺虛擬機是1G的內存,電腦基本還能撐住

電腦本身就6個G內存的話,學習這種大型的系統架構的課程,是有點喫力,給大家建議,幾個G的內存條,也就幾百塊錢,給自己最好加個內存條,至少到8G以上

16G湊合

純手工,從零開始

很多視頻課程,裏面講師都是現成的虛擬機,自己都裝好了,包括各種必要的軟件

講課的時候直接基於自己的虛擬機就開始講解了

很多同學就會發現,想要做到跟講師一樣的環境都很難,自己可能照着樣子裝了個環境,但是發現,各種問題,各種報錯,環境起不來

學習課程的過程很艱難

學視頻課程,肯定是要跟着視頻的所有的東西自己去做一做,練一練,結果你卻因爲環境問題,做不了,連不了,那就太慘了

從centos的鏡像文件,到所有的需要使用的軟件,全都給你,在自己電腦上,下載一個虛擬機管理軟件,virtual box,就可以跟着玩兒了

如果你一步一步跟着視頻做,搭建起整個環境,應該問題不大

環境問題,給大家弄成傻瓜式的

------------------------------------------------------------------------------------------

1、在虛擬機中安裝CentOS

啓動一個virtual box虛擬機管理軟件(vmware,我早些年,發現不太穩定,主要是當時搭建一個hadoop大數據的集羣,發現每次休眠以後再重啓,集羣就掛掉了)

virtual box,發現很穩定,集羣從來不會隨便亂掛,所以就一直用virtual box了

(1)使用課程提供的CentOS 6.5鏡像即可,CentOS-6.5-i386-minimal.iso。
(2)創建虛擬機:打開Virtual Box,點擊“新建”按鈕,點擊“下一步”,輸入虛擬機名稱爲eshop-cache01,選擇操作系統爲Linux,選擇版本爲Red Hat,分配1024MB內存,後面的選項全部用默認,在Virtual Disk File location and size中,一定要自己選擇一個目錄來存放虛擬機文件,最後點擊“create”按鈕,開始創建虛擬機。
(3)設置虛擬機網卡:選擇創建好的虛擬機,點擊“設置”按鈕,在網絡一欄中,連接方式中,選擇“Bridged Adapter”。
(4)安裝虛擬機中的CentOS 6.5操作系統:選擇創建好的虛擬機,點擊“開始”按鈕,選擇安裝介質(即本地的CentOS 6.5鏡像文件),選擇第一項開始安裝-Skip-歡迎界面Next-選擇默認語言-Baisc Storage Devices-Yes, discard any data-主機名:spark2upgrade01-選擇時區-設置初始密碼爲hadoop-Replace Existing Linux System-Write changes to disk-CentOS 6.5自己開始安裝。
(5)安裝完以後,CentOS會提醒你要重啓一下,就是reboot,你就reboot就可以了。

(6)配置網絡

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=dhcp
service network restart
ifconfig

BOOTPROTO=static
IPADDR=192.168.0.X
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
service network restart

(7)配置hosts

vi /etc/hosts
配置本機的hostname到ip地址的映射

(8)配置SecureCRT

此時就可以使用SecureCRT從本機連接到虛擬機進行操作了

一般來說,虛擬機管理軟件,virtual box,可以用來創建和管理虛擬機,但是一般不會直接在virtualbox裏面去操作,因爲比較麻煩,沒有辦法複製粘貼

比如後面我們要安裝很多其他的一些東西,perl,java,redis,storm,複製一些命令直接去執行

SecureCRT,在windows宿主機中,去連接virtual box中的虛擬機

收費的,我這裏有完美破解版,跟着課程一起給大家,破解

(9)關閉防火牆

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

vi /etc/selinux/config
SELINUX=disabled

關閉windows的防火牆

後面要搭建集羣,有的大數據技術的集羣之間,在本地你給了防火牆的話,可能會沒有辦法互相連接,會導致搭建失敗

(10)配置yum

yum clean all
yum makecache
yum install wget

------------------------------------------------------------------------------------------

2、在每個CentOS中都安裝Java和Perl

WinSCP,就是在windows宿主機和linux虛擬機之間互相傳遞文件的一個工具

(1)安裝JDK

1、將jdk-7u60-linux-i586.rpm通過WinSCP上傳到虛擬機中
2、安裝JDK:rpm -ivh jdk-7u65-linux-i586.rpm
3、配置jdk相關的環境變量
vi .bashrc
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin
source .bashrc
4、測試jdk安裝是否成功:java -version

(2)安裝Perl

很多講師,拿着自己之前花了很多時間調試好的虛擬機環境,去講課,這個很不負責任

yum install -y gcc

wget http://www.cpan.org/src/5.0/perl-5.16.1.tar.gz
tar -xzf perl-5.16.1.tar.gz
cd perl-5.16.1
./Configure -des -Dprefix=/usr/local/perl
make && make test && make install
perl -v

爲什麼要裝perl?我們整個大型電商網站的詳情頁系統,複雜。java+nginx+lua,需要perl。

perl,是一個基礎的編程語言的安裝,tomcat,跑java web應用

------------------------------------------------------------------------------------------

3、在4個虛擬機中安裝CentOS集羣

(1)按照上述步驟,再安裝三臺一模一樣環境的linux機器
(2)另外三臺機器的hostname分別設置爲eshop-cache02,eshop-cache03,eshop-cache04
(3)安裝好之後,在每臺機器的hosts文件裏面,配置好所有的機器的ip地址到hostname的映射關係

比如說,在eshop-cache01的hosts裏面

192.168.31.187 eshop-cache01
192.168.31.xxx eshop-cache02
192.168.31.xxx eshop-cache03
192.168.31.xxx eshop-cache04

------------------------------------------------------------------------------------------

4、配置4臺CentOS爲ssh免密碼互相通信

(1)首先在三臺機器上配置對本機的ssh免密碼登錄
ssh-keygen -t rsa
生成本機的公鑰,過程中不斷敲回車即可,ssh-keygen命令默認會將公鑰放在/root/.ssh目錄下
cd /root/.ssh
cp id_rsa.pub authorized_keys
將公鑰複製爲authorized_keys文件,此時使用ssh連接本機就不需要輸入密碼了

(2)接着配置三臺機器互相之間的ssh免密碼登錄
使用ssh-copy-id -i hostname命令將本機的公鑰拷貝到指定機器的authorized_keys文件中

java,在公司裏做項目,有幾個人是自己去維護linux集羣的啊?????

幾乎沒有,很少很少,類似這一講要做的事情,其實都是SRE,運維的同學,去做的

但是對於課程來說,我們只能自己一步一步做,纔有環境去學習啊!!!

------------------------------------------------------------------------------------------

基於虛擬機的linux集羣環境,都準備好了,手上有4臺機器,後面玩兒各種redis、kafka、storm、tomcat、nginx,都有機器了
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章