Nginx+keepalived 實現高可用負載均衡集羣
一、Nginx簡介
Nginx ("engine x") 是一個高性能HTTP和反向代理 服務器，也是一個 IMAP/POP3/SMTP 服務器。 Nginx 是由 Igor Sysoev 爲俄羅斯訪問量第二的 Rambler.ru 站點開發的，第一個公開版本0.1.0發佈於2004年10月4日。其將源代碼以類BSD許可證的形式發佈，因它的穩定性、豐富的功能集、示例配置文件和低系統資源的消耗而聞名。2011年6月1日，nginx 1.0.4發佈78。
Nginx是一款輕量級的Web 服務器/反向代理服務器及電子郵件（IMAP/POP3）代理服務器，並在一個BSD-like 協議下發行。由俄羅斯的程序設計師Igor Sysoev所開發，供俄國大型的入口網站及搜索引擎Rambler（俄文：Рамблер）使用。其特點是佔有內存少，併發能力強，事實上nginx的併發能力確實在同類型的網頁服務器中表現較好，中國大陸使用nginx網站用戶有：百度、新浪、網易、騰訊等。
二、Keepalived簡介
Keepalived的作用是檢測web服務器的狀態，如果有一臺web服務器死機，或工作出現故障，Keepalived將檢測到，並將有故障的web服務器從系統中剔除，當web服務器工作正常後Keepalived自動將web服務器加入到服務器羣中，這些工作全部自動完成，不需要人工干涉，需要人工做的只是修復故障的web服務器。
其主要原理是使用VRRP技術，VRRP狀態工作機制爲，雙方節點都啓動之後，要實現狀態轉換工作，初始狀態都是backup而後向對方發送通告以及自己的優先級信息，如果收到shutdown信息則轉換爲intalize狀態，如果收到startup而且優先級爲最大，意味着其爲master
而對另外的節點來講收到的startup優先級小於255，那麼就意味着其角色爲backup
如果某通告的時候，backup發現比自己優先級比較低，那麼直接將master角色搶回來。
三、Nginx安裝
安裝方式有2種，編譯安裝（通常選用），使用安裝包安裝（rpm包，dpkg包）。
使用安裝包，安裝適合需求不太高的情景，不需要特別的訂製。
dpkg包方式安裝
Ubuntu系統， apt-get install nginx
如果沒有報錯，即爲安裝成功，可以查看是否生成了 /etc/nginx/nginx.conf文件。
四、Nginx配置文件
#定義Nginx運行的用戶和用戶組
user www www;
#nginx進程數，建議設置爲等於CPU總核心數。
worker_processes 8;
#全局錯誤日誌定義類型，[ debug | info | notice | warn | error | crit ]
error_log /var/log/nginx/error.log info;
#進程文件
pid /var/run/nginx.pid;
#一個nginx進程打開的最多文件描述符數目，理論值應該是最多打開文件數（系統的值ulimit -n）與nginx進程數相除，但是nginx分配請求並不均勻，所以建議與ulimit -n的值保持一致。
worker_rlimit_nofile 65535;
#工作模式與連接數上限
events
{
#參考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本內核中的高性能網絡I/O模型，如果跑在FreeBSD上面，就用kqueue模型。
use epoll;
#單個進程最大連接數（最大連接數=連接數*進程數）
worker_connections 65535;
}
#設定http服務器
http
{
include mime.types; #文件擴展名與文件類型映射表
default_type application/octet-stream; #默認文件類型
#charset utf-8; #默認編碼
server_names_hash_bucket_size 128; #服務器名字的hash表大小
client_header_buffer_size 32k; #上傳文件大小限制
large_client_header_buffers 4 64k; #設定請求緩
client_max_body_size 8m; #設定請求緩
sendfile on; #開啓高效文件傳輸模式，sendfile指令指定nginx是否調用sendfile函數來輸出文件，對於普通應用設爲 on，如果用來進行下載等應用磁盤IO重負載應用，可設置爲off，以平衡磁盤與網絡I/O處理速度，降低系統的負載。注意：如果圖片顯示不正常把這個改成off。
autoindex on; #開啓目錄列表訪問，合適下載服務器，默認關閉。
tcp_nopush on; #防止網絡阻塞
tcp_nodelay on; #防止網絡阻塞
keepalive_timeout 120; #長連接超時時間，單位是秒
#FastCGI相關參數是爲了改善網站的性能：減少資源佔用，提高訪問速度。下面參數看字面意思都能理解。
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;
#gzip模塊設置
gzip on; #開啓gzip壓縮輸出
gzip_min_length 1k; #最小壓縮文件大小
gzip_buffers 4 16k; #壓縮緩衝區
gzip_http_version 1.0; #壓縮版本（默認1.1，前端如果是squid2.5請使用1.0）
gzip_comp_level 2; #壓縮等級
gzip_types text/plain application/x-javascript text/css application/xml;
#壓縮類型，默認就已經包含text/html，所以下面就不用再寫了，寫上去也不會有問題，但是會有一個warn。
gzip_vary on;
#limit_zone crawler $binary_remote_addr 10m; #開啓限制IP連接數的時候需要使用
upstream blog.ha97.com {
#upstream的負載均衡，weight是權重，可以根據機器配置定義權重。weigth參數表示權值，權值越高被分配到的機率越大。
server 192.168.80.121:80 weight=3;
server 192.168.80.122:80 weight=2;
server 192.168.80.123:80 weight=3;
}
#虛擬主機的配置
server
{
#監聽端口
listen 80;
#域名可以有多個，用空格隔開
server_name www.ha97.com ha97.com;
index index.html index.htm index.php;
root /data/www/ha97;
location ~ .*\.(php|php5)?$
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}
#圖片緩存時間設置
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
{
expires 10d;
}
#JS和CSS緩存時間設置
location ~ .*\.(js|css)?$
{
expires 1h;
}
#日誌格式設定
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
#定義本虛擬主機的訪問日誌
access_log /var/log/nginx/ha97access.log access;
#對 "/" 啓用反向代理
location / {
proxy_pass http://127.0.0.1:88;
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
#後端的Web服務器可以通過X-Forwarded-For獲取用戶真實IP
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#以下是一些反向代理的配置，可選。
proxy_set_header Host $host;
client_max_body_size 10m; #允許客戶端請求的最大單文件字節數
client_body_buffer_size 128k; #緩衝區代理緩衝用戶端請求的最大字節數，
proxy_connect_timeout 90; #nginx跟後端服務器連接超時時間(代理連接超時)
proxy_send_timeout 90; #後端服務器數據回傳時間(代理髮送超時)
proxy_read_timeout 90; #連接成功後，後端服務器響應時間(代理接收超時)
proxy_buffer_size 4k; #設置代理服務器（nginx）保存用戶頭信息的緩衝區大小
proxy_buffers 4 32k; #proxy_buffers緩衝區，網頁平均在32k以下的設置
proxy_busy_buffers_size 64k; #高負荷下緩衝大小（proxy_buffers*2）
proxy_temp_file_write_size 64k;
#設定緩存文件夾大小，大於這個值，將從upstream服務器傳
}
#設定查看Nginx狀態的地址
location /NginxStatus {
stub_status on;
access_log on;
auth_basic "NginxStatus";
auth_basic_user_file conf/htpasswd;
#htpasswd文件的內容可以用apache提供的htpasswd工具來產生。
}
#本地動靜分離反向代理配置
#所有jsp的頁面均交由tomcat或resin處理
location ~ .(jsp|jspx|do)?$ {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://127.0.0.1:8080;
}
#所有靜態文件由nginx直接讀取不經過tomcat或resin
location ~ .*.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
{ expires 15d; }
location ~ .*.(js|css)?$
{ expires 1h; }
}
}
五、配置負載均衡配置項
在/etc/nginx/nginx.conf 中，注意有這麼一行命令：
Include /etc/nginx/conf.d/*.conf
我們可以在/etc/nginx/conf.d/目錄下，可以自定義配置文件，配置負載均衡，我們需要定義upstream,項。如下，我們編輯/etc/nginx/conf.d/proxy.conf,
實現目標：通過訪問本機的8080端口，將請求發送到後端主機上去，採用輪休調度。
--------------------------------------------------------------------------------------------------------------------
upstream backend{
server 192.168.0.33:8080; #後端web的IP:端
server 192.168.0.34:8080;
}
server {
listen 8080; #本機監聽端口，通過訪問該端口才能實現向後端web發送請求
location / { #/表示匹配的URL路徑規則，/表示匹配任何規則，能匹配到http://*/， /login 只會匹配到http://login/*/
proxy_pass http://backend; #表示轉發後端web的url
}
}
添上以上配置文件，重啓服務就可以實現輪詢調度後端web服務器，
四、keepalived安裝
1、去官網下載壓縮包*.tar.gz http://www.keepalived.org/download.html;
2、編譯需求環境：libssl-dev openssllibpopt-dev;
3、下載版本爲keepalived-1.2.7.tar.gz ;
4、解壓：tar zxvf keepalived-1.2.7.tar.gz;
5、編譯：# cd keepalived-1.2.7;
# ./configure --prefix=/usr/local;
# make && make install;
6、編譯完成後，生產主要文件及位置如下：
/usr/sbin/目錄下keepalived 可執行程序文件;
/usr/local/etc/keepalived/目錄下 keepalived.conf文件和samples目錄; 可以將keepalived.conf 複製到/etc/keepalived.conf.;
/usr/local/etc/rc.d/init.d/目錄下keepalived 可以當作啓動腳本，複製到/etc/init.d/下;
7、由於是編譯安裝，所以還要修改下啓動腳本里面的用到的一些文件的路徑位置，不 然默認可能會出錯，由於是ubunut系統，和rehat系列不同，function文件的位置不同，故而需要修改，另外還要修改一處啓動參數，如下代碼：
五、Keepalived 配置文件
! Configuration File for keepalived
global_defs {
notification_email { //定義郵件通知機制，暫時不使用
}
notification_email_from [email protected]
smtp_server 192.168.0.32
smtp_connect_timeout 30
router_id LVS_DEVEL
}
--------------------------------------------------------------------------------------
vrrp_script chk_nginx {
script "/etc/keepalived/chk_nginx.sh"//定義腳本塊名，chk_nginx, 定義腳本路徑位置，
interval 2
weight 2
}
------------------------------------------------------------------------------------------
vrrp_instance VI_1 {
state BACKUP //定義主從狀態
interface eth0 //定義網絡接口
virtual_router_id 60 //定義該服務的ID號，主從應該不一樣
priority 99 //定義優先級，0-255，數值越大，優先級越高，MASTER的優先級一定比BACKUP的優先級高。
advert_int 1 //通告
authentication { //認證塊
auth_type PASS
auth_pass 1111
}
-----------------------------------------------------------------------------------------------------
track_script {
chk_nginx //引用定義的腳本塊 chk_nginx
}
--------------------------------------------------------------------------------------------------------
virtual_ipaddress { //定義VIP，
192.168.0.30
}
}
Keepalived 狀態監測腳本，目的：能夠實現實時監控nginx服務，發現nginx服務down掉，嘗試重啓nginx，如果啓動失敗，則keepalived也停止服務。然後VIP會自動切換到BACKUP節點繼續工作。
chk_nginx.sh
#！/bin/bash
#Author Sun Bin
#Date 2016.1.26
ng_status=$(ps -C nginx --no-heading|wc -l)
if [ ${ng_status} -eq 0 ]; then
/etc/init.d/nginx start
status2=$(ps -C nginx --no-heading}wc -l)
if [ ${status2} -eq 0 ]; then
/etc/init.d/keepalived stop
fi
else
status3=$(ps -C keepalived --no-heading|wc -l)
if [ ${status3} -eq 0 ]; then
/etc/init.d/keepalived start
fi
fi
注意：啓動服務時，只需啓動和關閉keepalived服務即可，因爲nginx服務是有keepalived監控的。