nginx + tomcat 集羣實現負載均衡

 nginx + tomcat 集羣實現負載均衡
2012-09-21 14:15 1338人閱讀 評論(1) 收藏 舉報
nginxtomcat集羣server負載均衡file
1、安裝nginx
     所需的prce庫
     wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.10.tar.gz
     
    tar zxvf pcre-8.10.tar.gz
    cd pcre-8.10/
    ./configure
    make && make install
    cd ../

   安裝nginx
    wget http://nginx.org/download/nginx-0.8.54.tar.gz  
    wget http://nginx.org/download/nginx-1.0.2.tar.gz

   tar zxvf nginx-1.0.2.tar.gz
   cd nginx-1.0.2/
   ./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module
   make && make install
   cd ../ 
創建Nginx日誌目錄 
mkdir -p /home/nginx/logs
chmod +w /home/nginx/logs
chown -R www:www /home/nginx/logs 
創建Nginx配置文件 
①、在/usr/local/nginx/conf/目錄中創建nginx.conf文件：
       rm -f /usr/local/nginx/conf/nginx.conf
       vi /usr/local/nginx/conf/nginx.conf 
輸入以下內容： 
user www www;
worker_processes 8;
error_log /home/nginx/logs/nginx_error.log  crit;
pid /usr/local/nginx/nginx.pid;
worker_rlimit_nofile 65535;


events
{
    use epoll;
    worker_connections 65535;
}

http
{
    include mime.types;
    default_type application/octet-stream;
    #charset gb2312;

    server_names_hash_bucket_size 128;
    client_header_buffer_size 32k;
    large_client_header_buffers 4 32k;
    client_max_body_size 8m;
    sendfile on;
    tcp_nopush on;

    keepalive_timeout 60;

    tcp_nodelay on;

    fastcgi_connect_timeout 300;
    fastcgi_send_timeout 300;
    fastcgi_read_timeout 300;
    fastcgi_buffer_size 64k;
    fastcgi_buffers 4 64k;
    fastcgi_busy_buffers_size 128k;
    fastcgi_temp_file_write_size 128k;

    gzip on;
    gzip_min_length 1k;
    gzip_buffers 4 16k;
    gzip_http_version 1.0;
    gzip_comp_level 2;
    gzip_types text/plain application/x-javascript text/css application/xml;
    gzip_vary on;

    #limit_zone crawler$binary_remote_addr10m;

  #測試
 server
  {
   listen      80;
    server_name www.test.com;
    index index.htm index.html index.jsp;
   root  /home/htdocs/web/ROOT/;

    location ~ .*$
    {
      index index.jsp;
      proxy_pass http://www.test.com:8080;
    }
    access_log logs/sp.imichat.com.log combined;
    error_page  404 = /404.html;
  }


}

　②、在/usr/local/nginx/conf/目錄中創建fcgi.conf文件：
            vi /usr/local/nginx/conf/fcgi.conf 
    輸入以下內容： 
    fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
fastcgi_param  SERVER_SOFTWARE    nginx;


fastcgi_param  QUERY_STRING       $query_string;
fastcgi_param  REQUEST_METHOD     $request_method;
fastcgi_param  CONTENT_TYPE       $content_type;
fastcgi_param  CONTENT_LENGTH     $content_length;


fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
fastcgi_param  REQUEST_URI        $request_uri;
fastcgi_param  DOCUMENT_URI       $document_uri;
fastcgi_param  DOCUMENT_ROOT      $document_root;
fastcgi_param  SERVER_PROTOCOL    $server_protocol;


fastcgi_param  REMOTE_ADDR        $remote_addr;
fastcgi_param  REMOTE_PORT        $remote_port;
fastcgi_param  SERVER_ADDR        $server_addr;
fastcgi_param  SERVER_PORT        $server_port;
fastcgi_param  SERVER_NAME        $server_name;


# PHP only, required if PHP was built with --enable-force-cgi-redirect
fastcgi_param  REDIRECT_STATUS    200;
啓動Nginx 
ulimit -SHn 65535
/usr/local/nginx/sbin/nginx 
配置開機自動啓動Nginx 
    vi /etc/rc.local 
在末尾增加以下內容： 
ulimit -SHn 65535 
/usr/local/nginx/sbin/nginx 
優化Linux內核參數 
vi /etc/sysctl.conf 
在末尾增加以下內容： 
    # Add
net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog =  32768
net.core.somaxconn = 32768


net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216


net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2


net.ipv4.tcp_tw_recycle = 1
#net.ipv4.tcp_tw_len = 1
net.ipv4.tcp_tw_reuse = 1


net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800


#net.ipv4.tcp_fin_timeout = 30
#net.ipv4.tcp_keepalive_time = 120
net.ipv4.ip_local_port_range = 1024  65535

使配置立即生效： 
   /sbin/sysctl -p 

在不停止Nginx服務的情況下變更Nginx配置 
修改/usr/local/nginx/conf/nginx.conf配置文件後，請執行以下命令檢查配置文件是否正確：
/usr/local/nginx/sbin/nginx -t 

如果屏幕顯示以下兩行信息，說明配置文件正確：
　　the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
　　the configuration file /usr/local/nginx/conf/nginx.conf was tested successfully 
重啓nginx： 
      /usr/local/nginx/sbin/nginx -s reload
編寫每天定時切割Nginx日誌的腳本 
       創建腳本/usr/local/nginx/sbin/cut_nginx_log.sh
            vi /usr/local/nginx/sbin/cut_nginx_log.sh
輸入以下內容： 
#!/bin/bash
# This script run at 00:00
# The Nginx logs path
logs_root_path="/home/nginx/logs/"
logs_path=${logs_root_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/
mkdir -p ${logs_path}
#日誌文件名 ====================================================
logs_name="weblogs"
logs_file=${logs_root_path}${logs_name}.log
cut_logs_file=${logs_path}${logs_name}_$(date -d "yesterday" +"%Y%m%d").log
mv ${logs_file} ${cut_logs_file}
tar czf ${cut_logs_file}.tar.gz ${cut_logs_file}
rm -f ${cut_logs_file}
#重啓nginx
/usr/local/nginx/sbin/nginx -s reload

對這個腳本賦執行權限
# chmod +x /usr/local/nginx/sbin/cut_nginx_log.sh 
設置crontab，每天凌晨00:00切割nginx訪問日誌 
crontab -e 
輸入以下內容： 
    00 00 * * * /bin/bash  /usr/local/nginx/sbin/cut_nginx_log.sh 

2、配置nginx負載均衡
    編輯nginx.conf
        vim /usr/local/nginx/conf/nginx.conf
    在server上面增加
     upstream  www.test.com {
              server  www.test.com:8888;
              server  www.test.com:8080;
        #ip_hash;   注：如果加入了ip_hash， 這種只能適用於當某個用戶連接上了一臺服務器後，他登陸之後所做的一切操作都只會在那一臺服務器不會跳轉到另外的服務器，如果那臺服務器over掉了，則會自動退出，連接到另一服務器
    }
www.test.com 是自己的服務器，最好是用域名
upstream後面的名字要與proxy_pass 這個名字一樣，建議upstream後面的名字，proxy_pass 後面的名字，server_name 後面的名字一致
示例：
  upstream  www.test.com {
              server  www.test.com:8888;
              server  www.test.com:8080;
    }

  #測試
 server
  {
   listen      80;
    server_name www.test.com;
    index index.htm index.html index.jsp;
   root  /home/htdocs/web/ROOT/;

    location ~ .*$
    {
      index index.jsp;
      proxy_pass http://www.test.com; 注：做了負載均衡，這個後面就不能再加端口
    }
    access_log logs/sp.imichat.com.log combined;
    error_page  404 = /404.html;
  }


注：如果負載均衡不成功，請檢查是否沒有經過nginx，80端口直接被轉發到了tomcat服務的端口上

3、配置tomcat集羣
    優化tomcat 最大併發數，編輯server.xml
             <Connector port="8080" maxHttpHeaderSize="8192"

               maxThreads="2048" minSpareThreads="100" maxSpareThreads="200"

               enableLookups="false" redirectPort="8443" acceptCount="500"

               connectionTimeout="20000" disableUploadTimeout="true" />


            <Engine name="Catalina" defaultHost="localhost" jvmRoute="worker1">

        <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" tcpListenAddress="127.0.0.1" />
    修改web.xml
        增加標籤：<distributable/>
            直接加在</web-app> 之前就可以了，這個是加入tomcat 的session 複製的，做tomcat 集羣必須需要這一步，否則用戶的session 就無法正常使用.