Nginx是一款優秀的web服務器和反向代理服務器,基於nginx我們可以搭建一個強大的web服務器,也可以把nginx作爲反向代理服務器而實現負載均衡、動靜分離等功能。
一.httpd的工作模型和I/O模型及其實現
httpd MPM:
prefork:進程模型,兩級結構,主進程master負責生成子進程,每個子進程負責響應一個請求;
worker:線程模型,三級結構,主進程master負責生成子進程,每個子進程負責生成多個線程,每個線程響應一個請求;
event:主進程master負責生成子進程,每個子進程響應多個請求;有一個監控線程,如果有線程處於停止狀態,就會被收回,防止佔用資源。
event、worker:一個線程出問題會影響同一個進程中的其它線程,所以event和worker的穩定性不如prefork
I/O模型:
阻塞型、非阻塞型、複用型、信號驅動型、異步
同步/異步:
關注消息通知機制;
消息通知:
同步:等待對方返回消息;
異步:被調用者通過狀態、通知或回調機制通知調用者被調用者的運行狀態;
阻塞/非阻塞:
關注調用者在等待結果返回之前所處的狀態;
阻塞:blocking,調用結果返回之前,調用者被掛起;
非阻塞:nonblocking,調用結果返回之前,調用者不會被掛起;
一次IO請求,都會由兩階段組成:
第一步:等待數據,即數據從磁盤到內核內存;
第二步:複製數據,即數據內核內存到進程內存;
同步阻塞I/O模型:
應用程序向內核發起系統調用後,需要等內核把應用程序所需的資源完全讀取到用戶空間對應應用程序的內存中,應用程序纔開始工作,在內核讀取資源的這個過程中應用程序是一直處於等待狀態的。
同步非阻塞I/O模型:
應用程序向內核發起系統調用後,在內核把磁盤中所需文件複製到內核內存的這段時間,應用程序需要不斷的詢問內核的執行狀態,待內核把文件讀取到內核內存之後,應用程序就不再詢問。在這期間,應用程序可以執別的指令,但需要不斷的詢問內核的執行情況。
IO多路複用模型:
內核爲應用程序提供一個select功能,應用程序把系統調用交給select,由select代理應用程序去訪問內核。當內核把文件從磁盤讀取到內核內存之後,由select通知應用程序。select可以應對多個應用程序進程,所以稱爲多路複用。應用程序阻塞於select。
信號驅動IO模型:
應用程序通過發送信號的方式去調用內核,在內核把資源從磁盤讀取到內核內存之前應用程序可以處理受別的請求。
異步IO模型:
應用程序系統調用內核,內核把文件讀取到內核內存再到應用程序內存,再通知應用程序,整個內核讀取文件的過程中應用程序都可以接受別的請求,而不用阻塞。
主要實現方式有以下幾種:
Select:Linux實現對應,I/O複用模型,BSD4.2最早實現
Poll:Linux實現,對應I/O複用模型,System V unix最早實現
Epoll:Linux實現,對應I/O複用模型,具有信號驅動I/O模型的某些特性
Kqueue:FreeBSD實現,對應I/O複用模型,具有信號驅動I/O模型某些特性
/dev/poll:SUN的Solaris實現,對應I/O複用模型,具有信號驅動I/O模型的某些特性
Iocp Windows實現,對應第5種(異步I/O)模型
Select:
POSIX所規定,目前幾乎在所有的平臺上支持,其良好跨平臺支持也是它的一個優點,本質上是通過設置或者檢查存放fd標誌位的數據結構來進行下一步處理
缺點
單個進程可監視的fd數量被限制,即能監聽端口的數量有限
cat /proc/sys/fs/file-max
對socket是線性掃描,即採用輪詢的方法,效率較低
select 採取了內存拷貝方法來實現內核將 FD 消息通知給用戶空間,這樣一個用來存放大量fd的數據結構,這樣會使得用戶空間和內核空間在傳遞該結構時複製開銷大
poll
本質上和select沒有區別,它將用戶傳入的數組拷貝到內核空間,然後查詢每個fd對應的設備狀態
其沒有最大連接數的限制,原因是它是基於鏈表來存儲的
大量的fd的數組被整體複製於用戶態和內核地址空間之間,而不管這樣的複製是不是有意義
poll特點是“水平觸發”,如果報告了fd後,沒有被處理,那麼下次poll時會再次報告該fd
邊緣觸發:只通知一次
epoll:
在Linux 2.6內核中提出的select和poll的增強版本
支持水平觸發LT和邊緣觸發ET,最大的特點在於邊緣觸發,它只告訴進程哪些fd剛剛變爲就需態,並且只會通知一次
使用“事件”的就緒通知方式,通過epoll_ctl註冊fd,一旦該fd就緒,內核就會採用類似callback的回調機制來激活該fd,epoll_wait便可以收到通知
優點:
沒有最大併發連接的限制:能打開的FD的上限遠大於1024(1G的內存能監聽約10萬個端口)
效率提升:非輪詢的方式,不會隨着FD數目的增加而效率下降;只有活躍可用的FD纔會調用callback函數,即epoll最大的優點就在於它只管理“活躍”的連接,而跟連接總數無關
內存拷貝,利用mmap(Memory Mapping)加速與內核空間的消息傳遞;即epoll使用mmap減少複製開銷
複用型IO調用:
select():1024
poll():
event-driven:
epoll(Linux):libevent
Kqueue(BSD):
Solaris:/dev/poll
二.nginx的架構及其特點
Nginx的程序架構:
master/worker
一個master進程:
負載加載和分析配置文件、管理worker進程、平滑升級
一個或多個worker進程
處理並響應用戶請求
緩存相關的進程:
cache loader:載入緩存對象
cache manager:管理緩存對象
特性:異步、事件驅動和非阻塞
併發請求處理:通過kevent/epoll/select,/dev/poll
文件IO:高級IO sendfile,異步,mmap
nginx高度模塊:高度模塊化,但其模塊早期不支持DSO機制;近期版本支持動態裝載和卸載;
模塊分類:
核心模塊:core module,必須有的,基本模塊
標準模塊:
HTTP modules:
Standard HTTP modules
Optional HTTP modules
Mail modules
Stream modules
第三方模塊 party modules
nginx的功用:
靜態的web資源服務器;(圖片服務器,或js/css/html/txt等靜態資源服務器)
結合FastCGI/uwSGI/SCGI等協議反代動態資源請求;
http/https協議的反向代理;
imap4/pop3協議的反向代理;
tcp/udp協議的請求轉發;
三.nginx的安裝和基礎配置
nginx的安裝:
官方的預製包:
http://nginx.org/packages/centos/7/x86_64/RPMS/
Fedora-EPEL:
編譯安裝:
yum install pcre-devel openssl-devel zlib-devel
useradd -r nginx
./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_v2_module --with-http_dav_module --with-http_stub_status_module --with-threads --with-file-aio
# make && make install
配置:
配置文件的組成部分:
主配置文件:nginx.conf
include conf.d/*.conf
fastcgi, uwsgi,scgi等協議相關的配置文件
mime.types:支持的mime類型
主配置文件的配置指令:
directive value [value2 ...];
注意:
(1) 指令必須以分號結尾;
(2) 支持使用配置變量;
內建變量:由Nginx模塊引入,可直接引用;
自定義變量:由用戶使用set命令定義;
set variable_name value;
引用變量:$variable_name
主配置文件結構:
main block:主配置段,也即全局配置段;
event {
...
}:事件驅動相關的配置;
http {
...
}:http/https 協議相關的配置段;
mail {
...
}
stream {
...
}
http協議相關的配置結構
http {
...
...:各server的公共配置
server {
...
}:每個server用於定義一個虛擬主機;
server {
...
server_name
root
alias
location [OPERATOR] URL {
...
if CONDITION {
...
}
}
}
}
nginx命令
nginx 啓動nginx,不需要通過systemd
nginx -h 顯示nginx的使用幫助
nginx -V 顯示nginx編譯時的選項
nginx -s stop,quit,reopen,reload 停止,退出,重新加載
main配置段常見的配置指令:
分類:
正常運行必備的配置
優化性能相關的配置
用於調試及定位問題相關的配置
事件驅動相關的配置
正常 運行必備的配置:
1、user 指定nginx以什麼身份運行
Syntax: user user [group];
Default: user nobody nobody;
Context: main
Defines user and group credentials used by worker processes. If group is omitted, a group whose name equals that of user is used.
2、pid /PATH/TO/PID_FILE;
指定存儲nginx主進程進程號碼的文件路徑;
3、include file | mask;
指明包含進來的其它配置文件片斷;
4、load_module file;
指明要裝載的動態模塊;
注:部分指令必須放在對應的語句塊,不能隨意放
性能優化相關的配置:
1、worker_processes number | auto;
worker進程的數量;通常應該爲當前主機的cpu的物理核心數;
2、worker_cpu_affinity cpumask ...; 綁定cpu和nginx進程,充分利用cpu緩存,不用再cpu之間來回切換
worker_cpu_affinity auto [cpumask];
CPU MASK:
00000001:0號CPU
00000010:1號CPU
... ...
3、worker_priority number;
指定worker進程的nice值,設定worker進程優先級;[-20,20],nice越小,優先級越高
4、worker_rlimit_nofile number;
worker進程所能夠打開的文件數量上限;socket文件數,進程的併發連接數
調試、定位問題:
1、daemon on|off;
是否以守護進程方式運行Nignx;前臺、後臺
2、master_process on|off;
是否以master/worker模型運行nginx;默認爲on;是否開啓子進程
3、error_log file [level]; 日誌存放路徑及其日誌級別
錯誤日誌文件及其級別;出於調試需要,可設定爲debug;但debug僅在編譯時使用了“--with-debug”選項時纔有效
方式:file /path/logfile;
stderr:發送到標準錯誤
syslog:server-address[,parameter=values]: 發送到syslog memory:size 內存
level:debug|info|notice|warn|error|crit|alter|emerg 日誌級別
事件驅動相關的配置:
events {
...
}
1、worker_connections number;
每個worker進程所能夠打開的最大併發連接數數量;
worker_processes * worker_connections
2、use method;
指明併發連接請求的處理方法;
use epoll;
3、accept_mutex on | off;
處理新的連接請求的方法;on意味着由各worker輪流處理新請求,Off意味着每個新請求的到達都會通知所有的worker進程,但只有一個進程可獲得連接,但喚醒了所有進程會導致系統資源消耗。
與套接字相關的配置:
1、server { ... }
配置一個虛擬主機;
server {
listen address[:PORT]|PORT;
server_name SERVER_NAME;
root /PATH/TO/DOCUMENT_ROOT;
}
服務器根據http請求報文頭部的fqdn來區分不同fqdn的虛擬主機
2、listen PORT|address[:port]|unix:/PATH/TO/SOCKET_FILE
listen address[:port] [default_server] [ssl] [http2 | spdy] [backlog=number] [rcvbuf=size] [sndbuf=size]
default_server:設定爲默認虛擬主機;
ssl:限制僅能夠通過ssl連接提供服務;
backlog=number:後援隊列長度;
rcvbuf=size:接收緩衝區大小;
sndbuf=size:發送緩衝區大小;
注意:
(1) 基於port;
listen PORT; 指令監聽在不同的端口
(2) 基於ip的虛擬主機
listen IP:PORT; IP 地址不同
(3) 基於hostname
server_name fqdn; 指令指向不同的主機名
3、server_name name ...;
指明虛擬主機的主機名稱;後可跟多個由空白字符分隔的字符串;
支持*通配任意長度的任意字符;server_name *.magedu.com www.magedu.*
支持~起始的字符做正則表達式模式匹配;server_name ~^www\d+\.magedu\.com$
匹配機制:
(1) 首先是字符串精確匹配;
(2) 左側*通配符;
(3) 右側*通配符;
(4) 正則表達式;
4、tcp_nodelay on | off;
在keepalived模式下的連接是否啓用TCP_NODELAY選項;
off,延遲發送,多個請求合併後發送
on,不延遲發送
5、sendfile on | off;
是否啓用sendfile功能;在內核中封裝報文直接發送,默認off
server_tokens on | off | build | string
是否在響應報文的Server首部顯示nginx版本
定義路徑相關的配置:
6、root path;
設置web資源路徑映射;用於指明用戶請求的url所對應的本地文件系統上的文檔所在目錄路徑;可用的位置:http, server, location, if in location;
7、location [ = | ~ | ~* | ^~ ] uri { ... }
location @name { ... }
在一個server中location配置段可存在多個,用於實現從uri到文件系統的路徑映射;ngnix會根據用戶請求的URI來檢查定義的所有location,並找出一個最佳匹配,而後應用其配置;
=:對URI做精確匹配;例如, http://www.magedu.com/, http://www.magedu.com/index.html
location = / {
...
}
~:對URI做正則表達式模式匹配,區分字符大小寫;
~*:對URI做正則表達式模式匹配,不區分字符大小寫;
^~:對URI的左半部分做匹配檢查,不區分字符大小寫; 實現動靜分離
不帶符號:匹配起始於此uri的所有的url;
匹配優先級:=, ^~, ~/~*,不帶符號;
= 有問題
root /vhosts/www/htdocs/
http://www.magedu.com/index.html --> /vhosts/www/htdocs/index.html
server {
root /vhosts/www/htdocs/
location /admin/ {
root /webapps/app1/data/
}
}
http://www.magedu.com/admin/index.html --> /webapps/app1/data/admin/index.html
8、alias path;
定義路徑別名,文檔映射的另一種機制;僅能用於location上下文;
注意:location中使用root指令和alias指令的意義不同;
(a) root,給定的路徑對應於location中的/uri/左側的/;
(b) alias,給定的路徑對應於location中的/uri/右側的/;
location /i/ {
alias /data/web2/;
}
注:如果location後面的URI有/,則alias後面的路徑也得有/
9、index file ...;
默認資源;http, server, location;指定默認網頁文件
10、error_page code ... [=[response]] uri;
Defines the URI that will be shown for the specified errors.
定義錯誤頁面,如果訪問錯誤,不返回404,而是返回一個自定義的頁面。
error_page 404 /404.html
error_page 404 =200 /404.html
11、try_files file ... uri;
按順序檢查文件是否存在,返回第一個找到的文件或文件夾(結尾加斜線表示爲文件夾),如果所有的文件或文件夾都找不到,會進行一個內部重定向到最後一個參數。只有最後一個參數可以引起一個內部重定向,之前的參數只設置內部URI的指向。最後一個參數是回退URI且必須存在,否則會出現內部500錯誤
location /images/ {
try_files $uri /images/default.gif;
}
location / {
try_files $uri $uri/index.html $uri.html =404;
}
12、keepalive_timeout timeout [header_timeout];
設定保持連接的超時時長,0表示禁止長連接;默認爲75s;
13、keepalive_requests number;
在一次長連接上所允許請求的資源的最大數量,默認爲100;
14、keepalive_disable none | browser ...;
對哪種瀏覽器禁用長連接;
15、send_timeout time;
向客戶端發送響應報文的超時時長,此處,是指兩次寫操作之間的間隔時長;
16、client_body_buffer_size size;
用於接收客戶端請求報文的body部分的緩衝區大小;默認爲16k;超出此大小時,其將被暫存到磁盤上的由client_body_temp_path指令所定義的位置;
17、client_body_temp_path path [level1 [level2 [level3]]];
設定用於存儲客戶端請求報文的body部分的臨時存儲路徑及子目錄結構和數量;
16進制的數字;
client_body_temp_path path /var/tmp/client_body 1 2 2
1 1級目錄佔1位16進制,即2^4=16個目錄 0-f
2 2級目錄佔2位16進制,即2^8=256個目錄 00-ff
2 3級目錄佔2位16進制,即2^8=256個目錄 00-ff
對客戶端進行限制的相關配置:
18、limit_rate rate;
限制響應給客戶端的傳輸速率,單位是bytes/second,默認0表示無限制;
19、limit_except method ... { ... }
限制對指定的請求方法之外的其它方法的使用客戶端;僅能用於location
limit_except GET {
allow 192.168.1.0/24;
deny all;
}
文件操作優化的配置
20、aio on | off | threads[=pool];
是否啓用aio功能;aio:異步IO
21、directio size | off;
在Linux主機啓用O_DIRECT標記,此處意味文件大於等於給定的大小時使用,例如directio 4m;
22、open_file_cache off; 是否支持緩存
open_file_cache max=N [inactive=time];
nginx可以緩存以下三種信息:
(1) 文件元數據:文件的描述符、文件大小和最近一次的修改時間;
(2) 打開的目錄結構;
(3) 沒有找到的或者沒有權限訪問的文件的相關信息;
max=N:可緩存的緩存項上限;達到上限後會使用LRU算法實現緩存管理;
inactive=time:緩存項的非活動時長,在此處指定的時長內未被命中的或命中的次數少於open_file_cache_min_uses指令所指定的次數的緩存項即爲非活動項;
23、open_file_cache_valid time;
緩存項有效性的檢查頻率;
默認爲60s;
24、open_file_cache_min_uses number;
在open_file_cache指令的inactive參數指定的時長內,至少應該被命中多少次方可被歸類爲活動項;
25、open_file_cache_errors on | off;
是否緩存查找時發生錯誤的文件一類的信息;
默認值爲off
ngx_http_access_module模塊:
實現基於ip的訪問控制功能
26、allow address | CIDR | unix: | all;
27、deny address | CIDR | unix: | all;
http, server, location, limit_except
ngx_http_auth_basic_module模塊
實現基於用戶的訪問控制,使用basic機制進行用戶認證;
28、auth_basic string | off;
29、auth_basic_user_file file;
location /admin/ {
alias /webapps/app1/data/;
auth_basic "Admin Area";
auth_basic_user_file /etc/nginx/.ngxpasswd;
}
注意:htpasswd命令由httpd-tools所提供;