Nginx 日誌自定義記錄及啓用日誌緩衝區

原文鏈接: 何曉東 博客

如果想統計網站的訪問來源信息,可以用 php 獲取信息,記錄到數據庫的形式,也可以直接使用 nginx 提供的訪問日誌,來記錄網站的訪問詳情,管理員可以通過分析 nginx 的訪問日誌,來分析用戶的訪問來源,訪問行爲詳情,網站頁面訪問熱度等。此外,nginx 自身也有錯誤日誌,方便運維人員調試 nginx。對於記錄日誌的行爲,如果每次進行磁盤操作,將會較多的耗費資源,基於這個情況可以開啓 nginx 日誌緩衝區,緩衝區滿或者定時寫入的時間到了,再一次寫入日誌。

訪問日誌

nginx 在處理請求後立即在訪問日誌中寫入有關客戶端請求的信息。默認情況下,訪問日誌位 logs/access.log 中,信息以預定義的組合格式寫入日誌。
想要精確記錄訪問信息,就需要自定義一個更加完整的訪問日誌格式,如下所示:

http {
    log_format geoproxy
    '[$time_local] $remote_addr '
    '$realip_remote_addr $remote_user '
    '$request_method $server_protocol '
    '$scheme $server_name $uri $status '
    '$request_time $body_bytes_sent '
    '$geoip_city_country_code3 $geoip_region '
    '"$geoip_city" $http_x_forwarded_for '
    '$upstream_status $upstream_response_time '
    '"$http_referer" "$http_user_agent"';
    ...
}

這個日誌配置被命名爲 geoproxy,它使用許多 nginx 變量來演示 nginx 日誌記錄功能。詳細講解配置選項中各個變量的具體含義:

當用戶發起請求時,會記錄服務器時間 $time_local, $remote_user 值爲通過基本授權的用戶名稱;

用於 nginx 處理 geoip_proxyrealip_header 指令的打開連接的 IP 地址和客戶端 IP 地址;

之後記錄 HTTP 請求方法 $request_method、協議 $server_protocol 和 HTTP 方法 $scheme:httphttps

當然還有服務器名稱 $server_name、請求的 URI 和響應狀態碼;

除基本信息外,還有一些統計的結果數據:包括請求處理的毫秒級時間 $request_time、服務器響應的數據塊大小 $body_bytes_sent
此外,客戶端所在國家 $geoip_city_country_code3、地區 $geoip_region 和城市信息 $geoip_city 也被記錄在內;

變量 $http_x_forwarded_for 用於記錄由其它代理服務器發起的請求的 X-Forwarded-For 頭消息;

upstream 模塊中一些數據也被記錄到日誌裏:被代理服務器的響應狀態碼 $upstream_status 、建立鏈接和從上游服務器接收響應主體最後一個字節的時間 $upstream_response_time、 建立和上游服務器的鏈接時間 $upstream_connect_time、建立鏈接和從上游響應頭的第一個字節的時間 $upstream_header_time

請求來源 $http_referer 和用戶代理 $http_user_agent 也可以被記錄在日誌裏;

nginx 的日誌記錄功能非常強大和靈活的,需要注意的是:用於定義日誌格式的 log_format 指令僅適用於 http 塊級指令內,所有時間值均以毫秒爲單位,以毫秒分辨率進行測量。

這個格式的日誌配置將產生如下類型的日誌:

[25/Feb/2019:16:20:42 +0000] 10.0.1.16 192.168.0.122 Derek
GET HTTP/1.1 http www.example.com / 200 0.001 370 USA MI
"Ann Arbor" - 200 0.001 "-" "curl/7.47.0"

如果需要使用這個日誌配置,需要結合使用 access_log 指令,access_log指令接收一個日誌目錄和使用的配置名作爲參數:

server {
    access_log /var/log/nginx/access.log geoproxy;
    ...
}

access_log 能在多個上下文使用,每個上下文中可以定義各自的日誌目錄和日誌記錄格式。

結論: nginx 中的日誌模塊允許爲不同的場景配置日誌格式,以便查看不同的日誌文件。

在實際運用中,爲不同上下文配置不同的日誌會非常有用,記錄的日誌內容可以簡單的信息,也可以詳細記錄所有必要信息。不僅如此,日誌內容除了支持文本
也能記錄 json 格式和 xml 格式數據。實際上 nginx 日誌有助於您瞭解服務器流量、客戶端使用情況和客戶端來源等信息。此外,訪問日誌還可以幫助您定位與上游服務器或特定 uri 相關的響應和問題;對於測試來講,訪問日誌同樣有用,它可以用於分析流量情況,模擬真實的用戶交互場景。日誌在故障排除、調試、應用分析及業務調整中作用是不可或缺的。

錯誤日誌

爲了精確定位 nginx 的錯誤日誌,使用自帶的 error_log 指令定義錯誤日誌目錄及記錄錯誤日誌的等級,配置如下:

error_log /var/log/nginx/error.log warn;

error_log 指令配置時需要一個必選的日誌目錄和一個可選的錯誤等級選項。
if 指令外,error_log 指令能在所有的上下文中使用。錯誤日誌等級包括:
debug、info、notice、warn、error、crit、alert 和 emerg。給出的日誌
等級順序就是記錄最小到最嚴謹的日誌等級順序。需要注意的是 debug 日誌
需要在編譯 nginx 服務器時,帶上 --with-debug 標識才能使用。

當服務器配置出錯時,首先需要查看錯誤日誌以定位問題。錯誤日誌
也是定位應用服務器(如 FastCGI 服務)的利器。通過錯誤日誌,我們可以調試 worker 進程連接錯誤、內存分配、客戶端 IP 和 應用服務器等問題。錯誤日誌格式不支持自定義日誌格式;但他同樣記錄當前時間、日誌等級和具體信息等數據。

注意: 錯誤日誌的默認設置適用於全局。要覆蓋它,請將 error_log 指令放在 main(頂級)配置上下文中。error_log 在開源 NGINX 1.5.2 版中添加了在同一配置級別指定多個指令的功能。

通過 syslog 將日誌發送到統一服務器

既然不再需要將日誌寫到磁盤的某個目錄,而是發送到統一的日誌服務器,則將原有的目錄部分替換爲服務器 ip 即可,配置如下:

error_log syslog:server=10.0.1.42 debug;
access_log syslog:server=10.0.1.42,tag=nginx,severity=info geoproxy;

#error_log server=unix:/var/log/nginx.sock debug;
#access_log syslog:server=[2001:db8::1]:1234,facility=local7,tag=nginx,severity=info;

error_logaccess_log 指令的 syslog 參數緊跟冒號 : 和一些參數選項。包括:必選的 server 標記表示需要連接的 IP、DNS 名稱或 UNIX 套接字;
可以使用如上註釋的高端玩。

可選參數有 facilityseveritytag:

server 參數接收帶端口的 IP 地址或 DNS 名稱;默認是 UDP 514 端口。

facility 參數設置syslog 的類型 facility,值是 syslog RFC 標準定義的 23 個值中一個,默認值爲 local7。其他可能的值是:authauthprivdaemoncronftplprkernmailnewssysloguseruucplocal0 ... local7

tag 參數表示日誌文件中顯示時候的標題,默認值是 nginx

severity 設置消息嚴重程度,默認是 info 級別日誌。

日誌緩衝區

當系統處於負載狀態時,啓用日誌緩衝區以降低 nginx worker 進程阻塞。大量的磁盤讀寫和 cpu 資源使用對於服務器資源也是一種巨大消耗。將日誌數據緩衝到內存中可能是很小的一個優化手段,buffer 參數意義是緩衝區的大小,功能是當緩衝區已經寫滿時,日誌會被寫入文件中;flush 參數意義是緩衝區內日誌在緩衝區內存中保存的最長時間,功能即當緩存中的日誌超過最大緩存時間,也會被寫入到文件中,不足的地方即寫入到日誌文件的日誌有些許延遲,即時調試中應當關閉日誌緩衝。。配置如下:

http {
    access_log /var/log/nginx/access.log main buffer=32k flush=1m;
}

參考鏈接:

  1. nginx cook book
  2. nginx 配置日誌

如常,給大家推薦一波課程,我看過的,質量很高 -> 去瞅瞅

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章