linux服務器每秒併發處理數的計算方法

1、利用網絡處理量計算。

計算參考公式:

併發 = connection established / min(server keepalive, server timeout)

翻譯一下:

併發 = 服務器傳輸鏈接數 除以 服務器軟件的keepalive設置和服務器軟件的超時設置之間的最小值

這個公式算出來的數字是keepalive時間段內的平均值,比真實平均值要小一點,如果想找最大值就要設定keepalive爲0或1,然後多探測幾次。

connection established是服務器當前正在傳輸的鏈接,但是keepalive打開時,新建立的傳輸鏈接會一直存在直到keepalive/timeout關閉鏈接;客戶端主動關閉鏈接的話connection established也會關閉,不過這種鏈接一般比較少,多數瀏覽器都是支持keepalive並遵守服務器配置的。

在linux查看connection established數字的辦法是在命令行執行:

netstat -est|grep "connections established"|cut -d "c" -f 1

keepalive和timeout數字查看辦法要查看web server軟件的配置文件

注意:這個方法只能用於最前端的服務器或7層交換機,前端之後的服務器因爲緩存或鏈接方式的原因往往是不準確的。

2、利用服務器日誌計算

因爲服務器每處理一個請求,都會在日誌裏留下一條信息,所以利用服務器軟件的日誌來計算是最準確的,但是是這種計算方式浮動也可能會比較大,需要取最大值計算。

首先在確定服務器軟件有將所有請求寫入一個日誌文件裏,並確保該日誌文件正在不停記錄。

爲節省時間和服務器資源,把log文件的最後一萬條記錄拿出來統計,我就用nginx默認的main格式作個例子:

執行命令:

tail -10000 nginx.log | awk '{print $4;}' | sort | uniq -c

命令的意思是取log文件的最後一萬條記錄,然後用awk取得日誌文件中表示時間的一列($4),接着再對該列進行一次排序,最後是用uniq把這一列相鄰的重複行合併,並計算合併的條數。

其中先sort再uniq是一種安全的做法,以確保同一秒的日誌先被歸到一起,然後再合併,這樣就不會有同一秒種的日誌會被切成幾段這樣的現象。

可以得到輸出:

23 [09/Sep/2008:20:26:02
26 [09/Sep/2008:20:26:03
17 [09/Sep/2008:20:26:04
20 [09/Sep/2008:20:26:05
...
70 [09/Sep/2008:20:29:43
61 [09/Sep/2008:20:29:44
45 [09/Sep/2008:20:29:45
37 [09/Sep/2008:20:29:46
2 [09/Sep/2008:20:29:47

在這些輸出中,第一條記錄和最後一條記錄因爲時間有可能被切斷,所以是完全不可靠之信息,可以忽略。

如果輸出少於10行的話,要擴大一下範圍,修改tail -10000爲tail -100000取最後十萬條數據統計。

如果只需要看最大值,可以再用sort命令進行排序,並用head命令取出前10行記錄:

tail -10000 nginx.log | awk '{print $4;}' | sort | uniq -c | sort -nr | head

awk命令是一個功能比較強的命令,在這裏只用到最簡單的awk '{print $4;}',意思是將日誌每行按空格切分開,然後切出來的結果依次從左到右就是$1 $2 $3 ...,nginx默認的main日誌時間字段剛好是$4,所以在這裏拿$4來計算。如果是別的格式的日誌,依照這個辦法去找到列數:

就拿apache默認的日誌來看,首先:

head -1 apache.log

得到類似以下的輸出:

60.8.207.86 - - [09/Sep/2008:21:03:58 +0800] "GET / HTTP/1.0" 200 11141 "http://www.sudone.com" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

用awk按空格來切分開之後,60.8.207.86就是$1,$2和$3都是-,[09/Sep/2008:21:03:58是$4,這就是需要拿出來統計的。嗯,怎麼apache的日誌和nginx的一樣的?現在才發現。

那命令也基本沒什麼變化,執行一下:

tail -10000 apache.log | awk '{print $4;}' | sort | uniq -c | sort -nr | head

注意,如果是在squid服務器後面的apache,則日誌會變成這樣:

60.8.207.86, 127.0.0.1 - - [09/Sep/2008:21:03:58 +0800] "GET / HTTP/1.0" 200 11141 "http://www.sudone.com" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

因爲日誌的第一個段:x_forwarded_for中含有空格,所以時間的段會在$3、$4或$5之間變化,從而不能確定,可以先用一次awk或cut以[這個符號切分一下:

tail -10000 apache.log | awk -F"[" '{print $2;}' | awk '{print $1;}' | sort | uniq -c | sort -nr | head



tail -10000 apache.log | cut -d"[" -f 2 | awk '{print $1;}' | sort | uniq -c | sort -nr | head

這樣統計就準確了。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章