【原創】Linux 大規模請求服務器連接數相關設置
一般一個大規模Linux服務器請求數可能是幾十萬上百萬的情況,需要足夠的連接數來使用,所以務必進行相應的設置。
默認的Linux服務器文件描述符等打開最大是1024,用ulimit -a 查看:
[viewuser@~]$ ulimit -a
core file size (blocks, -c) 0 #coredump 文件大小
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 255622
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024 #打開文件數量,root賬戶無限制
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 4096 #root用戶本項是無限
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
設置要求:假設我們要設置爲200W最大打開文件描述符
1. 修改 nr_open 限制 (用途:能夠配置nofile最大數)
cat /proc/sys/fs/nr_open
Linux 內核 2.6.25 以前,在內核裏面宏定義是1024*1024,最大隻能是100w(1048576),所以不要設置更大的值,如果Linux內核大於 2.6.25 則可以設置更大值。
設置方法:
sudo bash -c 'echo 2000000 > /proc/sys/fs/nr_open'
注意:只有修改了 nr_open 限制,才能修改下面的限制。
2. 打開文件描述符限制:修改 limits.conf 的nofile軟硬打開文件限制(用途:tcp連接數)
文件位置:/etc/security/limits.conf
查找 nofile ,如果沒有,則在自己最後加上:
2.6.25 及以前內核設置爲100W:
* soft nofile 1000000
* hard nofile 1000000
2.6.25 以後版本內核可以設置爲200W:
* soft nofile 2000000
* hard nofile 2000000
設置後保存本文件。(本操作必須重啓才生效,如果無法重啓,會無法生效,不確定是否使用 /sbin/sysctl -p 是否可以直接生效)
3. 打開進程限制:修改 limits.conf 中的nproc限制 (用途:進程數)
說明:如果你對進程總數量沒有特殊要求,可以不修改本選項,如果你是一個高性能多進程的server,需要很多進程來處理,那麼可以修改本選項。
ulimit -a 裏可以看到 max user processes 如果值是比較大的,可以不用設置 nproc 項。
配置文件:/etc/security/limits.d/20-nproc.conf (RHEL 7/CentOS 7)
* soft nproc 4096
root soft nproc unlimited
就是root無限(實際root用戶限制是:255622),其他非root用戶是4096個進程。
說明:
硬限制表明soft限制中所能設定的最大值。 soft限制指的是當前系統生效的設置值。 hard限制值可以被普通用戶降低。但是不能增加。 soft限制不能設置的比hard限制更高。 只有root用戶才能夠增加hard限制值。
當增加文件限制描述,可以簡單的把當前值雙倍。 例子如下, 如果你要提高默認值1024, 最好提高到2048, 如果還要繼續增加, 就需要設置成4096。
4. 修改 file-max 選項 (用途:可分配文件句柄數目)
file-max 價值:指定了可以分配的文件句柄的最大數目(可以使用 /proc/sys/fs/file-nr 文件查看到當前已經使用的文件句柄和總句柄數。)
(1) 臨時生效:
文件路徑:/proc/sys/fs/file-max cat /proc/sys/fs/file-max 3252210
如果要修改,直接覆蓋文件:(比如改成200w)
sudo echo 2000000 > /proc/sys/fs/file-max
注意:如果你想每次啓動都自動執行上面的命令,可以在系統啓動配置文件/etc/rc.local裏面添加一句命令:(跟永久生效差不多)
echo 2000000 > /proc/sys/fs/file-max
或者直接Shell全搞定:
echo "echo 2000000 > /proc/sys/fs/file-max" >> /etc/rc.local
(2) 永久生效:
修改配置文件,文件位置:/etc/sysctl.conf
打開配置文件到最末尾,如果配置文件裏沒有則可以直接添加:
sudo echo "fs.file-max = 2000000" >>/etc/sysctl.conf
配置文件生效:sudo /sbin/sysctl -p
5. 修改TCP等相關選項
配置文件:/etc/sysctl.conf
修改選項:
net.core.somaxconn = 2048
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 4096 16777216
net.ipv4.tcp_wmem = 4096 4096 16777216
net.ipv4.tcp_mem = 786432 2097152 3145728
net.ipv4.tcp_max_syn_backlog = 16384
net.core.netdev_max_backlog = 20000
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_orphans = 131072
配置文件生效:sudo /sbin/sysctl -p
以上選項也可以直接給 /proc/sys/net/ 目錄下面按照各個選項可以直接使用 echo VALUE > /proc/sys/net/core/wmem_max 來直接修改內存臨時值生效。
主要看這幾項:
-
net.ipv4.tcp_rmem 用來配置讀緩衝的大小,三個值,第一個是這個讀緩衝的最小值,第三個是最大值,中間的是默認值。我們可以在程序中修改讀緩衝的大小,但是不能超過最小與最大。爲了使每個socket所使用的內存數最小,我這裏設置默認值爲4096。
-
net.ipv4.tcp_wmem 用來配置寫緩衝的大小。讀緩衝與寫緩衝在大小,直接影響到socket在內核中內存的佔用。
-
net.ipv4.tcp_mem 則是配置tcp的內存大小,其單位是頁,而不是字節。當超過第二個值時,TCP進入 pressure模式,此時TCP嘗試穩定其內存的使用,當小於第一個值時,就退出pressure模式。當內存佔用超過第三個值時,TCP就拒絕分配 socket了,查看dmesg,會打出很多的日誌“TCP: too many of orphaned sockets”。
-
net.ipv4.tcp_max_orphans 這個值也要設置一下,這個值表示系統所能處理不屬於任何進程的 socket數量,當我們需要快速建立大量連接時,就需要關注下這個值了。當不屬於任何進程的socket的數量大於這個值時,dmesg就會看 到”too many of orphaned sockets”。
注意:如果是客戶端程序,爲了更好的訪問server程序不是卡在端口分配上,建議把客戶端的端口(port_range)範圍開大一些:
修改文件:/etc/sysctl.conf
net.ipv4.ip_local_port_range = 1024 65535
配置生效:sudo /sbin/sysctl -p
如果是客戶端,其他文件打開限制等可以參考上面的來設置。
6. 其他一些配置
(1) 打開core文件
如果爲了觀察程序是否正常,出現問題後生成相應映像文件,可以開啓coredump相關的操作,可以打開:(非必須,如果線上環境,擔心影響穩定性,可以考慮不開啓)
配置文件:/etc/security/limits.conf
修改配置文件:
增加:
* soft core 102400
* hard core 2048003
建議設置爲無限大小:
* soft core unlimited
* hard core unlimited
然後重啓機器生效(不確定是否可以使用 /sbin/sysctl -p 生效),使用: ulimit -a 或 ulimit -c 查看結果,後續如果程序出現棧溢出等都會生成coredump文件,方便用gdb等追查問題原因。
參考URL:
http://www.tuicool.com/articles/r6NvQr
http://blog.yufeng.info/archives/2568#more-2568
http://heylinux.com/archives/2938.html
http://club.1688.com/article/8964198.html
http://blog.csdn.net/qxk1989/article/details/7822792
http://blog.csdn.net/unix21/article/details/8743537
http://blog.csdn.net/force_eagle/article/details/6725243
轉自黑夜路人微信公衆號文章http://mp.weixin.qq.com/s?__biz=MjM5MDg2NjIyMA==&mid=207150100&idx=1&sn=92a20b281613d7d8eebd10458aa183be&scene=5#rd