[linux] Apache 下 TIME_WAIT 太多的问题

1. 问题：
   apache与负载均衡器的的连接数过多，导致链接延迟；

2. 原因：
   通过查看服务器网络状态检测到服务器有大量的 TIME_WAIT 的状态；
   检查命令 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

   	它会显示例如下面的信息：
   	TIME_WAIT 814
   	CLOSE_WAIT 1
   	FIN_WAIT1 1
   	ESTABLISHED 634
   	SYN_RECV 2
   	LAST_ACK 1
   	#常用的三个状态是：ESTABLISHED 表示正在通信，TIME_WAIT 表示主动关闭，CLOSE_WAIT 表示被动关闭
   

3. 解决方法：
   解决思路很简单，就是让服务器能够快速回收和重用那些 TIME_WAIT 的资源。

   1. vi /etc/sysctl.conf
   2. 增加或修改代码如下：

   #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭
   net.ipv4.tcp_syncookies = 1
   #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭 
   net.ipv4.tcp_tw_reuse = 1
   #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭  
   net.ipv4.tcp_tw_recycle = 1
   #表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间 
   net.ipv4.tcp_fin_timeout = 30
   

   3. 然后，执行 /sbin/sysctl -p 让参数生效。

---

追溯

因为 linux 分配给一个用户的文件句柄是有限的，而 TIME_WAIT 和 CLOSE_WAIT 两种状态如果一直被保持，那么意味着对应数目的通道就一直被占着，而且是“占着茅坑不使劲”，一旦达到句柄数上限，新的请求就无法被处理了，接着就是大量Too Many Open Files异常。。。
1. 什么原因导致的 TIME_WAIT 的？
从上面的示意图可以看得出来，TIME_WAIT 是主动关闭连接的一方保持的状态，对于爬虫服务器来说他本身就是“客户端”，在完成一个爬取任务之后，他就 会发起主动关闭连接，从而进入 TIME_WAIT 的状态，然后在保持这个状态 2MSL（max segment lifetime）时间之后，彻底关闭回收资源。为什么要这么做？明明就已经主动关闭连接了为啥还要保持资源一段时间呢？这个是 TCP/IP 的设计者规定 的，主要出于以下两个方面的考虑： 1. 防止上一次连接中的包，迷路后重新出现，影响新连接（经过2MSL，上一次连接中所有的重复包都会消失） 2. 可靠的关闭 TCP 连接。在主动关闭方发送的最后一个 ack(fin) ，有可能丢失，这时被动方会重新发 fin, 如果这时主动方处于 CLOSED 状态 ，就会响应 rst 而不是 ack。所以主动方要处于 TIME_WAIT 状态，而不能是 CLOSED 。另外这么设计 TIME_WAIT 会定时的回收资源，并不会占用很大资源的，除非短时间内接受大量请求或者受到攻击。

[引用] MSL：
MSL 为一个 TCP Segment (某一块 TCP 网路封包) 从来源送到目的之间可续存的时间 (也就是一个网路封包在网路上传输时能存活的时间)，由于 RFC 793 TCP 传输协定是在 1981 年定义的，当时的网路速度不像现在的网际网路那样发达，你可以想像你从浏览器输入网址等到第一个 byte 出现要等 4 分钟吗？在现在的网路环境下几乎不可能有这种事情发生，因此我们大可将 TIME_WAIT 状态的续存时间大幅调低，好让连线埠 (Ports) 能更快空出来给其他连线使用。
[引用] 网络资源：
值得一说的是，对于基于 TCP 的 HTTP 协议，关闭 TCP 连接的是Server 端，这样，Server 端会进入 TIME_WAIT 状态，可 想而知，对于访 问量大的 Web Server，会存在大量的TIME_WAIT状态，假如server一秒钟接收 1000 个请求，那么就会积压 240*1000=240，000 个 TIME_WAIT 的记录，维护这些状态给 Server 带来负担。当然现代操作系统都会用快速的查找算法来管理这些 TIME_WAIT，所以对于新的 TCP 连接请求，判断是否hit中一个TIME_WAIT不会太费时间，但是有这么多状态要维护总是不好。 HTTP协议1.1版规定 default 行为是 Keep-Alive，也就是会重用 TCP 连接传输多个 request/response，一个主要原因就是发现了这个问题。