Linux服务器出现大量的CLOSE_WAIT的问题
Linux服务器tcp socket常见的几种状态:ESTABLISHED、TIME_WAIT、CLOSE_WAIT。
TCP协议中描述,对于已经建立的连接,网络双方要进行四次握手才能成功断开连接,如果缺少了其中某个步骤,将会使连接处于假死状态,连接本身占用的资源不会被释放。
提供网络服务时,需要特别关注两种状态:CLOSE_WAIT和TIME_WAIT。如果过多,可能导致socket资源耗尽,无法正常提供服务。
ESTABLISHED:表示正在socket通信。
TIME_WAIT:表示请求的客户端主动关闭socket而形成的状态。等待2MSL时间,约4分钟。主要是防止最后一个ACK丢失。由于TIME_WAIT的时间会非常长,因此服务端应尽量减少主动关闭连接。
之所以设计TIME_WAIT状态,是为了考虑ACK丢失的情况发生,服务端将重发FIN,客户端必须维护TCP状态信息以便可以重发最终的ACK,否则会发送RST,结果服务端认为发生错误。
CLOSE_WAIT:表示服务端被动关闭socket。根据TCP状态机,服务器端收到客户端发送的FIN,则按照TCP实现发送ACK,因此进入CLOSE_WAIT状态。但如果服务器端不执行close(),就不能由CLOSE_WAIT迁移到LAST_ACK,则系统中会存在很多CLOSE_WAIT状态的连接。
我就碰到了Linux服务器出现大量的CLOSE_WAIT后,服务无法继续正常服务,socket资源被耗尽。因为Linux分配给一个用户的文件句柄是有限的,而TIME_WAIT和CLOSE_WAIT两种状态如果一直被保持,则文件句柄也就不能close,导致句柄资源达到上线,接着就会出现大量Too Many Open Files错误。
如果出现大量CLOSE_WAIT,首先需要考虑程序是否有BUG,是否有socket泄露(遗漏close())。
查看当前系统中的tcp socket状态信息:
# netstat -n | awk '/^tcp/ {++X[$NF]} END {for(i in X) print i, X[i]}'?
另外一个命令:lsof
搜索系统中IP为192.168.100.20的远程链接所有打开的套接字:
# lsof [email protected]