告别TCP: time wait bucket table overflow
随着访问量的增大,系统默认的承受能力达到上限,系统日志频繁出现。/var/log/messages中常见的“kernel: TCP: time wait bucket table overflow”这个信息,会发现每隔5s就会报出几行。此时查看连接状态如下:
[root@IPTV001 ~]# netstat -an | awk '{print $6}' | sort | uniq -c | sort -rn 6216 TIME_WAIT 30 LISTEN 21 ESTABLISHED 20 CONNECTED 14 4 STREAM 2 FIN_WAIT1 1 I-Node 1 Foreign 1 FIN_WAIT2 1 established) 1 CLOSE_WAIT 1 and 1 987101641 1 8614 1 8613 1 8597
可以看见 TIME_WAIT值还是比较大的
修改 vi /etc/sysctl.conf
net.ipv4.tcp_syncookies = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.shmmax = 68719476736 kernel.shmall = 4294967296 fs.file-max=65535 fs.inotify.max_user_instances = 8192 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.tcp_max_syn_backlog = 65536 net.ipv4.tcp_max_tw_buckets = 20000 net.ipv4.route.gc_timeout = 100 net.ipv4.tcp_syn_retries = 1 net.ipv4.tcp_synack_retries = 1 net.core.somaxconn = 65535 net.core.netdev_max_backlog = 262144 net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_max_orphans = 262144 net.netfilter.nf_conntrack_max = 1048576 net.netfilter.nf_conntrack_tcp_timeout_established = 1200
说明:
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
net.ipv4.tcp_fin_timeout = 30 表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。
net.ipv4.tcp_keepalive_time = 1200 表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为20分钟。
net.ipv4.ip_local_port_range = 1024 65000 表示用于向外连接的端口范围。缺省情况下很小:32768到61000,改为1024到65000。
net.ipv4.tcp_max_syn_backlog = 65536 表示SYN队列的长度,默认为1024,加大队列长度为65536,可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets = 20000 表示系统同时保持TIME_WAIT套接字的最大数量,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息。默认为180000,改 为5000。对于Apache、Nginx等服务器,上几行的参数可以很好地减少TIME_WAIT套接字数量,但是对于Squid,效果却不大。此项参 数可以控制TIME_WAIT套接字的最大数量,避免Squid服务器被大量的TIME_WAIT套接字拖死。
执行以下命令使配置生效:
sysctl -p
观察几分钟后,报错消失,TIME_WAIT连接数减少了。
root@IPTV001 ~]# netstat -an | awk '{print $6}' | sort | uniq -c | sort -rn 4962 TIME_WAIT 30 LISTEN 22 ESTABLISHED 20 CONNECTED 14 4 STREAM 2 FIN_WAIT1 1 I-Node 1 Foreign 1 established) 1 and 1 987101641 1 8614 1 8613 1 8597