排查步骤:
使用jstack检查进程的线程状态,发现fullgc线程很忙。
查看gc日志,发现full-gc频繁执行,每秒一次。出现fullgc只能是内存达到预设大小.由此可以断定是内存的问题。
查看系统堆转储快照,除了char和String之外,排名第三的就是ConcurrentHashMap类型的数据,而这部分几乎都是用来缓存全局变量用的。
结合代码和之前打印的日志,发现有一部分内存数量比较可观。
这部分内存存储的是承上启下的数据,并且在数据结构完整处理之后会清理。注意是数据结构完整的前提下才会处理。
分析日志发现上游数据质量差强人意,数据的完整率只有70%。这就意味着每次有30%的缓存数据得不到释放,长此以往必会达到内存瓶颈。
解决办法:
对需要缓存的静态变量进行控制,设置存储大小上限。实时监测存储数量,一旦达到上线就清理10%,程序自动判断自动处理,避免fullgc他老人家出面。