监控告警是故障发现的重要一环，异常发生时，运维人员常常可以从一些告警中找到蛛丝马迹，但是每天动辄上万笔的告警却让运维人员无从下手。就像战场上的子弹，99%都是做掩护，只有1%的子弹能打中敌人！“到底哪些告警才是故障真正的根因？”相信很多运维同学都曾在深夜发出这样的灵魂拷问。如何找到一个有效的方法来帮助运维人员定位出真正的根因？本文就和读者分享一下微众银行技术团队的心路历程。
“告警定位”简简单单四个字，想要做好却不是一件容易的事情。每一条告警，都会包含相应的告警级别（根据程度分为critical, major, minor, warning），告警类型（根据告警源分为网络告警，专线告警，主机告警，TDSQL告警，WEMQ告警等），告警对象（具体的异常点比如主机A，数据库B），告警发生时间等信息。传统的做法是将故障时间段内的低级别的告警过滤掉，只保留高级别的告警，然后按照专家经验对剩下的告警进行优先级排序，比如说网络告警的优先级最高，优先推出；母机、子机告警同时出现，母机告警优先推出；TDSQL节点告警和TDSQL主机告警同时出现，优先推节点告警。类似这种规则还有很多很多，大多都是根据历史案例和运维人员的专家知识归纳总结出来的。这种做法存在几点问题：
原文链接:【https://www.infoq.cn/article/t1YTBqmBkp7xXdAjkV1P】。未经作者许可，禁止转载。