上周是不幸的一周。
周六还在愉快玩耍的时候，突然被@，线上出现严重的bug，还是老大大发现的。
原因是因为数据端开发未通过QA测试，私自改了逻辑，重启服务，导致线上出现bug，功能能可用，但数据不可用的情况。
问题已经出现了，那就得去快速的去解决
出现这个问题，我们追本溯源的方法是：
1. 搞清楚上线这个事情的来龙去脉，为啥上线？
2.要解决什么问题，修改的代码逻辑？
3.出了什么问题？
4.出问题后解决方案是什么？
如何让止损
5.待开发定位完成问题，及时的去做代码逻辑的确认
6.快速的线上验证
7.线上加入监控
Bug review模板
【问题描述】
- 线上XXXX到的部分商品出现XXXX失效。
【问题经过】
- 5.18，11:39左右，小王重建索引，重启两台服务，未经过QA验证，直接上线；
- 5.18，11:51左右，老李发现问题：XXXXX失效；
- 5.18，11:51左右，小王收到反馈的问题，开始排查；
- 5.18，12:00左右，小王定位到问题，开始解决；
- 5.18，12:15左右，修复完成，开始自测；
- 5.18，12:27左右，自测通过，打包上线；
- 5.18，13:50左右，QA同步到该问题的消息；
- 5.18，16:00左右，QA与开发完成逻辑确认开始验证；
- 5.18，17:10左右，线上验证完成，未发现异常情况。
【影响范围】
- 影响时长：48分钟；
- 期间请求次数245次，每次请求会出现10条数据，理论错误概率为1条，在不点击进入商品详情页的情况下，用户无感知；
- 具体影响用户数暂无法统计。
【问题原因】
- 流程方面：
- 开发未遵守测试上线流程
- 技术方面：
- XXXX上mysql库出现大量无效数据与搜索不同（已与小马沟通，他来修改）；
- 为解决数据不同步问题，重建索引，并重启服务，其中调整了过滤逻辑，出现了bug，导致对过期XXXX过滤无效。
【修改方案】
重新修改过滤逻辑，如下图
【改进措施】
- 开发需要严格遵守开发流程；
- 增加对XXXXX业务部门进行发布权限控制；
- 开发上线前需做code review。