今天互联网圈子最火的一件事就是‘微盟被恶意删库’...
下面盘点一下在我身边发生过的‘删库跑路’事件:
核心研发 应用服务器 4小时恢复
某一天生产环境出现异常,但是在测试环境还真的没有复现,加班到深夜跟leader讨论是不是可以进入生产服务器去看一下?然后leader就给开启了权限并且在旁边盯着。
排查了半个小时没有什么进度,leader就转身去弄自己的东西了。
研发又研究了大概十几分钟,突然跟leader说:
‘X哥,你看这是咋啦?’
leader回头看了一眼发现一切都已经空了...一脸黑线的问: 你干啥了!!!
回答: rm -rf /* 可能也是群里的大佬教的
核心研发 删除数据库 3小时恢复
研发收到leader的通知要删库某个数据库,相关数据已经迁移至其他平台存储。所以数据库要进行物理删除。
删除的数据库名称为 X_DATA,但是该研发其实本身没有该库的权限。他的权限列表里可见的只有XX_DATA。
收到命令后一直很纠结,很奇怪为啥要删了。但是还是忠实的执行了命令 删除XX_DATA库。
不过很厉害的是,由于该研发不知道为啥要删除这个数据库。觉得可能有需要就把数据进行了本地备份 他的硬盘是够大的
马上从本地恢复数据,由于网络原因,三小时回复。
运维人员 禁用云密钥 4小时恢复
事情仅发生在几天前。周末,在家悠哉悠哉的看电视,玩游戏。突然收到服务器告警,负载飚高。赶紧进入服务器进行查看。 这点小权限还是有的
发现有个服务的资源占用非常高,而这个服务是往阿里云数据通道写入数据的。排查日志发现数据一直写入失败重试,当时已经重试了几千次,四个小时没有数据写入成功。
之前由于其他原因直接把重试次数修改为了无限次,并且已经稳定运行了半年多,没有任何的修改与操作,所以当出现问题时马上进入阿里云。没看到有变更的公告,去企业相关群询问了一下。
阿里云的人还没有回复,运维私聊我了:访问密钥(AK/SK)我禁用了,核心就这么一句话。
我当时就疯了,当时就想过去抽他。但是还是先恢复业务再说。
别说为啥禁用,先给我开启了再说。
几分钟后,取消禁用,数据正常写入!由于使用了MQ,所以数据无丢失。影响较小。无实时计算内容,指标无异常。
排查其他使用该访问密钥的服务均受到不同程度影响!
more...
之前经历过较为严格的生产环境控制,研发人员对于 生产环境无权操作。日志只能通过采集到日志系统中进行展现。修改数据?提交SQL,审核,执行。工作到最后,我好像都不知道生产环境有没有公网,因为一切都是内网host..
其实在生产环境切换到root还是很担心的,问一下自己:
-
你有root权限你怕吗? -
你的SQL条件准确吗? -
你的敏感命令可以执行吗? -
rm -rf /* 了解一下...
看到了?不错,说的就是你...!
本文分享自微信公众号 - 指尖数虫(zhijianshuchong)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。