elasticsearch cluster_block_exception

insert occur error:Elasticsearch exception [type=cluster_block_exception, reason=blocked by: [FORBIDDEN/8/index write (api)];]

上周我们在uat进行压测,使用的是elasticsearch 为aws的,在压测的过程中,elasticsearch抛出如上的异常信息,经过查阅aws es的文档发现,当es的存储低于一定百分比的时候,就会抛出如上的异常,集群阻塞异常,在进行写入的时候。

在这里插入图片描述
aws elasticsearch troubleshooting 链接

我们的解决方案:

  • 让客户那边上aws,清理该实例的数据(效率慢,需要发邮件走流程,进行申请)
  • 通过kibana进行命令执行 DELETE 索引名
  • 切记不要使用DELETE /_all

拓展:

如果以后上生产,发生这样的情况如何处理?我的想法如下:

  • 运维是否可以通过es存储的监控,比如memory到80%或者90%的时候,发邮件出来,通知开发,然后在kibana上执行无用的文档删除(当然这个是需要客户同意)
  • 由于我们是做保险业务,如果保单终止或者失效的情况下,可以通过监控保单的状态,来将es中的文档删除,不用人为手动去删除。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章