elasticsearch cluster_block_exception

insert occur error:Elasticsearch exception [type=cluster_block_exception, reason=blocked by: [FORBIDDEN/8/index write (api)];]

上週我們在uat進行壓測,使用的是elasticsearch 爲aws的,在壓測的過程中,elasticsearch拋出如上的異常信息,經過查閱aws es的文檔發現,當es的存儲低於一定百分比的時候,就會拋出如上的異常,集羣阻塞異常,在進行寫入的時候。

在這裏插入圖片描述
aws elasticsearch troubleshooting 鏈接

我們的解決方案:

  • 讓客戶那邊上aws,清理該實例的數據(效率慢,需要發郵件走流程,進行申請)
  • 通過kibana進行命令執行 DELETE 索引名
  • 切記不要使用DELETE /_all

拓展:

如果以後上生產,發生這樣的情況如何處理?我的想法如下:

  • 運維是否可以通過es存儲的監控,比如memory到80%或者90%的時候,發郵件出來,通知開發,然後在kibana上執行無用的文檔刪除(當然這個是需要客戶同意)
  • 由於我們是做保險業務,如果保單終止或者失效的情況下,可以通過監控保單的狀態,來將es中的文檔刪除,不用人爲手動去刪除。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章