【Azkaban】記錄一個問題:Azkaban Execute Flow一直PREPARING狀態

問題描述:

  • web服務端啓動閃退或者後面
  • Execute Flow一直處於PREPARING狀態
  • 查看日誌後發現連接執行器時全部被拒

原因分析:

  • 可能原因一:內存問題:
    過濾器會檢查 executor 主機空餘內存是否會大於 6G,如果不足 6G,則 web-server 不會將任務交由該主機執行,需要修改azkaban-web下的azkaban.properties配置文件,去掉MinimumFreeMemory

  即將配置文件中:

azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus

   改爲:

azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
  • 可能原因二:由於非正常啓動、關閉服務/異常關機,導致數據庫裏面executors信息混亂:

  • 正常情況:
    在這裏插入圖片描述

  • 解決辦法:刪除表裏內容

mysql> use azkaban;
truncate table executors;
  • 按照官方SQL腳本重新初始化
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql

在這裏插入圖片描述

  • 在三臺機器上啓動並激活executor server
#三臺機器:啓動並激活
cd /opt/module/azkaban/azkaban-exec-server-3.84.4
bin/start-exec.sh
  • 如果三臺機器都出現如下提示,表示激活成功,不然就是表裏內容沒成功清除
{"status":"success"}

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章