oozie控制檯命令

說明

本博客每週五更新一次。 Apache oozie是hadoop平臺重量級開源工作流任務調度工具，支持sh、jar、sql等多種方式開發任務，工作流支持併發、順序執行，流程通過xml配置。

分享

• 大數據博客列表
• 開發記錄彙總

命令

• 啓動任務：oozie job -oozie http://localhost:11000/oozie -config ./job.properties -run
  • job.properties 目錄下執行
• 停止任務：oozie job -oozie http://localhost:11000/oozie -kill 任務id
• 查看所有運行任務 oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 隊列名-C | awk -F '[\tRUNNING]' '{print $1"\t"$2}'
• 根據任務名獲取任務id：oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 隊列名-C | awk -F '[\tRUNNING]' '{print $1"\t"$2}' |grep "任務名"
• 查看任務信息：
  • 查看默條數任務：oozie job -oozie http://localhost:11000/oozie -info 任務id
  • 查看6000條任務：oozie job -oozie http://localhost:11000/oozie -localtime -len 6000 -info 任務id
• 查看任務日誌：oozie job -oozie http://localhost:11000/oozie -log 任務id
• 驗證workflow.xml是否有錯：oozie validate workflow.xml

總結

• oozie是hadoop平臺任務調度工具之一，常用的還有Azkaban、airflow。
• 個人經驗oozie相對厚重穩定，但更新節奏較慢，目前官方未支持hadoop3，需要自己編譯，但它相對穩定，如輕度任務調度，使用Azkaban自帶頁面配置，開發任務更加友好。