azkaban插件:
web端(hdfs,jobsummary,trigger)
executor端(Jobtype)
azkaban的編譯及安裝請參考另外兩篇博文《azkaban3.57及3.0插件的編譯》,《azkaban3.57多executor節點安裝圖文教程》
一、安裝hdfs插件(在web端)
1、配置好cdh環境變量:
export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn
(老版本需要在/webServer_home/conf/azkaban.properties文件中新增一行,viewer.plugins=hdfs,指明hdfs插件路徑,現在不需要)
在web_home 下面創建 plugins/viewer
把 azkaban-hdfs-viewer-3.0.0.tar.gz 複製到 viewer下並解壓,把文件夾更名爲hdfs
2、複製必要的hadoop依賴包到 web下面的extlib
(注:插件下的extlib不好使,建議以如下方式把相關依賴放入azkaban_web根目錄下的extlib)
用到hadoop2.X的話,建議把yarn的安全驗證也放到插件的lib下
3、修改 /home/azkaban/azkaban-web-server-3.57.0/plugins/viewer/hdfs/conf/plugin.properties 配置文件
另外注意:插件會默認加載 triggers 沒有的話不影響,如果創建了文件夾而沒配的話,會報錯,刪掉文件夾即可!
二、jobsummary插件安裝
直接複製插件裏的目錄到viewer下,在lib下加入相應依賴包即可
三、trigger 插件安裝
觸發器插件安裝,trigger編譯缺失,需要重寫編譯腳本,參照plugins的目錄及腳本配置
相關插件目錄在 web-server 的 plugins下
二、Jobtype插件安裝(executor端)
複製編譯後的插件目錄到${azkaban-exec-home}/plugins/jobtypes
把spark缺失的jar包放進去,建立lib用於放置外部依賴(spark插件編譯失敗需要處理的)
修改
${azkaban-exec-home}/plugins/jobtypes/common.properties
該配置是executor執行任務的通用配置,一般任務調度時用到的外部配置也在此配置(比如外部數據庫配置)
${azkaban-exec-home}/plugins/jobtypes/commonprivate.properties
${azkaban-exec-home}/plugins/jobtypes/spark/private.properties
同時配置到其他executor節點,並且配置相應的環境變量。(如果部署節點不在大數據集羣,建議把大數據集羣相應的環境依賴複製過來,並配置成系統環境變量)