azkaban3.57web及executor插件安裝

azkaban插件:

web端(hdfs,jobsummary,trigger)

executor端(Jobtype)

azkaban的編譯及安裝請參考另外兩篇博文《azkaban3.57及3.0插件的編譯》,《azkaban3.57多executor節點安裝圖文教程

 

一、安裝hdfs插件(在web端)

 

1、配置好cdh環境變量:

export HADOOP_HOME=/opt/cloudera/parcels/CDH

export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn

(老版本需要在/webServer_home/conf/azkaban.properties文件中新增一行,viewer.plugins=hdfs,指明hdfs插件路徑,現在不需要)

在web_home 下面創建 plugins/viewer

把 azkaban-hdfs-viewer-3.0.0.tar.gz 複製到 viewer下並解壓,把文件夾更名爲hdfs

 

2、複製必要的hadoop依賴包到 web下面的extlib

(注:插件下的extlib不好使,建議以如下方式把相關依賴放入azkaban_web根目錄下的extlib)

 

用到hadoop2.X的話,建議把yarn的安全驗證也放到插件的lib下

 

3、修改 /home/azkaban/azkaban-web-server-3.57.0/plugins/viewer/hdfs/conf/plugin.properties 配置文件

 

另外注意:插件會默認加載 triggers 沒有的話不影響,如果創建了文件夾而沒配的話,會報錯,刪掉文件夾即可!

 

二、jobsummary插件安裝

直接複製插件裏的目錄到viewer下,在lib下加入相應依賴包即可

 

 

三、trigger 插件安裝

觸發器插件安裝,trigger編譯缺失,需要重寫編譯腳本,參照plugins的目錄及腳本配置

 

 

 

 

相關插件目錄在 web-server 的 plugins下

 

 

 

 

二、Jobtype插件安裝(executor端)

 

 

複製編譯後的插件目錄到${azkaban-exec-home}/plugins/jobtypes

 

 

 

把spark缺失的jar包放進去,建立lib用於放置外部依賴(spark插件編譯失敗需要處理的)

 

 

修改

${azkaban-exec-home}/plugins/jobtypes/common.properties

 

該配置是executor執行任務的通用配置,一般任務調度時用到的外部配置也在此配置(比如外部數據庫配置)

 

${azkaban-exec-home}/plugins/jobtypes/commonprivate.properties

 

${azkaban-exec-home}/plugins/jobtypes/spark/private.properties

 

 

同時配置到其他executor節點,並且配置相應的環境變量。(如果部署節點不在大數據集羣,建議把大數據集羣相應的環境依賴複製過來,並配置成系統環境變量)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章