相關環境:centos7,python,git
版本:azkaban3.57.0 azkaban-plugins 3.0.0(該分支比較完整)
vi /usr/libexec/urlgrabber-ext-down (如果沒有安裝git且已升級了Python3,此處需要改成python2)
yum install -y git (如未安裝git)
創建目錄azkabanProcess :進入目錄執行
# git clone -b 3.57.0 https://github.com/azkaban/azkaban.git
# git clone -b 3.0.0 https://github.com/azkaban/azkaban-plugins.git
一、azkaban編譯
進入azkaban下載目錄,執行:
# ./gradlew distTar -x test (-x test)跳過測試,避免一些測試錯誤
所有安裝包在 ../build/distributions 下,有些只是jar包不用管。
二、azkaban-plugins編譯
直接在主目錄下執行 ant ,除了jobtype的spark會報錯,其他正常編譯
把配置文件對應的測試註釋掉可以正常編譯通過:(或者把報錯行註釋,這樣spark相關就不會編譯,到時候只需要把jobtype插件和安全插件放在目錄即可,lib可以不要,已設置相應的spark_home;或者需要其他外部依賴)
此時運行ant正常編譯完成:
最後加到jobtype後,建議把新增hadoop安全插件包
azkaban-hadoop-security-plugin-3.57.0.jar
加進來替換,相當於
azkaban-hadoopsecuritymanageryarn-3.0.0.jar
和
azkaban-hadoopsecuritymanager-3.0.0.jar
至此,azkaban3.x及相關插件編譯完成,可以直接用於安裝配置。