azkaban3.57及3.0插件的編譯

相關環境:centos7,python,git

版本:azkaban3.57.0   azkaban-plugins 3.0.0(該分支比較完整)

 

vi /usr/libexec/urlgrabber-ext-down (如果沒有安裝git且已升級了Python3,此處需要改成python2)

yum install -y git (如未安裝git)

 

創建目錄azkabanProcess :進入目錄執行

# git clone -b 3.57.0 https://github.com/azkaban/azkaban.git

# git clone -b 3.0.0 https://github.com/azkaban/azkaban-plugins.git

 

 

一、azkaban編譯

 

進入azkaban下載目錄,執行:

# ./gradlew distTar -x test (-x test)跳過測試,避免一些測試錯誤

 

 

 

 

 

 

所有安裝包在  ../build/distributions  下,有些只是jar包不用管。

 

 

二、azkaban-plugins編譯

直接在主目錄下執行  ant ,除了jobtype的spark會報錯,其他正常編譯

 

 

 

把配置文件對應的測試註釋掉可以正常編譯通過:(或者把報錯行註釋,這樣spark相關就不會編譯,到時候只需要把jobtype插件和安全插件放在目錄即可,lib可以不要,已設置相應的spark_home;或者需要其他外部依賴)

 

 

 

 

 

此時運行ant正常編譯完成:

 

 

 

 

 

 

最後加到jobtype後,建議把新增hadoop安全插件包

azkaban-hadoop-security-plugin-3.57.0.jar

加進來替換,相當於

azkaban-hadoopsecuritymanageryarn-3.0.0.jar

azkaban-hadoopsecuritymanager-3.0.0.jar

 

 

至此,azkaban3.x及相關插件編譯完成,可以直接用於安裝配置。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章