azkaban3.57及3.0插件的编译

相关环境:centos7,python,git

版本:azkaban3.57.0   azkaban-plugins 3.0.0(该分支比较完整)

 

vi /usr/libexec/urlgrabber-ext-down (如果没有安装git且已升级了Python3,此处需要改成python2)

yum install -y git (如未安装git)

 

创建目录azkabanProcess :进入目录执行

# git clone -b 3.57.0 https://github.com/azkaban/azkaban.git

# git clone -b 3.0.0 https://github.com/azkaban/azkaban-plugins.git

 

 

一、azkaban编译

 

进入azkaban下载目录,执行:

# ./gradlew distTar -x test (-x test)跳过测试,避免一些测试错误

 

 

 

 

 

 

所有安装包在  ../build/distributions  下,有些只是jar包不用管。

 

 

二、azkaban-plugins编译

直接在主目录下执行  ant ,除了jobtype的spark会报错,其他正常编译

 

 

 

把配置文件对应的测试注释掉可以正常编译通过:(或者把报错行注释,这样spark相关就不会编译,到时候只需要把jobtype插件和安全插件放在目录即可,lib可以不要,已设置相应的spark_home;或者需要其他外部依赖)

 

 

 

 

 

此时运行ant正常编译完成:

 

 

 

 

 

 

最后加到jobtype后,建议把新增hadoop安全插件包

azkaban-hadoop-security-plugin-3.57.0.jar

加进来替换,相当于

azkaban-hadoopsecuritymanageryarn-3.0.0.jar

azkaban-hadoopsecuritymanager-3.0.0.jar

 

 

至此,azkaban3.x及相关插件编译完成,可以直接用于安装配置。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章