相关环境:centos7,python,git
版本:azkaban3.57.0 azkaban-plugins 3.0.0(该分支比较完整)
vi /usr/libexec/urlgrabber-ext-down (如果没有安装git且已升级了Python3,此处需要改成python2)
yum install -y git (如未安装git)
创建目录azkabanProcess :进入目录执行
# git clone -b 3.57.0 https://github.com/azkaban/azkaban.git
# git clone -b 3.0.0 https://github.com/azkaban/azkaban-plugins.git
一、azkaban编译
进入azkaban下载目录,执行:
# ./gradlew distTar -x test (-x test)跳过测试,避免一些测试错误
所有安装包在 ../build/distributions 下,有些只是jar包不用管。
二、azkaban-plugins编译
直接在主目录下执行 ant ,除了jobtype的spark会报错,其他正常编译
把配置文件对应的测试注释掉可以正常编译通过:(或者把报错行注释,这样spark相关就不会编译,到时候只需要把jobtype插件和安全插件放在目录即可,lib可以不要,已设置相应的spark_home;或者需要其他外部依赖)
此时运行ant正常编译完成:
最后加到jobtype后,建议把新增hadoop安全插件包
azkaban-hadoop-security-plugin-3.57.0.jar
加进来替换,相当于
azkaban-hadoopsecuritymanageryarn-3.0.0.jar
和
azkaban-hadoopsecuritymanager-3.0.0.jar
至此,azkaban3.x及相关插件编译完成,可以直接用于安装配置。