一、Azkaban服務部署模式
(1)solo-server模式
使用的DB是azkaban包自帶一個內嵌的H2庫,Web Server和Executor Server運行在同一個進程裏。這種模式包含Azkaban的所有特性,但一般用來學習和測試。
(2)two-server模式
- DB使用的是MySQL,MySQL支持master-slave架構,Web Server和Executor Server運行在不同的進程中。
- slave(executor)啓動,會在azkaban.executors表中 插入或更新executor的active(存活)記錄; web啓動時,會從azkaban.executors表中讀取executor記錄。
- 所以:該模式啓動,先啓動executor,再啓動web。
(3)分佈式multiple-executor模式
- DB使用的是MySQL,MySQL支持master-slave架構,Web Server和Executor Server運行在不同機器上,且有多個Executor Server。
- 該模式啓動,先啓動executor,再啓動web。
二、Azkaban安裝包源碼編譯
1.源碼下載地址:
https://github.com/azkaban/azkaban
2.需要安裝GIT
yum -y install git
3.進入azkaban目錄 編譯(爲了避免錯莫名其妙的錯誤,跳過test)
./gradlew build -x test
4.編譯成功後:
(1)如果只部署單機solo模式,僅使用azkaban-solo-verver
mv azkaban-solo-server/build/distributions/*.zip /home/azkaban
(2)如果部署master-slaver模式
// Azkaban管理界面UI mv azkaban-web-server/build/distributions/*.zip /home/azkaban // Azkaban 任務執行者 mv azkaban-exec-server/build/distributions/*.zip /home/azkaban // MySQL *.sql數據庫創建文件 mv azkaban-db/build/distributions/*.zip /home/azkaban