Azkaban 3.x 實戰部署整理

一、Azkaban服務部署模式

(1)solo-server模式

 使用的DB是azkaban包自帶一個內嵌的H2庫,Web Server和Executor Server運行在同一個進程裏。這種模式包含Azkaban的所有特性,但一般用來學習和測試。

(2)two-server模式

  • DB使用的是MySQL,MySQL支持master-slave架構,Web Server和Executor Server運行在不同的進程中。
  • slave(executor)啓動,會在azkaban.executors表中 插入或更新executor的active(存活)記錄; web啓動時,會從azkaban.executors表中讀取executor記錄。   
  • 所以:該模式啓動,先啓動executor,再啓動web

(3)分佈式multiple-executor模式

  • DB使用的是MySQL,MySQL支持master-slave架構,Web Server和Executor Server運行在不同機器上,且有多個Executor Server。
  • 該模式啓動,先啓動executor,再啓動web

二、Azkaban安裝包源碼編譯

1.源碼下載地址:

https://github.com/azkaban/azkaban

2.需要安裝GIT 

yum -y install git

3.進入azkaban目錄 編譯(爲了避免錯莫名其妙的錯誤,跳過test)

./gradlew build -x test

 4.編譯成功後:

(1)如果只部署單機solo模式,僅使用azkaban-solo-verver

mv azkaban-solo-server/build/distributions/*.zip  /home/azkaban

(2)如果部署master-slaver模式

// Azkaban管理界面UI
mv azkaban-web-server/build/distributions/*.zip  /home/azkaban    

// Azkaban 任務執行者
mv azkaban-exec-server/build/distributions/*.zip  /home/azkaban

// MySQL *.sql數據庫創建文件
mv azkaban-db/build/distributions/*.zip  /home/azkaban

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章