airflow分佈式部署踩坑記錄之其他篇

• Q1:怎麼進行分佈式部署？
  airflow celery採用的是消息隊列的方式生產任務，分發任務和執行任務，所以想要進行分佈式部署，只需要在不同機器上部署完全一樣的airflow服務，在borker節點上開啓airflow的webserver，scheduler，flower服務以及mysql服務和rabbitMQ服務，在其他機器上設置和borker節點上相同的配置信息，並且只開啓worker服務。

• Q2啓用訪問認證？

  • 安裝用戶管理插件 user_management
    插件地址 https://github.com/teamclairvoyant/airflow-user-management-plugin
    使用插件添加用戶名和郵箱以及密碼
  • 添加配置開啓登陸認證
    vim AIRFLOW_HOME/airflow.cfg
[webserver]
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth
    重新啓動airflow服務，登陸即可
  • 遇到ValueError: too many values to unpack的錯誤是因爲sqlalchemy模塊的問題
    執行pip install -U'sqlalchemy==1.1.18'即可解決

• 怎麼添加添加celery的其他配置？（明天補）