数据同步与订阅:
比较推荐的是阿里的Canal、Zendesk的Maxwell、以及来自社区的Python-Mysql-Replication
ETL工具
- kettle
Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle 中有两种脚本文件，transformation 和 job，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制。
github: https://github.com/pentaho/pentaho-kettle/
kettle中文网 https://www.kettle.net.cn/
- Apache aireflow
Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 编写的平台上运行（目前加入 Apache 基金会孵化器）。
中文文档 https://github.com/apachecn/airflow-doc-zh, https://airflow.apachecn.org/#/