空學Kafka之二

繼續上一篇 (空學Kafka之一)[https://www.atatech.org/articles/145913]

構建數據通道

考量點

及時性，可靠性，吞吐量，安全性（通道安全，審計等），數據格式的上線兼容，ETL or ELT，統一還是專屬（比如GoldenGate是oracle私有的，有很強的耦合性），優先選擇Kafka Connect

深入淺出Connect

連接器插件實現了 Connector API，API 包含了兩部分內容。大致上是分而治之的思想，連接器相當於分拆器splittor，任務相當於拆分後的具體執行器executer。

1. 連接器：負責以下三件事。

   • 決定需要運行多少個任務。
   • 按照任務來拆分數據複製。
   • 從 worker 進程獲取任務配置並將其傳遞下去。
2. 任務：負責將數據移入或移出 Kafka。

相比較直接採用Kafka的publis