01 Tencent Cloud Kafka 介紹
Tencent Cloud Kafka 是基於開源 Kafka 引擎研發的適合大規模公有云部署的 Cloud Kafka。是一款適合公有云部署，運行，運維的分佈式的、高可靠、高吞吐和高可擴展的消息隊列系統。它 100% 兼容開源的 Kafka API，目前主要支持開源的 0.9, 0.10, 1.1.1, 2.4.2 四個大版本，並提供向下兼容的能力。
目前 Tencent Cloud Kafka 維護了近萬節點的集羣，堆積數據達到了 PB 級。是一款集成了租戶隔離、限流、鑑權、安全、數據監控告警、故障快速切換、跨可用區容災等等一系列特性的，歷經大流量檢驗的、可靠的公有云上 Kafka 集羣。
02 什麼是數據流轉
CKafka 作爲一款高吞吐，高可靠的消息隊列引擎。需要承接大量數據的流入和流出，數據流動的這一過程我們稱之它爲數據流轉。而在處理數據的流入和流出過程中，會有很多成熟豐富的開源的解決方案，如 Logstash，Spark，Fllink 等。從簡單的數據轉儲，到複雜的數據清洗，過濾，聚合等，都有現成的解決方案。
如圖所示，在 Kafka 上下游生態圖中，CKafka 處於中間層，起到數據聚合，流量削峯，消息管道的作用。圖左和圖上是數據寫入的組件概覽，圖右和圖下是下游流式數據處理方案和持久化存儲引擎。這些構成了 Kafka 周邊的數據流動的生態。
原文鏈接:【https://www.infoq.cn/article/aBCkVKflitH90aC1KNP3】。未經作者許可，禁止轉載。