Kafka v2.3 快速入門與實踐

消息隊列應用場景:應用解耦、異步消息、流量削峯等問題,實現高性能、高可用、可伸縮和最終一致性架構。
Kafka是由LinkedIn開發的一個分佈式的消息系統,可獨立部署在單臺服務器上,也可部署在多臺服務器上構成集羣。它提供了發佈與訂閱功能。用戶可以發送數據到Kafka集羣中,也可以從Kafka集羣中讀取數據。Kafka使用Scala編寫,它以可水平擴展和高吞吐率而被廣泛使用。
目前越來越多的開源分佈式處理系統如Storm,Spark,Flink都支持與Kafka集成。現在我們的數據實時處理平臺也使用到了Kafka。現在它已被多家不同類型的公司作爲多種類型的數據管道和消息系統使用。
 
如下是Kafka消息中間件的架構圖:
本技術專欄從實戰出發,通過零基礎入門-環境搭建-項目案例實戰,讓初學者快速掌握Kafka相關技術要點並投入實際項目開發,其中包括Kafka安裝和配置、Kafka基本組件的實現機制、Zookeeper和控制器Controller、Kafka消息生產者和消息者的代碼實現、以及和Spring Boot的集成開發、Kafka 可視化客戶端工具Kafka Tool 2(Offset Explorer)和Kafka Eagle、Kafka Connect 連接器和Debezium等等。
 
專欄主要包含如下內容:
  • 快速瞭解消息隊列和Kafka基本概念、使用場景、以及性能好的原因
  • Kafka v2.3.1 安裝、配置、啓動和基本操作
  • 安裝和配置Kafka集羣開源的可視化監控工具-Kafka Eagle
  • Kafka broker 開啓 JMX監控
  • Kafka基本組件的實現機制,爲什麼要將Topic進行分區?如何保證高可靠性?
  • Kafka的元數據存儲Zookeeper以及控制器Controller
  • Kafka v2.3.1通過客戶端API實現簡單生產者和消費者
  • Kafka生產者Producer使用異步模式發送消息
  • Kafka生產者Producer使用多線程發送消息
  • Kafka消息發送的主要步驟、配置參數、以及如何保證消息有序?
  • Kafka v2.3.1通過spring-kafka實現生產者和消費者
  • Kafka v2.3和Spring Boot v2.2.1使用@KafkaListener實現單條或批量接收消息
  • 深入瞭解spring-kafka中核心技術概念-消息監聽器、監聽器容器併發數、@KafkaListener註解等等
  • spring-kafka 操作Topic以及可視化監控工具Kafka Eagle的使用
  • Kafka v2.3和Spring Boot v2.2.1集成項目示例源代碼
  • Kafka可視化客戶端工具Kafka Tool 2的基本使用
  • Kafka 在生產者Producer中實現並使用自定義分區器Partitioner
  • 圖文並茂演示如何通過Kafka Connect連接器建立數據管道
  • 圖文並茂演示Kafka Connect在分佈式模式下將數據導入/導出Kafka Topic
  • Debezium和Kafka Connect實現MySQL數據高效實時同步Kafka Topic
  • Kafka Stream快速入門和實例項目WordCount詳細演示

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章