35:Kafka源碼解讀中分區數、Consumer並行度等
本期內容:
1 Kafka中分區深度解析
2 Consumer並行度深度解析
Partition.scala:
Kafka完成稿吞吐性,是由於:
1. 對順序讀寫採用OS的page級別的緩存,而不是使用內存。
2. Topic partition進行分佈式
KafkaServer:是一個NIO socket server。
KafkaController
partition會有目錄。其中有log本身,以及
ReplicaManager
kafka-console-peoducer、kafka-console-consumer
從一個分區開始對生產、消費進行調試試驗。
Partition.scala
KafkaProducer:partition、
consumer group中的 一個consumer可以消費一個Topic下的一個分區,也可以消費其它分區。
ConsumerIterator:makeNext、
SimpleConsumer:可以進行更細粒度的訪問控制。fetch。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Java近期新聞綜述:MicroProfile 4.1、Spring Boot更新、Kotlin、Scala、OpenJDK、Liberica JDK
Michael Redlich
2021-08-13 11:29:03
InfoQ 編程語言 2 月排行榜,更好的投票活動來了
InfoQ 中文站
2021-03-22 18:34:58
Spark(Persist)
原創
2021-01-30 10:04:50
第四範式OpenMLDB: 拓展Spark源碼實現高性能Join
第四范式技术团队
2021-09-18 17:23:51
Apache Kyuubi PPMC燕青:爲什麼說這是開源最好的時代?
凌敏
2021-08-04 09:33:50
如何從Pandas遷移到Spark?這8個問答解決你所有疑問
Sanket Gupta
2021-06-18 08:03:55
伴魚實時計算平臺 Palink 的設計與實現
伴鱼技术团队
2021-06-13 07:03:55
提效7倍,Apache Spark 自適應查詢優化在網易的深度實踐及改進
尤夕多
2021-05-19 11:08:57
大數據技術升級脈絡及認知陷阱 | InfoQ 大咖說
InfoQ 中文站
2021-04-26 10:43:51
實時數據倉庫的發展、架構和趨勢
网易数帆
2021-04-02 09:43:51
大數據+雲:Kylin/Spark/Clickhouse/Hudi 的大佬們怎麼看?
apachekylin
2021-03-22 18:35:29
如何用Spark計算引擎執行FATE聯邦學習任務?
陈家豪
2021-03-22 18:34:37
估值突破280億美元!大數據獨角獸公司Databricks再獲10億美元融資
蔡芳芳
2021-02-02 03:03:58
24小時熱門文章