Kafka 對於其他日誌分析系統或者消息隊列的優勢:
1.傳統日誌分析系統擅長離線處理日誌信息,並且可擴展。但是對實時無能爲力
2.現有消息隊列能提供實時處理,但大多不支持將未處理數據寫到磁盤上。
Kafka 高效原因:
1.直接使用Linux文件系統的Cache高效緩存數據。
2.採用Linux的 Zero-Copy 來提高發送性能。
傳統數據發送需要4次數據拷貝
而Zero-Copy不經過用戶態,直接在內核態中完成到Socket緩衝區的複製,不必切換上下文。
Kafka 對於其他日誌分析系統或者消息隊列的優勢:
1.傳統日誌分析系統擅長離線處理日誌信息,並且可擴展。但是對實時無能爲力
2.現有消息隊列能提供實時處理,但大多不支持將未處理數據寫到磁盤上。
Kafka 高效原因:
1.直接使用Linux文件系統的Cache高效緩存數據。
2.採用Linux的 Zero-Copy 來提高發送性能。
傳統數據發送需要4次數據拷貝
而Zero-Copy不經過用戶態,直接在內核態中完成到Socket緩衝區的複製,不必切換上下文。
序言 說明下安裝環境.在centos7上安裝Kafka集羣環境. Kafka 依賴Java環境,所以需要提前配置.Kafka有自帶的Zookeeper,但是一般不用. Zookeeper集羣
基於docker搭建zookeeper集羣、kafka集羣---二(多臺真機之間的集羣)