CDH 中 使用kafka 與 非CDH中使用kafka的區別與注意

================== 非CDH中使用kafka ======================== 

1.kafka 創建 topic
 
      cd /root/kafka
      1.格式：bin/kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 副本數 --partitions 分片數/分區數 --topic 主題名
      2.例子：bin/kafka-topics.sh --create --zookeeper NODE1:2181 --replication-factor 2 --partitions 6 --topic log_monitor
 
2.kafka：通過 shell 消費者消費指定topic主題中的消息           
            cd /root/kafka
            格式：bin/kafka-console-consumer.sh --zookeeper zookeeper的IP:2181 --from-beginning --topic 主題名
            例子：bin/kafka-console-consumer.sh --zookeeper NODE1:2181 --from-beginning --topic log_monitor

================== CDH中使用kafka ======================== 

例子：
 
創建topic：kafka-topics --zookeeper node01:2181 --create –replication-factor 1 --partitions 1 --topic from_flume01
producer寫入數據：kafka-console-producer --broker-list node01:9092 --topic from_flume01
consumer消費數據：kafka-console-consumer --bootstrap-server node01:9092 --topic from_flume01

 

問題：假如消費不出topic中的數據時。

日誌報錯：kafka.server.KafkaApis: [KafkaApi-48] Number of alive brokers ‘命令中指定的備份數’ does not meet the required replication factor ‘CDH中kafka配置的備份數’ for the offsets topic

方法：查看命令中指定的備份數 是否小於 CDH中kafka配置的備份數

解決：要麼修改 命令中指定的備份數 ，和CDH中kafka配置的備份數 一致 或大於 CDH中kafka配置的備份數

本文轉自：https://blog.csdn.net/zimiao552147572/article/details/88557201