kafka系列之（一） ---------- kafka 運維操作

目錄

 

1、Kafka的topic操作腳本

2、Kafka的消費者客戶端腳本

3、Kafka的生產者客戶端腳本

4、查看LAG

5、connect-distributed.sh

6、connect-standalone.sh

7、kafka-acls.sh

8、kafka-broker-api-version.sh

9、kafka-configs.sh

10、kafka-consumer-perf-test.sh

11、kafka-delegation-tokens.sh

12、kafka-delete-records.sh

13、kafka-dump-log.sh

14、kafka-log-dirs.sh

15、kafka-mirror-maker.sh

16、kafka-preferred-replica-election.sh

17、kafka-reassign-partitions.sh

18、kafka-replica-verification.sh

19、kafka-run-class.sh

20、kafka-server-start.sh

21、kafka-server-stop.sh

22、kafka-streams-application-reset.sh

24、kafka-verifiable-consumer.sh

25、kafka-verifiable-producer.sh

26、trogdor.sh

27、zookeeper-security-migration.sh

28、zookeeper-server-start.sh

29、zookeeper-server-stop.sh

30、zookeeper-shell.sh

參考文檔：

---

1、Kafka的topic操作腳本

kafka-topics.sh是Kafka的topic操作腳本

1）查看topic列表

        ./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list

2）查看topic的詳細信息

        ./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --describe

3）創建topic

在創建topic的時候，必須指明的幾個參數是：topic名稱、topic的分區數、topic的分區副本數

        ./bin/kafka-topics.sh --bootstrap 127.0.0.1:9092 --create --topic test1 --partitions 1 --replication-factor 1

4）刪除topic

        ./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --delete --topic test1

2、Kafka的消費者客戶端腳本

kafka-console-consumer.sh是Kafka的消費者客戶端腳本，用來模擬一個Kafka消費者

     bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1 --group test-group --from-beginning

3、Kafka的生產者客戶端腳本

kafka-console-producer.sh是Kafka的生產者客戶端腳本，用來模擬一個Kafka生產者

    bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test1

4、查看LAG

    ./bin/kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group consumer-group-name

5、connect-distributed.sh

    分佈式的數據導入與導出，可以用來做實時數據同步和分析處理

6、connect-standalone.sh

    單機模式的數據導入與導出，可以用來做實時數據同步和分析處理

7、kafka-acls.sh

8、kafka-broker-api-version.sh

9、kafka-configs.sh

    配置管理腳本，可以用來查看配置。--describe/--alter

10、kafka-consumer-perf-test.sh

    消費者性能測試腳本

11、kafka-delegation-tokens.sh

12、kafka-delete-records.sh

    查看日誌刪除目錄

13、kafka-dump-log.sh

14、kafka-log-dirs.sh

    查看日誌消息目錄

15、kafka-mirror-maker.sh

16、kafka-preferred-replica-election.sh

    kafka優先副本選舉：該腳本做replica之間做均衡，使得每一個broker上的preferred replica（優先副本）作爲leader replica。
    kefka中有一個配置：auto.leader.rebalance.enable可以使kafka進行leader均衡，但不推薦，因爲，如果balance發生在業務高峯期，則對性能有影響。

17、kafka-reassign-partitions.sh

    broker之間遷移數據（同一個topic內），可以將同一個topic中的數據從一個broker遷移到另一個broker

18、kafka-replica-verification.sh

    kafka副本檢查

19、kafka-run-class.sh

20、kafka-server-start.sh

21、kafka-server-stop.sh

22、kafka-streams-application-reset.sh

24、kafka-verifiable-consumer.sh

    持續接收指定topic的消費

25、kafka-verifiable-producer.sh

    持續發送消息到指定的topic

26、trogdor.sh

27、zookeeper-security-migration.sh

28、zookeeper-server-start.sh

29、zookeeper-server-stop.sh

30、zookeeper-shell.sh

 

參考文檔：

Kafka官方文檔：https://kafka.apache.org/documentation/