單臺機器使用docker安裝啓動kafka

單臺機器使用docker安裝啓動kafka

kafaka運行需要zookeeper,docker拉取鏡像:

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

啓動:

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
docker run  -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_MESSAGE_MAX_BYTES=20000000 -e KAFKA_ZOOKEEPER_CONNECT=192.168.2.123:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.123:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e KAFKA_LOG_RETENTION_HOURS=1 -e KAFKA_LOG_RETENTION_BYTES=10737418240 -e KAFKA_MAX_REQUEST_SIZE=20582912 -e KAFKA_REPLICA_FETCH_MAX_BYTES=20582912 -e KAFKA_FETCH_MESSAGE_MAX_BYTES=20485760 -t wurstmeister/kafka
啓動命令中參數意義:

KAFKA_BROKER_ID:在集羣中的ID,broker的唯一標識
KAFKA_MESSAGE_MAX_BYTES:服務器可以接收到的最大的消息大小,單位是字節
KAFKA_ZOOKEEPER_CONNECT:zookeeper的地址,格式:hostname:port
KAFKA_LOG_RETENTION_HOURS:日誌最大保留時間,單位爲h
KAFKA_LOG_RETENTION_BYTES:日誌最大保留空間,單位是字節
KAFKA_MAX_REQUEST_SIZE:請求的最大大小,單位是字節
KAFKA_REPLICA_FETCH_MAX_BYTES:replicas每次獲取數據的最大字節數
KAFKA_FETCH_MESSAGE_MAX_BYTES:每個分區fetch的消息大小限制

注:

20180604更新:參數host.name/port、advertised.host.name/advertised.port在最新的官方文檔標註爲deprecated,改爲以下配置

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.2.123:9092

host.name表示kafka綁定到的ip上,listeners中設置爲0.0.0.0,保證非本機的請求也能被接受。
advertised.listeners表示kafka註冊到zookeeper時,將告訴zookeeper自己的地址爲192.168.2.123,當消費者向zookeeper詢問kafka的地址時,將會返回192.168.2.123,消費者會直接連向192.168.2.123拉取數據。

測試:

使用docker ps 查看kafka容器ID,然後進入kafka容器的命令行:

 docker exec -it ${CONTAINER ID} /bin/bash

進入kafka默認目錄(目錄kafka_2.12-2.2.0可能有細微差別):

cd opt/kafka_2.12-2.2.0/

在kafka默認目錄下發送消息:

./bin/kafka-console-producer.sh --broker-list 192.168.2.123:9092 --topic mykafka

在kafka默認目錄下接收消息:

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.123:9092 --topic mykafka --from-beginning
注:

舊的版本中啓動命令爲(0.9版本之後已廢棄):

bin/kafka-console-consumer.sh --zookeeper 192.168.2.123:2181 --topic mykafka --from-beginning

0.90版本之後啓動消費者的方法:

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.123:9092 --topic mykafka --from-beginning
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章