在Windows下Kafka的基本配置及簡單使用

首先下載zookeeper(版本zookeeper-3.4.13)和kafka(版本kafka_2.12-2.0.0),解壓就可以使用了。

1、zookeeper:
在config目錄下,有zoo.conf這個配置文件,可以配置端口和日誌存儲的位置,可以根據自己習慣更改。
首先啓動zookeeper,如果環境變量中配置過了zookeeper,則可以直接打開cmd窗口,用zkserver來啓動,如下:
在Windows下Kafka的基本配置及簡單使用
如果打印的日誌都是INFO 或者WARN,並且進入守護線程狀態,表示啓動成功。

2、Kafka:
在config目錄下,有個server.properties配置文件,有配置日誌目錄的: log.dirs=D:/nomalAPP/kafka_2.12-2.0.0/kafka-logs , 還有配置連接的zookeeper的地址的: zookeeper.connect=localhost:2181 。其他的基本不用管,也可以根據具體需要進行修改。
啓動命令爲: .\bin\windows\kafka-server-start.bat .\config\server.properties 。如下:
在Windows下Kafka的基本配置及簡單使用
下面還會打印出一些基本配置信息。啓動成功也會進入守護線程狀態。

上面啓動的兩個不要關閉,再繼續進行下面的操作:

3、topic:創建主題
命令爲: .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_topic ,如下所示:
在Windows下Kafka的基本配置及簡單使用
查看已經存在的主題,命令爲: .\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181, 如下:
在Windows下Kafka的基本配置及簡單使用

3、producer:生產者
創建生產者的命令:.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test_topic,如下:
在Windows下Kafka的基本配置及簡單使用

4、consumer:消費者
創建消費者的命令: .\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic test_topic
但是我在用這個命令時出現了下面的情況:
在Windows下Kafka的基本配置及簡單使用
這是因爲使用的kafka版本比較新,上面的這種方式已經過時被刪除了,所以沒法啓動。
這是可以換用另一種: .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:2181 --topic test_topic --from-beginning ,啓動如下:
在Windows下Kafka的基本配置及簡單使用
亂碼問題可以在具體生產者消費者代碼中進行處理。

以上只是一些入門級的基礎操作,進階的搭建集羣,集成其他的技術這些,還有待學習!

個人理解:kafka就像是一個過渡管道,用來中轉消息的(消息代理),可能像一個微信公衆號,生產者就是公衆號的管理者,把文章放到公衆號裏面,而消費者就像是訂閱這個公衆號的人,只要訂閱了這個公衆號,在有新消息推送到公衆號時,公衆號會把新文章推給訂閱者。
kafka的好處就在於:
(1)可靠性 - Kafka是分佈式,它有分區,複製和容錯的。
(2)可擴展性 - Kafka消息傳遞系統輕鬆縮放,無需停機。
(3)耐用性 - Kafka使用分佈式提交日誌,這意味着消息會儘可能快地保留在磁盤上,因此它是持久的。
(4)性能 - Kafka對於發佈和訂閱消息都具有高吞吐量。 即使存儲了許多TB的消息,它也保持穩定的性能。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章