Kafka 入門二 kafka的安裝啓動

聽說點贊關注的人，身體健康，一夜暴富，升職加薪迎娶白富美!!!

點我領取迎娶白富美大禮包

微信公衆號：耿子blog

目標

• 瞭解kafka的安裝和基本使用

  參考：從零開始學習Kafka

kafka安裝啓動

先決條件：jdk環境（至少是jdk7），kafka 服務的啓動運行，需要使用 Zookeeper 服務，zookeeper 是kafka提供協調服務的工具。所以這兩個服務都要有。

• 安裝方式一

  參考：kafka中文文檔

  官方地址：http://kafka.apache.org/

  點擊左下角的 Download ，可以下載當前最新的kafka包。

  下載地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.5.0/kafka_2.13-2.5.0.tgz

  下載後，解壓即可。在新版本中的kafka，已經包含了有zookeeper 的啓動程序

  # 啓動zookeeper 服務,如果windows本機有 linux shell 的環境可以用 sh 的啓動文件
  # 如果windows ，請使用 bin/windows 目錄下的啓動程序
 
  # linux 下：
  # 啓動zookeeper 服務  zookeeper 使用 2181 端口
  $ bin/zookeeper-server-start.sh config/zookeeper.properties
  # 啓動kafka 服務 默認端口：9092
  # kafka服務默認連接的是 localhost:2181 的zookeepre 服務
  # 需要修改，可以修改server.properties 文件
  $ bin/kafka-server-start.sh config/server.properties

等待啓動，即可。

• Docker 安裝

  參考：5分鐘帶你體驗一把Kafka

  Docker hub中的kafka地址：https://hub.docker.com/r/wurstmeister/kafka

  這裏使用 Docker compose 來配置和啓動kafka容器。windows 中docker 新版本已經內嵌了 Docker compose 和 Docker machine ，具體教程可以查看 https://www.runoob.com/docker/docker-compose.html

  docker-compose-single-broker.yml

# 這裏使用了官方提供的 docker-compose 的實例,見上方鏈接
# 指定使用docker compose 版本爲 2 的語法
version: '2'
services:
  # zookeeper 服務
  zookeeper:
    # 鏡像
    image: wurstmeister/zookeeper
    # 端口映射
    ports:
      - "2181:2181"
  # kafka 服務
  kafka:
    build: .
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      KAFKA_CREATE_TOPICS: "test:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock   # 可以在容器內使用 docker 命令

啓動容器和關閉容器：

  # 啓動命令
  $ docker-compose -f ./docker-compose-single-broker.yml up
  # 關閉容器
  $ docker-compose -f ./docker-compose-single-broker.yml down
 

kafka 服務連接和配置

服務連接

可以通過命令行操作 kafka，也可以使用可視化工具Kafka Tool 2 連接查看。

Kafka Tool 2 下載地址：http://www.kafkatool.com/download.html

一些簡單操作，可以查看： kafka可視化客戶端工具（Kafka Tool）的基本使用

• 指令操作

  參考： kafka中文文檔

  # 創建主題
  # 創建一個名爲 test 的topic ， 連接本地的 zk ，partitions 分區數爲 1 ，副本replication-factor 爲1
  $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 爲1 1 --partitions 1 --topic test
 
  # 發送消息
  #Kafka自帶一個命令行客戶端，它從文件或標準輸入中獲取輸入，並將其作爲message（消息）發送到Kafka集羣。默認情況下，每行將作爲單獨的message發送。運行 producer，然後在控制檯輸入一些消息以發送到服務器。
  $  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  This is a message
  This is another message
 
  # 消費 Kafka 還有一個命令行consumer（消費者），將消息轉儲到標準輸出。
  $  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  This is a message
  This is another message
 

kafka配置 server.properties

具體說明下，kafka server.properties 的配置

############################# Server Basics #############################
# 節點的ID，必須與其它節點不同
broker.id=0
# 選擇啓用刪除主題功能，默認false
#delete.topic.enable=true
############################# Socket Server Settings #############################
 
# 套接字服務器堅挺的地址。如果沒有配置，就使用java.net.InetAddress.getCanonicalHostName()的返回值
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.host.name:9092
#listeners=PLAINTEXT://:9092
 
# 節點的主機名會通知給生產者和消費者。如果沒有設置，如果配置了"listeners"就使用"listeners"的值。
# 否則就使用java.net.InetAddress.getCanonicalHostName()的返回值
#advertised.listeners=PLAINTEXT://your.host.name:9092
 
# 將偵聽器的名稱映射到安全協議，默認情況下它們是相同的。有關詳細信息，請參閱配置文檔
#listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
 
# 服務器用來接受請求或者發送響應的線程數
num.network.threads=3
 
# 服務器用來處理請求的線程數，可能包括磁盤IO
num.io.threads=8
 
# 套接字服務器使用的發送緩衝區大小
socket.send.buffer.bytes=102400
 
# 套接字服務器使用的接收緩衝區大小
socket.receive.buffer.bytes=102400
 
# 單個請求最大能接收的數據量
socket.request.max.bytes=104857600
 
 
############################# Log Basics #############################
 
# 一個逗號分隔的目錄列表，用來存儲日誌文件
log.dirs=/tmp/kafka-logs
 
# 每個主題的日誌分區的默認數量。更多的分區允許更大的並行操作，但是它會導致節點產生更多的文件
num.partitions=1
 
# 每個數據目錄中的線程數，用於在啓動時日誌恢復，並在關閉時刷新。
num.recovery.threads.per.data.dir=1
 
############################# Internal Topic Settings #############################
# 內部主題設置
# 對於除了開發測試之外的其他任何東西，group元數據內部主題的複製因子“__consumer_offsets”和“__transaction_state”，建議值大於1，以確保可用性(如3)。
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
 
############################# Log Flush Policy #############################
 
 
 
# 在強制刷新數據到磁盤之前允許接收消息的數量
#log.flush.interval.messages=10000
 
# 在強制刷新之前，消息可以在日誌中停留的最長時間
#log.flush.interval.ms=1000
 
############################# Log Retention Policy #############################
 
# 以下的配置控制了日誌段的處理。策略可以配置爲每隔一段時間刪除片段或者到達一定大小之後。
# 當滿足這些條件時，將會刪除一個片段。刪除總是發生在日誌的末尾。
 
# 一個日誌的最小存活時間，可以被刪除
log.retention.hours=168
 
# 一個基於大小的日誌保留策略。段將被從日誌中刪除只要剩下的部分段不低於log.retention.bytes。
#log.retention.bytes=1073741824
 
# 每一個日誌段大小的最大值。當到達這個大小時，會生成一個新的片段。
log.segment.bytes=1073741824
 
# 檢查日誌段的時間間隔，看是否可以根據保留策略刪除它們
log.retention.check.interval.ms=300000
 
############################# Zookeeper #############################
 
zookeeper.connect=localhost:2181
 
# 連接到Zookeeper的超時時間
zookeeper.connection.timeout.ms=6000
 
 
############################# Group Coordinator Settings #############################
group.initial.rebalance.delay.ms=0

導航欄
上一篇：Kafka 入門一 基礎概念
下一篇：kafka 入門三-暫無