Kafka介绍
APache Kafka 是一个分布式流平台。
一个流平台有三个关键能力：
- 发布和订阅消息流，类似于一个消息队列或企业消息系统。
- 以容错持久的方式存储消息流。
- 处理发生的消息流。
Kafka 通常用于两大类应用程序：
- 构建在系统或应用程序之间可靠的获取数据的实时流数据管道。
- 构建转换或响应数据流的实时流应用程序。
为了理解Kafka是如何做到这些的，让我们自下而上的深入探究Kafka的能力。
首先几个概念：
- Kafka 作为一个集群跑在一个或多个服务器上，可以跨多个数据中心。
- Kafka集群将消息流存储在称为主题的分类中。cluster stores streams of records in categories called topics.
- 每条记录由a key, a value, 和 a timestamp组成。
Kafka 有4个核心的 APIs:
- 生产者API允许一个应用发布一个流记录到一个或多个Kafka主题。
- 消费者API允许一个应用订阅一个或多个主题，并且处理生产到这些主题的消息流。
- 流API允许一个应用充当流处理器，消费来自一个或多个主题的输入流，并向一个或多个主题生成输出流，有效转换输入流为输出流。
- 连接器API允许构建和运行可复用的生产者或消费者，将Kafka主题连接到现有的应用程序或数据系统。例如，一个关系型数据库的连接器可以捕获表的所有变更。
Kafka使用简单、高性能、与语言无关的TCP协议完成客户端与服务器之间的通信。该协议维持老版本的向后兼容。我们提供了一个Java客户端，也提供了多种语言的客户端。
Kafka快速入门
1 下载安装
tar -xzf kafka_2.11-1.0.0.tgz
cd kafka_2.11-1.0.0
2 启动服务
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties
3 create a topic，创建主题
创建主题test，仅一个分区、一个副本；
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
列出主题
bin/kafka-topics.sh --list --zookeeper localhost:2181
4 Send some messages，发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
5 Start a cnsumer，启动一个消费者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
6 Setting up a multi-broker cluster，启动多代理集群
为每个代理创建配置文件
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
内容如下：
config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dir=/tmp/kafka-logs-2