kafka官网步骤：http://kafka.apache.org/quickstart
快速开始
本教程假定您开始新鲜，没有现有的Kafka或ZooKeeper数据。由于基于Unix和Windows平台的Kafka控制台脚本不同，因此在Windows平台上使用bin\windows\而不是bin/，并将脚本扩展名更改为.bat。
第1步：下载代码
下载 1.0.0版本并解压缩。
1 > tar -xzf kafka_2.11-1.0.0.tgz
2 > cd kafka_2.11-1.0.0
第2步：启动服务器
Kafka使用ZooKeeper，因此如果您还没有ZooKeeper服务器，您需要先启动ZooKeeper服务器。您可以使用与kafka一起打包的便捷脚本来获得一个快速而简单的单节点ZooKeeper实例。
bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...
现在动Kafka服务器：
1 > bin/kafka-server-start.sh config/server.properties
2 [2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
3 [2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
4 ...
第3步：创建一个主题
我们用一个分区和一个副本创建一个名为“test”的主题：
1 > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
我们现在可以看到这个话题，如果我们运行列表主题命令：
1 > bin/kafka-topics.sh --list --zookeeper localhost:2181
2 test
或者，您也可以将代理配置为在发布不存在的主题时自动创建主题，而不是手动创建主题。
第4步：发送一些消息
Kafka带有一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kafka集群。默认情况下，每行将作为单独的消息发送。
运行生产者，然后在控制台输入一些消息发送到服务器。
1 > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
2 This is a message
3 This is another message
第5步：启动一个用户
卡夫卡也有一个命令行消费者，将消息转储到标准输出。
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
2 This is a message
3 This is another message
如果您将上述每个命令都运行在不同的终端中，则现在应该可以将消息键入生产者终端，并将其显示在消费者终端中。
所有的命令行工具都有其他选项。不带任何参数运行该命令将显示使用信息更详细地记录它们。
第6步：设置多代理群集
到目前为止，我们一直在与一名经纪人竞争，但这并不好玩。对于卡夫卡来说，一个经纪人只是一个规模一个的集群，所以除了开始一些经纪人实例之外没有太大的变化。但是为了得到它的感觉，让我们把我们的集群扩展到三个节点（仍然都在我们的本地机器上）。
首先，我们为每个代理创建一个配置文件（在Windows上使用该copy命令）：
1 > cp config/server.properties config/server-1.properties
2 > cp config/server.properties config/server-2.properties
现在编辑这些新文件并设置以下属性：
1 config/server-1.properties:
2 broker.id=1
3 listeners=PLAINTEXT://:9093
4 log.dir=/tmp/kafka-logs-1
五
6 config/server-2.properties:
7 broker.id=2
8 listeners=PLAINTEXT://:9094
9 log.dir=/tmp/kafka-logs-2
该broker.id属性是群集中每个节点的唯一且永久的名称。我们必须重写端口和日志目录，因为我们在同一台机器上运行这些端口和日志目录，我们希望让所有的代理都试图在同一个端口注册或覆盖彼此的数据。
我们已经有Zookeeper和我们的单节点了，所以我们只需要启动两个新的节点：
1 > bin/kafka-server-start.sh config/server-1.properties &
2 ...
3 > bin/kafka-server-start.sh config/server-2.properties &
4 ...
现在创建一个复制因子为三的新主题：
1 > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
好吧，但现在我们有一个集群，我们怎么知道哪个经纪人在做什么？要查看运行“描述主题”命令：
1 > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
2 Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
3 Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
这里是对输出的解释。第一行给出了所有分区的摘要，每个附加行给出了关于一个分区的信息。由于我们只有一个分区，所以只有一行。
“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为分区随机选择部分的领导者。
“副本”是复制此分区日志的节点列表，无论它们是否是领导者，或者即使他们当前处于活动状态。
“isr”是一组“同步”副本。这是复制品列表的子集，当前活着并被引导到领导者。
请注意，在我的示例中，节点1是该主题的唯一分区的领导者。
我们可以在我们创建的原始主题上运行相同的命令来查看它的位置：
1 > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
2 Topic:test PartitionCount:1 ReplicationFactor:1 Configs:
3 Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
所以这里并不奇怪，原来的主题没有副本，而且在服务器0上，这是我们创建集群时唯一的服务器。
让我们发表一些信息给我们的新主题：
1 > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
2 ...
3 my test message 1
4 my test message 2
五^C
现在让我们消费这些消息：
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
2 ...
3 my test message 1
4 my test message 2
五 ^C
现在我们来测试一下容错。经纪人1是作为领导者，所以让我们杀了它：
1 > ps aux | grep server-1.properties
2 7564 ttys002 0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.8/Home/bin/java...
3 > kill -9 7564
在Windows上使用：
1 > wmic process where "caption = 'java.exe' and commandline like '%server-1.properties%'" get processid
2 ProcessId
3 6016
4 > taskkill /pid 6016 /f
领导已经切换到其中一个从属节点，并且节点1不再处于同步副本集合中：
1 > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
2 Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
3 Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0
但是，即使原先写入的领导者失败，这些消息仍然可用于消费：
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
2 ...
3 my test message 1
4 my test message 2
五 ^C
第7步：使用Kafka Connect来导入/导出数据
从控制台写入数据并将其写回控制台是一个方便的起点，但您可能想要使用其他来源的数据或将数据从Kafka导出到其他系统。对于许多系统，您可以使用Kafka Connect来导入或导出数据，而不必编写自定义集成代码。
Kafka Connect是Kafka包含的一个工具，可以将数据导入和导出到Kafka。它是一个可扩展的工具，运行 连接器，实现与外部系统交互的自定义逻辑。在这个快速入门中，我们将看到如何使用简单的连接器运行Kafka Connect，这些连接器将数据从文件导入到Kafka主题，并将数据从Kafka主题导出到文件。
首先，我们将通过创建一些种子数据开始测试：
1 > echo -e "foo\nbar" > test.txt
或在Windows上：
1 > echo foo> test.txt
2 > echo bar>> test.txt
接下来，我们将启动两个以独立模式运行的连接器，这意味着它们将在单个本地专用进程中运行。我们提供三个配置文件作为参数。首先是Kafka Connect过程的配置，包含常见的配置，例如要连接的Kafka代理以及数据的序列化格式。其余的配置文件都指定一个要创建的连接器。这些文件包括唯一的连接器名称，要实例化的连接器类以及连接器所需的任何其他配置。
1 > bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
Kafka附带的这些示例配置文件使用您之前启动的默认本地群集配置，并创建两个连接器：第一个是源连接器，用于读取输入文件中的行，并将每个连接生成为Kafka主题，第二个为连接器连接器它从Kafka主题读取消息，并在输出文件中产生每行消息。
在启动过程中，您会看到一些日志消息，其中一些指示连接器正在实例化。一旦Kafka Connect进程启动，源连接器应该开始读取线路test.txt并将其生成到主题connect-test，并且接收器连接器应该开始读取主题中的消息connect-test 并将其写入文件test.sink.txt。我们可以通过检查输出文件的内容来验证通过整个管道传输的数据：
1 > more test.sink.txt
2 foo
3 bar
请注意，数据存储在Kafka主题中connect-test，因此我们也可以运行控制台使用者来查看主题中的数据（或使用自定义使用者代码来处理它）：
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
2 {"schema":{"type":"string","optional":false},"payload":"foo"}
3 {"schema":{"type":"string","optional":false},"payload":"bar"}
4 ...
连接器继续处理数据，所以我们可以将数据添加到文件中，并看到它在管道中移动：
1 > echo Another line>> test.txt
您应该看到该行出现在控制台使用者输出和接收器文件中。
第8步：使用Kafka流来处理数据
Kafka Streams是用于构建关键任务实时应用程序和微服务的客户端库，输入和/或输出数据存储在Kafka集群中。Kafka Streams结合了在客户端编写和部署标准Java和Scala应用程序的简单性以及Kafka服务器端集群技术的优势，使这些应用程序具有高度可伸缩性，弹性，容错性，分布式等特性。本快速入门示例将演示如何运行在此库中编码的流式应用程序。
更多详情请访问：http://kafka.apache.org/10/documentation/streams/tutorial