kafka_2.9.2-0.8.1.1安裝

上傳kafka包，解壓，賦權限
unzip  kafka
修改配置文件config/server.properties
broker.id=0
host.name=IP
zookeeper.connect=IP:2181
給kafka整個目錄下賦權限
chmod +x sbin/*
修改log4j.properties文件
log4j.appender.D.File = /home/wyz/kafka_2.9.2-0.8.1.1/logs/debug.log
log4j.appender.E.File =/home/wyz/kafka_2.9.2-0.8.1.1/logs/error.log

啓動kafka服務

方法1：

在/home/wyz/kafka_2.9.2-0.8.1.1目錄下執行

sbin/start-kafka.sh

/home/wyz/kafka_2.9.2-0.8.1.1/sbin下start-kafka.sh的內容爲

bin/kafka-server-start.sh -daemon config/server.properties &

方法2：

在/home/wyz/kafka_2.9.2-0.8.1.1/bin目錄下執行

./kafka-server-start.sh -daemon ../config/server.properties 

查看端口是否啓動(想要強殺進程的話用 kill -9 進程號)
jps -l
netstat -ant |grep 9092
創建topic主題
bin/kafka-topics.sh --create --zookeeper 192.168.218.160:2181 --replication-factor 1 --partitions 1 --topic topic-test-wyz
查看topic是否創建成功
bin/kafka-topics.sh --list --zookeeper 192.168.218.160:2181
啓動productor
bin/kafka-console-producer.sh --broker-list 192.168.218.160:9092 --topic topic-test-wyz
另啓一個窗口，啓動consumer
bin/kafka-console-consumer.sh --zookeeper 192.168.218.160:2181 --topic topic-test-wyz

在productor端口輸入，看consumer端的輸出

上傳shelllogger腳本並進行修改
將log註釋掉，插入以下命令
log="INSERT INTO test (user,content) VALUES('wu yuezhen','hello everybody');"
啓動運行
nohup sh shelllogger.sh >> shelllogger.log 2>&1 &
查看實時輸出
tail -f access.log

將日誌實時傳送到kafka指定主題中

開啓一個端口，在kafka目錄中執行
bin/kafka-console-consumer.sh --zookeeper 192.168.218.160:2181 --topic topic-test-wyz
開啓另一個端口，在kafka目錄中執行
nohup tail -f /home/wyz/kafka_2.9.2-0.8.1.1/logger/access.log | /home/wyz/kafka_2.9.2-0.8.1.1/bin/kafka-console-producer.sh --broker-list 192.168.218.160:9092 --topic topic-test-wyz >/home/wyz/kafka_2.9.2-0.8.1.1/logs/producer.log 2>&1 &