flume是一個實時消息收集系統，它定義了多種的source、channel、sink，可以根據實際情況選擇。
Flume下載及文檔：
http://flume.apache.org/
Kafka
kafka是一種高吞吐量的分佈式發佈訂閱消息系統，她有如下特性：
通過O(1)的磁盤數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒數十萬的消息。
支持通過kafka服務器和消費機集羣來分區消息。
支持Hadoop並行數據加載。
kafka的目的是提供一個發佈訂閱解決方案，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。kafka的目的是通過Hadoop的並行加載機制來統一線上和離線的消息處理，也是爲了通過集羣機來提供實時的消費。
kafka分佈式訂閱架構如下圖：--取自Kafka官網
配置kafka的配置文件 server.properties ，其它可根據自己的情況修改。
啓動kafka，啓動之前先啓動zookeeper，zookeeper的配置不再敘述。
# bin/kafka-server-start.sh config/server.properties
Create a topic
# bin/kafka-topics.sh --create --zookeeper localhost:2181 ----replication-factor 1 --partitions 1 --topic test
查看topic
# bin/kafka-topics.sh --list --zookeeper localhost:2181
測試是否能正常生產消費；驗證流程正確性
# bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test
# bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning
接下來是框架之間的整合
flume和kafka整合
1.下載flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin
2.提取插件中的flume-conf.properties文件
修改該文件：#source section
producer.sources.s.type = exec
producer.sources.s.command = tail -f -n+1 /mnt/hgfs/vmshare/test.log
producer.sources.s.channels = c
修改所有topic的值改爲test
將改後的配置文件放進flume/conf目錄下
在該項目中提取以下jar包放入環境中flume的lib下：
還有package目錄的flumeng-kafka-plugin.jar包一併放到flume的lib目錄下。
附上flume的配置文件
############################################
# producer config
###########################################
#agent section
producer.sources = s
producer.channels = c
producer.sinks = r
#source section
producer.sources.s.type = exec
producer.sources.s.channels = c
producer.sources.s.command = tail -f /var/log/messages
#producer.sources.s.type=spooldir
#producer.sources.s.spoolDir=/home/xiaojie.li
#producer.sources.s.fileHeader=false
#producer.sources.s.type=syslogtcp
#producer.sources.s.port=5140
#producer.sources.s.host=localhost
# Each sink's type must be defined
producer.sinks.r.type = org.apache.flume.plugins.KafkaSink
producer.sinks.r.metadata.broker.list=10.10.10.127:9092
producer.sinks.r.zk.connect=10.10.10.127:2181
producer.sinks.r.partition.key=0
producer.sinks.r.partitioner.class=org.apache.flume.plugins.SinglePartition
producer.sinks.r.serializer.class=kafka.serializer.StringEncoder
producer.sinks.r.request.required.acks=0
producer.sinks.r.max.message.size=1000000
producer.sinks.r.producer.type=sync
producer.sinks.r.custom.encoding=UTF-8
producer.sinks.r.custom.topic.name=test
#Specify the channel the sink should use
producer.sinks.r.channel = c
# Each channel's type is defined.
producer.channels.c.type = memory
producer.channels.c.capacity = 1000
producer.channels.c.transactionCapacity=100
#producer.channels.c.type=file
#producer.channels.c.checkpointDir=/home/checkdir
#producer.channels.c.dataDirs=/home/datadir
驗證flume和kafka組合
前面kafka已經啓動，這裏直接啓動flume
# bin/flume-ng agent -c conf -f conf/master.properties -n producer -Dflume.root.logger=INFO,console
使用kafka的kafka-console-consumer.sh腳本查看是否有flume有沒有往Kafka傳輸數據；
可以看到tail /var/log/messages已經通過flume傳到kafka裏，說明flume+kafka組合已經成功了。
日誌最終需要保存在hdfs裏
還需要自己開發插件去實現，這裏不再多說。