大數據架構：flume-ng+Kafka+Storm+HDFS 實時系統組合

個人觀點：大數據我們都知道hadoop，但並不都是hadoop.我們該如何構建大數據庫項目。對於離線處理，hadoop還是比較適合的，但是對於實時性比較強的，數據量比較大的，我們可以採用Storm，那麼Storm和什麼技術搭配，才能夠做一個適合自己的項目。下面給大家可以參考。
可以帶着下面問題來閱讀本文章：
1.一個好的項目架構應該具備什麼特點？
2.本項目架構是如何保證數據準確性的？
3.什麼是Kafka？
4.flume+kafka如何整合？
5.使用什麼腳本可以查看flume有沒有往Kafka傳輸數據

做軟件開發的都知道模塊化思想，這樣設計的原因有兩方面：
一方面是可以模塊化，功能劃分更加清晰，從“數據採集--數據接入--流失計算--數據輸出/存儲”

1）.數據採集

負責從各節點上實時採集數據，選用cloudera的flume來實現

2）.數據接入

由於採集數據的速度和數據處理的速度不一定同步，因此添加一個消息中間件來作爲緩衝，選用apache的kafka

3）.流式計算

對採集到的數據進行實時分析，選用apache的storm

4）.數據輸出

對分析後的結果持久化，暫定用mysql

另一方面是模塊化之後，假如當Storm掛掉了之後，數據採集和數據接入還是繼續在跑着，數據不會丟失，storm起來之後可以繼續進行流式計算；

那麼接下來我們來看下整體的架構圖

詳細介紹各個組件及安裝配置：

操作系統：ubuntu

Flume

Flume是Cloudera提供的一個分佈式、可靠、和高可用的海量日誌採集、聚合和傳輸的日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據;同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方(可定製)的能力。

下圖爲flume典型的體系結構：

Flume數據源以及輸出方式:

Flume提供了從console(控制檯)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日誌系統，支持TCP和UDP等2種模式)，exec(命令執行)等數據源上收集數據的能力,在我們的系統中目前使用exec方式進行日誌採集。

Flume的數據接受方，可以是console(控制檯)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日誌系統)等。在我們系統中由kafka來接收。

Flume下載及文檔：

http://flume.apache.org/

Flume安裝：

$tar zxvf apache-flume-1.4.0-bin.tar.gz/usr/local

複製代碼

Flume啓動命令：

$bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name producer -Dflume.root.logger=INFO,console

複製代碼

Kafka

kafka是一種高吞吐量的分佈式發佈訂閱消息系統，她有如下特性：

通過O(1)的磁盤數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒數十萬的消息。
支持通過kafka服務器和消費機集羣來分區消息。
支持Hadoop並行數據加載。

kafka的目的是提供一個發佈訂閱解決方案，它可以處理消費者規模的網站中的所有動作流數據。這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。kafka的目的是通過Hadoop的並行加載機制來統一線上和離線的消息處理，也是爲了通過集羣機來提供實時的消費。

kafka分佈式訂閱架構如下圖：--取自Kafka官網

羅寶兄弟文章上的架構圖是這樣的

其實兩者沒有太大區別，官網的架構圖只是把Kafka簡潔的表示成一個Kafka Cluster，而上面架構圖就相對詳細一些；

Kafka版本：0.8.0

Kafka下載及文檔：http://kafka.apache.org/

Kafka安裝：

> tar xzf kafka-<VERSION>.tgz
> cd kafka-<VERSION>
> ./sbt update
> ./sbt package
> ./sbt assembly-package-dependency

複製代碼

啓動及測試命令：

（1） start server

> bin/zookeeper-server-start.shconfig/zookeeper.properties
> bin/kafka-server-start.shconfig/server.properties

複製代碼

這裏是官網上的教程，kafka本身有內置zookeeper，但是我自己在實際部署中是使用單獨的zookeeper集羣，所以第一行命令我就沒執行，這裏只是些出來給大家看下。

配置獨立的zookeeper集羣需要配置server.properties文件，講zookeeper.connect修改爲獨立集羣的IP和端口

zookeeper.connect=nutch1:2181

複製代碼

（2）Create a topic

> bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
> bin/kafka-list-topic.sh --zookeeperlocalhost:2181

複製代碼

（3）Send some messages

> bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test

複製代碼

（4）Start a consumer

> bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning

複製代碼

kafka-console-producer.sh和kafka-console-cousumer.sh只是系統提供的命令行工具。這裏啓動是爲了測試是否能正常生產消費；驗證流程正確性

在實際開發中還是要自行開發自己的生產者與消費者；

kafka的安裝也可以參考我之前寫的文章：http://blog.csdn.net/weijonathan/article/details/18075967

Storm

Twitter將Storm正式開源了，這是一個分佈式的、容錯的實時計算系統，它被託管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType開發的實時處理系統，BackType現在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2，基本是用Clojure寫的。

Storm的主要特點如下：

簡單的編程模型。類似於MapReduce降低了並行批處理複雜性，Storm降低了進行實時處理的複雜性。
可以使用各種編程語言。你可以在Storm之上使用各種編程語言。默認支持Clojure、Java、Ruby和Python。要增加對其他語言的支持，只需實現一個簡單的Storm通信協議即可。
容錯性。Storm會管理工作進程和節點的故障。
水平擴展。計算是在多個線程、進程和服務器之間並行進行的。
可靠的消息處理。Storm保證每個消息至少能得到一次完整處理。任務失敗時，它會負責從消息源重試消息。
快速。系統的設計保證了消息能得到快速的處理，使用ØMQ作爲其底層消息隊列。（0.9.0.1版本支持ØMQ和netty兩種模式）
本地模式。Storm有一個“本地模式”，可以在處理過程中完全模擬Storm集羣。這讓你可以快速進行開發和單元測試。

由於篇幅問題，具體的安裝步驟可以參考：Storm-0.9.0.1安裝部署指導

接下來重頭戲開始拉！那就是框架之間的整合啦

flume和kafka整合

1.下載flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin

2.提取插件中的flume-conf.properties文件

修改該文件：#source section

producer.sources.s.type = exec
producer.sources.s.command = tail -f -n+1 /mnt/hgfs/vmshare/test.log
producer.sources.s.channels = c

修改所有topic的值改爲test

將改後的配置文件放進flume/conf目錄下

在該項目中提取以下jar包放入環境中flume的lib下：