Source、Channel、Sink有哪些類型
1.Flume Source
Source類型 | 說明
Avro Source | 支持Avro協議(實際上是Avro RPC),內置支持
Thrift Source | 支持Thrift協議,內置支持
Exec Source | 基於Unix的command在標準輸出上生產數據
JMS Source | 從JMS系統(消息、主題)中讀取數據
Spooling Directory Source | 監控指定目錄內數據變更
Twitter 1% firehose Source| 通過API持續下載Twitter數據,試驗性質
Netcat Source | 監控某個端口,將流經端口的每一個文本行數據作爲Event輸入
Sequence Generator Source | 序列生成器數據源,生產序列數據
Syslog Sources | 讀取syslog數據,產生Event,支持UDP和TCP兩種協議
HTTP Source | 基於HTTP POST或GET方式的數據源,支持JSON、BLOB表示形式
Legacy Sources | 兼容老的Flume OG中Source(0.9.x版本)
2.Flume Channel Channel類型
Channel類型 說明
Memory Channel | Event數據存儲在內存中
JDBC Channel | Event數據存儲在持久化存儲中,當前Flume Channel內置支持Derby
File Channel | Event數據存儲在磁盤文件中
Spillable Memory Channel | Event數據存儲在內存中和磁盤上,當內存隊列滿了,會持久化到磁盤文件
Pseudo Transaction Channel | 測試用途
Custom Channel | 自定義Channel實現
3.Flume Sink Sink類型
Sink類型 說明
HDFS Sink | 數據寫入HDFS
Logger Sink | 數據寫入日誌文件
Avro Sink | 數據被轉換成Avro Event,然後發送到配置的RPC端口上
Thrift Sink | 數據被轉換成Thrift Event,然後發送到配置的RPC端口上
IRC Sink | 數據在IRC上進行回放
File Roll Sink | 存儲數據到本地文件系統
Null Sink | 丟棄到所有數據
HBase Sink | 數據寫入HBase數據庫
Morphline Solr Sink | 數據發送到Solr搜索服務器(集羣)
ElasticSearch Sink | 數據發送到Elastic Search搜索服務器(集羣)
Kite Dataset Sink | 寫數據到Kite Dataset,試驗性質的
Custom Sink | 自定義Sink實現