flume參數詳解

Source、Channel、Sink有哪些類型

1.Flume Source

Source類型 	              | 說明
Avro Source 	            | 支持Avro協議(實際上是Avro RPC),內置支持
Thrift Source 	          | 支持Thrift協議,內置支持
Exec Source 	            | 基於Unix的command在標準輸出上生產數據
JMS Source 	              | 從JMS系統(消息、主題)中讀取數據
Spooling Directory Source | 監控指定目錄內數據變更
Twitter 1% firehose Source|	通過API持續下載Twitter數據,試驗性質
Netcat Source 	          | 監控某個端口,將流經端口的每一個文本行數據作爲Event輸入
Sequence Generator Source | 序列生成器數據源,生產序列數據
Syslog Sources 	          | 讀取syslog數據,產生Event,支持UDP和TCP兩種協議
HTTP Source 	            | 基於HTTP POST或GET方式的數據源,支持JSON、BLOB表示形式
Legacy Sources 	          | 兼容老的Flume OG中Source(0.9.x版本)

2.Flume Channel Channel類型

Channel類型 	  說明
Memory Channel 	           | Event數據存儲在內存中
JDBC Channel   	           | Event數據存儲在持久化存儲中,當前Flume Channel內置支持Derby
File Channel   	           | Event數據存儲在磁盤文件中
Spillable Memory Channel   | Event數據存儲在內存中和磁盤上,當內存隊列滿了,會持久化到磁盤文件
Pseudo Transaction Channel | 測試用途
Custom Channel 	           | 自定義Channel實現

3.Flume Sink Sink類型

Sink類型 	說明
HDFS Sink 	        | 數據寫入HDFS
Logger Sink 	      | 數據寫入日誌文件
Avro Sink 	        | 數據被轉換成Avro Event,然後發送到配置的RPC端口上
Thrift Sink 	      | 數據被轉換成Thrift Event,然後發送到配置的RPC端口上
IRC Sink    	      | 數據在IRC上進行回放
File Roll Sink 	    | 存儲數據到本地文件系統
Null Sink 	        | 丟棄到所有數據
HBase Sink 	        | 數據寫入HBase數據庫
Morphline Solr Sink | 數據發送到Solr搜索服務器(集羣)
ElasticSearch Sink 	| 數據發送到Elastic Search搜索服務器(集羣)
Kite Dataset Sink 	| 寫數據到Kite Dataset,試驗性質的
Custom Sink 	      | 自定義Sink實現
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章