【Logstash宏觀瞭解】

前言

最近學習了一下logstash,簡要來宏觀闡述一下.

核心

定義

是一款強大的數據處理工具，它可以實現數據傳輸，格式處理，格式化輸出，還有強大的插件功能，常用於日誌處理,

是一款開源的數據搜索引擎,具備實時數據傳輸能力.可以統一過濾來自不同源的數據,並按照開發者的制定規範輸出到目的地.

組成結構    

通過管道進行運作,管道有兩個必要的元素,輸入和輸出,還有一個元素:過濾器

輸入插件從數據源獲取數據,過濾器插件根據用戶指定的數據格式修改數據,輸出插件則將數據寫入到目的地

• input 數據輸入端，可以接收來自任何地方的源數據
• Filter 數據中轉層，主要進行格式處理，數據類型轉換、數據過濾、字段添加，修改等，常用的過濾器如下

• output 是logstash工作的最後一個階段，負責將數據輸出到指定位置，兼容大多數應用

配置文件

input { 
# 從文件讀取日誌信息 
file {
path => "/var/log/error.log" 
type => "error" 
start_position => "beginning" } }
# filter { # # } 
output {
# 輸出到 elasticsearch 
elasticsearch {
hosts => ["ip:端口號"] 
index => "error-%{+YYYY.MM.dd}" } }

總結    
具體詳細的配置後面再詳細介紹.