Logstash

簡介

Logstash 是開源的服務器端數據處理管道,能夠同時從多個來源採集數據,轉換數據,然後將數據發送到您最喜歡的“存儲庫”中。(當然,我們最喜歡的是Elasticsearch)

輸入:採集各種樣式、大小和來源的數據

數據往往以各種各樣的形式,或分散或集中地存在於很多系統中。Logstash 支持各種輸入選擇 ,可以在同一時間從衆多常用來源捕捉事件。能夠以連續的流式傳輸方式,輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

過濾器:實時解析和轉換數據

數據從源傳輸到存儲庫的過程中,Logstash 過濾器能夠解析各個事件,識別已命名的字段以構建結構,並將它們轉換成通用格式,以便更輕鬆、更快速地分析和實現商業價值。

Logstash 能夠動態地轉換和解析數據,不受格式或複雜度的影響:

利用 Grok 從非結構化數據中派生出結構
從 IP 地址破譯出地理座標
將 PII 數據匿名化,完全排除敏感字段
整體處理不受數據源、格式或架構的影響

輸出:選擇你的存儲,導出你的數據

儘管 Elasticsearch 是我們的首選輸出方向,能夠爲我們的搜索和分析帶來無限可能,但它並非唯一選擇。

Logstash 提供衆多輸出選擇,您可以將數據發送到您要指定的地方,並且能夠靈活地解鎖衆多下游用例。

安裝

去官網下載Logstash https://www.elastic.co/cn/downloads/logstash

 

解壓後 放在你喜歡的位置。這裏建議放在Elasticsearch同級目錄下 


首先,讓我們通過最基本的Logstash管道來測試一下剛纔安裝的Logstash

Logstash管道有兩個必需的元素,輸入和輸出,以及一個可選元素過濾器。輸入插件從數據源那裏消費數據,過濾器插件根據你的期望修改數據,輸出插件將數據寫入目的地。

接下來,允許Logstash最基本的管道,例如:
 

bin/logstash -e 'input { stdin {} } output { stdout {} }'

(畫外音:選項 -e 的意思是允許你從命令行指定配置)

啓動以後,下面我們在命令行下輸入"hello world"

 
這樣我們的最基本Logstash管道測試成功了!

在現實世界中,一個Logstash管理會稍微複雜一些:它通常有一個或多個input, filter 和 output 插件。

input {}
filter {}
output {}


我們去logstash 的config目錄下創建一個logstash.conf文件。編輯它


這個是我一個簡單的spring啓動日誌。我就沒用filter 

去啓動這個配置

到bin目錄下
 

./logstash -f ../config/logstash.conf


我們去http://localhost:5601/的kibana管理臺 Logs 下 就可以看到我們的日誌信息了

可以進行定製的篩選 突出顯示 

 

好了Logstash簡單的配置和使用我們就算入門了! 

其他就交給大家深入研究了。

 

這個是我的個人微信公衆號   有興趣可以關注一下  也會分享一些技術性文章

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章