Logstash是一個開源數據收集引擎,具有實時管道功能.Logstash可以動態地將來自不同數據源的數據統一起來,並將數據標準化到你所選擇的目的地...
此時是logstash的左右是兩部分,一是:接收來自微服務的日誌推送,可以是tcp直接傳輸,也可以是日誌文件;實踐是通過tcp連接傳輸日誌.二是推送出日誌文件到redis中..
logstash的安裝,就普通默認安裝就好了...沒其他要說的...
此時需要在bin的同級目錄中創建conf文件夾,conf下創建touch logstash.conf文件;編寫配置文件
此時的配置項爲配置內容,啓動時需要指定到該配置文件,才能生效.
nohup ./bin/logstash -f conf/logstash.conf &啓動
logstash三要素:
input,filter和output...
input指定數據從哪裏來,
filter對數據進行過濾處理
output指定將處理後的數據發送到哪裏去.
這裏tcp是input的插件
mode:可選server或client.server表示監聽客戶端連接;client表示去連接server
host:監聽的server
port:監聽的端口
codec:對輸入數據進行編解碼,轉換格式,這樣就不需要在filter中做這個事兒..."json_lines"是對有換行符("\n")的json串進行編解碼."json"是對沒有換行符json串進行編解碼;
redis是output的插件:
data_type:可選list,channel或pattern_channel..此時使用的是list,後面redis客戶端使用的時候的命令就是blpop命令處理redis內的元素.
host:redis server 的地址
key:即存儲該list的key值
logstash作爲shipper使用的時候,簡單的配置就這麼多.後續的更多配置,慢慢學習;
//todo
logstash配置
