Elasticsearch+Logstash+Kiabana

1.Logstash環境搭建

1.1Logstash環境安裝

1、上傳logstash安裝包(資料)
2、解壓tar –zxvf  logstash-6.4.3.tar.gz
3、在config目錄下放入mayikt02.conf 讀入並且讀出日誌信息

1.2將Logstash輸入到ES中

input {
    # 從文件讀取日誌信息 輸送到控制檯
    file {
        path => "/usr/local/elasticsearch-6.4.3/logs/myes.log"
        codec => "json" ## 以JSON格式讀取日誌
        type => "elasticsearch"
        start_position => "beginning"
    }
}

# filter {
#
# }

output {
    # 標準輸出 
    # stdout {}
    # 輸出進行格式化，採用Ruby庫來解析日誌   
     stdout { codec => rubydebug }
	 elasticsearch {
        hosts => ["192.168.212.190:9200"]
        index => "es-%{+YYYY.MM.dd}"
    }	 
}

2.Logstash工作原理

Logstash事件處理有三個階段：inputs → filters → outputs。是一個接收，處理，轉發日誌的工具。支持系統日誌，webserver日誌，錯誤日誌，應用日誌，總之包括所有可以拋出來的日誌類型。

Input：輸入數據到logstash。
一些常用的輸入爲：
file：從文件系統的文件中讀取，類似於tial -f命令
syslog：在514端口上監聽系統日誌消息，並根據RFC3164標準進行解析
redis：從redis service中讀取
beats：從filebeat中讀取

Filters：數據中間處理，對數據進行操作。
一些常用的過濾器爲：
grok：解析任意文本數據，Grok 是 Logstash 最重要的插件。它的主要作用就是將文本格式的字符串，轉換成爲具體的結構化的數據，配合正則表達式使用。內置120多個解析語法。
mutate：對字段進行轉換。例如對字段進行刪除、替換、修改、重命名等。
drop：丟棄一部分events不進行處理。
clone：拷貝 event，這個過程中也可以添加或移除字段。
geoip：添加地理信息(爲前臺kibana圖形化展示使用)
Outputs：outputs是logstash處理管道的最末端組件。一個event可以在處理過程中經過多重輸出，但是一旦所有的outputs都執行結束，這個event也就完成生命週期。

一些常見的outputs爲：
elasticsearch：可以高效的保存數據，並且能夠方便和簡單的進行查詢。
file：將event數據保存到文件中。
graphite：將event數據發送到圖形化組件中，一個很流行的開源存儲圖形化展示的組件。
Codecs：codecs 是基於數據流的過濾器，它可以作爲input，output的一部分配置。Codecs可以幫助你輕鬆的分割發送過來已經被序列化的數據。
一些常見的codecs：
json：使用json格式對數據進行編碼/解碼。
multiline：將匯多個事件中數據彙總爲一個單一的行。比如：java異常信息和堆棧信息。

3.啓動與驗證

啓動 ./logstash -f ../config/mayikt02.conf