ELK日誌分析平臺——ELK海量日誌分析平臺搭建-補充篇

目錄

1、filebeat多種日誌類型接收

2、logstash設置解析規則

3、測試解析是否正常

4、默認kibana顯示的時間爲ES接收時間而不是日誌時間

5、filebeat多行異常日誌整合

---

前文搭建成功ELK日誌分析平臺，這裏在其基礎上進行部分細節的補充。

1、filebeat多種日誌類型接收

#設置spider和tomcat兩種日誌類型接收，以log_type做標記，以便日後logstash進行不同的日誌解析規則
[root@master filebeat]# vi /app/filebeat/filebeat-filter-redis.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /data/filebeat/tomcat.log
  fields:
    log_type: tomcat
  fields_under_root: true
- type: log
  enabled: true
  paths:
    - /data/filebeat/spider.log
  fields:
    log_type: spider
  fields_under_root: true
output.redis:
  hosts: ["192.168.198.136"]
  key: "filebeat"
  db: 0
  timeout: 5

2、logstash設置解析規則

#Logstash中的filter可以支持對數據進行解析過濾。
#地址：https://www.elastic.co/guide/en/logstash/6.6/index.html

#logstash利用if判斷針對tomcat和spider兩種日誌格式設置相應的解析方式
[root@master config]# vi redis-filter-es.conf
input{
  redis{
        host => "192.168.198.136"
        port => 6379
        data_type => "list"
        key => "filebeat"
}
}
filter{
  if[log_type] == "spider" {
  grok {
    #自定義-數字模板-格式(?<定義字段名稱>正則表達式)
    match => {"message" =>

    "頁面下載成功.url:\[(?<url>\S+)\].

    耗時\[(?<usetime>[0-9]+)\]毫秒.

    當前時間戳:\[(?<currenttime>[0-9]+)\]"}
}
  }
  else if[log_type] == "tomcat" {
  grok {
    #grok：支持120多種內置的表達式，這裏tomcat解析規則就是直接使用內置的表達式進行解析
    #https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
    match => {"message" => "%{COMMONAPACHELOG}"}
}
  }
      }
output{
  elasticsearch {
        hosts => "192.168.198.136:9200"
}
}

3、測試解析是否正常

#啓動filebeat、redis、logstash、es、kibana
[root@master config]# nohup ~~~~ &

#清除之前index日誌信息，以便kibana觀察
查看es所有index列表  命令行：
curl -u elastic:123456  '192.168.20.210:9200/_cat/indices?v' 
刪除index 
curl -u elastic:123456  -XDELETE '192.168.20.210:9200/logstash-2019*' 

#輸入tomcat和spider類型日誌，觀察是否分別解析爲自己對應的格式
echo "頁面下載成功.url:[http://item.jd.com/15626278.html].耗時[1000]毫秒.當前時間戳:[1473056604523]" >> /data/filebeat/spider.log
echo '110.52.250.126 - - [30/May/2019:17:38:20 +0800] "GET /data/cache/style_1_forum_index.css?y7a HTTP/1.1" 200 2331' >> /data/filebeat/tomcat.log

#kibana發現兩條日誌，並各自按解析規則解析
例如：spider日誌會解析出自定義usetime和currenttime字段，tomcat日誌會解析出clientip等特有字段

4、默認kibana顯示的時間爲ES接收時間而不是日誌時間

#導致我們無法判斷日誌具體產生時間，而且相應柱狀圖等也會集中於同一天顯示，沒有意義。

#logstash設置默認時間爲日誌自帶的時間，配置文件添加如下
filter{
。。。。。
   date {
    match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
        }
     }

 

5、filebeat多行異常日誌整合

#Filebeat multiline合併多行日誌，有些日誌是多行顯示，但是filebeat會分解成多個日誌對待例如下面錯誤日誌
#日誌格式：以時間開頭的日誌，都會合併在一起

#日誌格式
2019-10-22 10:00:08,500 ERROR (ExceptionHandle.java:27)- Request method 'GET' not supported
org.springframework.web.HttpRequestMethodNotSupportedException: Request method 'GET' not supported
    at org.springframework.web.servlet.mvc.method.RequestMappingInfoHandlerMapping.handleNoMatch(RequestMappingInfoHandlerMapping.java:207)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodMapping.lookupHandlerMethod(AbstractHandlerMethodMapping.java:374)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodMapping.getHandlerInternal(AbstractHandlerMethodMapping.java:314)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodMapping.getHandlerInternal(AbstractHandlerMethodMapping.java:61)

#配置方法
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'
multiline.negate: true
multiline.match: after