ELK 結構化message

首先   關於ElasticSearch

http://IP:端口/filebeat-6.1.1-2019.01.14/doc/_search

第一層    就是索引 可以理解爲數據庫 filebeat-6.1.1-2019.01.14

第二層    doc 在es中被稱之爲文檔   可以理解爲表     doc爲表名      當然也可以是別的名字  反正就是表名稱啦 

第三層    doc是表名   裏面包含了很多條json字符串   每一條就可以理解爲一條數據  logstash發送的數據就是這個東西   分割message時只要在filter進行正則匹配  那麼kibana中就會出現相對應的屬性

//查看所有索引     GET格式都可以在瀏覽器運行  別的則需要利用  curl了

(小技巧)在瀏覽器請求數據時  返回的是json字符串的話  則可以    1全部複製    F12=》console   在控制檯中   var 變量名  = 剛剛的JSON串     2，直接輸入剛剛丁一德變量名   就可以格式化查看對象數據
curl 'http://IP:端口`/_cat/indices?v'   
//根據Id查看文檔信息
curl -X PUT -H "Content-Type:application/json" 'http://192.168.20.116:9200/filebeat-6.1.1-2019.01.14/doc/m4FSS2gBAorYQXjgN99s' -d '  
//查看所有文檔信息
http://IP:端口/filebeat-6.1.1-2019.01.14/doc/_search
//刪除索引
curl -X DELETE 'http://IP:端口/filebeat-6.1.1-2019.01.16?pretty'

找到logsrash的配置文件

添加filter    此處只是個實例    具體的正則需要根據業務調整

filter {
  grok {
    match => { "message" => "%{IP:client_id_address} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:http_response_time}" }
  }
}

測試日誌數據

55.3.244.1 GET /index.html 15824 0.043