企業日誌分析之linux系統message收集展示

之前寫了收集linux系統歷史history命令,下面介紹一下系統裏日誌收集與展示的。

老規矩,先看效果,滿意的話繼續看。

一、效果圖

1、總覽

wKioL1YthELSF2CGAAVVoW2EuIs388.jpg

2、linux系統日誌收集數據總量

wKiom1YthEmDRT6dAACF5-7tbtg841.jpg

主要是展示所選範圍內容收集日誌總量

3、linux系統日誌收集主機數

wKiom1YthJfy7zvhAAB1VRxXbUA808.jpg

主要是展示當前總共有多少臺主機上傳了message日誌數據

4、linux系統日誌程序類型Top5

wKioL1YthQbR556rAACUzYEf4Nw154.jpg

主要是展示收集的日誌信息裏前5個程序名;我這5個都是docker服務器,所以docker日誌有很多。

5、linux系統日誌時間數據總量圖

wKioL1YthWKCJ96bAAD8n97EoUk943.jpg

主要是展示每個時間段收集的數據量

6、linux系統日誌數據

wKioL1Ythe-guwNCAALjQ8a9w6c267.jpg

主要是展示詳細的日誌數據

安裝elk的過程可以參考上一篇,地址是http://dl528888.blog.51cto.com/2382721/1703059

二、收集日誌

我收集的是系統/var/log/messages日誌,然後通過rsyslog的tcp 8514端口發給logstash。

1、配置rsyslog

默認rsyslog都安裝了,所以只需要修改配置

在/etc/rsyslog.conf裏添加

*.* @@localhost:8514

然後重啓rsyslog

2、配置logstash

[root@puppet tmp]# cat /etc/logstash/conf.d/logstash_agent.conf
input {
    tcp {
    port => "8514"
    type => "syslog"
   }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
    }
  }
}

output {
redis {

host => ["10.10.125.8:6379"]

data_type =>"list"
key => "logstash:redis"

}

}

3、導入模板

導入順序

1、Linux系統日誌試圖.json

2、Linux系統日誌搜索.json

3、Linux系統日誌Dashboard.json

其他的有問題可以留言。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章