日志采集系统ELK

ELK简述:

ELK: ElasticSearch(数据库 json存储 全文索引) + Logstash(日志采集中心,配置一些正则等分割解析处理日志)+ Kibarna(图形化展示)

 

Logstash做日志的采集,监听5044,采集的节点都将数据传递到5044上来。

采集的节点叫Beat。(例如File beat等)

logstash处理之后得到json数据,发到ES9200中存储。然后通过Kibana图形化展示。

logstash和kibana不是必须的。


实操:搭建一套日志采集系统

1.下载https://www.elastic.co/cn/downloads

下载后并解压:

然后按照顺序启动:

因为Beat需要指定logstash的ip端口、logstash需要指定ES的ip端口、Kibana也要指定ES的服务和端口。

所以先启动ES、Kibana、logstash、Beat。

1.1启动ES:

1.2启动Kibana:

1.3启动logstatsh:

1.4 验证:

 

1.5启动Beat去采集日志:(英文注释很详细)

先修改配置文件filebeat.yml:

默认输出到es中,我们这里需要beat采集经过logstash处理后再给es,:

所以注释掉这里的output,开启logstah的output就行了:

保存后,通过如下指令指定配置文件启动:

启动完成后其实它就开始进行采集日志了。

此时:

然后到Kibana中查看:

第一次进入会先让我们创建一个index.

日志的内容在message字段中:

可以展开: 

除了文本形式的展示,还可以绘制一些可视化的图表:

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章