ELK简述:
ELK: ElasticSearch(数据库 json存储 全文索引) + Logstash(日志采集中心,配置一些正则等分割解析处理日志)+ Kibarna(图形化展示)
Logstash做日志的采集,监听5044,采集的节点都将数据传递到5044上来。
采集的节点叫Beat。(例如File beat等)
logstash处理之后得到json数据,发到ES9200中存储。然后通过Kibana图形化展示。
logstash和kibana不是必须的。
实操:搭建一套日志采集系统
1.下载https://www.elastic.co/cn/downloads
下载后并解压:
然后按照顺序启动:
因为Beat需要指定logstash的ip端口、logstash需要指定ES的ip端口、Kibana也要指定ES的服务和端口。
所以先启动ES、Kibana、logstash、Beat。
1.1启动ES:
1.2启动Kibana:
1.3启动logstatsh:
1.4 验证:
1.5启动Beat去采集日志:(英文注释很详细)
先修改配置文件filebeat.yml:
默认输出到es中,我们这里需要beat采集经过logstash处理后再给es,:
所以注释掉这里的output,开启logstah的output就行了:
保存后,通过如下指令指定配置文件启动:
启动完成后其实它就开始进行采集日志了。
此时:
然后到Kibana中查看:
第一次进入会先让我们创建一个index.
日志的内容在message字段中:
可以展开:
除了文本形式的展示,还可以绘制一些可视化的图表: