ELK日志收集分析系统及与Springboot的整合

ELK日志收集分析系统

ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

基本组成软件

• Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
• Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
• Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

ELK的基于docker的搭建

注:会消耗2G+服务器内存

#1.新建elk文件夹
mkdir elk
#2.进入文件夹
cd elk
#3.创建 docker-compose.yml 文件并填入下文内容
vim docker-compose.yml
#4.新建文件及文件夹对应 docker-compose 的挂载目录
mkdir es
cd es
mkdir plugins
mkdir data
#5.给设置data文件夹设置777权限 不然es启动会报错
chmod 777 data/
cd ..
mkdir logstash
cd logstash/
#6.创建 logstash.conf 文件并填入下文内容
vim logstash.conf
#7.通过命令启动docker容器
docker-compose up -d
#通过命令查看elk的状态
docker ps

docker ps内容

CONTAINER ID        IMAGE                  COMMAND                  CREATED             STATUS              PORTS                                            NAMES
d0784ecdcc5d        logstash:7.8.0         "/usr/local/bin/dock…"   22 seconds ago      Up 21 seconds       5044/tcp, 0.0.0.0:4560->4560/tcp, 9600/tcp       logstash
8eb6c197b6f4        kibana:7.8.0           "/usr/local/bin/dumb…"   22 seconds ago      Up 21 seconds       0.0.0.0:5601->5601/tcp                           kibana
f266b48803a9        elasticsearch:7.8.0    "/tini -- /usr/local…"   22 seconds ago      Up 21 seconds       0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp   elasticsearch

可以看到三个都已启动

docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.8.0
    container_name: elasticsearch
    restart: always
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
      - TZ=Asia/Shanghai
    volumes:
      - ./es/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - ./es/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
      - 9300:9300
  kibana:
    image: kibana:7.8.0
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - SERVER_NAME=kibana
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
      - XPACK_MONITORING_ENABLED=true
      - TZ=Asia/Shanghai
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.8.0
    container_name: logstash
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - ./logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560

logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
    type => "business"
  }
}
output {
  elasticsearch {
    hosts => ["es:9200"]
    action => "index"
    codec => json
    index => "%{type}-%{+YYYY.MM.dd}"
    template_name => "business"
  }
}

访问http://服务器ip:9200/可以看到以下 json 字符串

{
    "name": "f266b48803a9",
    "cluster_name": "elasticsearch",
    "cluster_uuid": "yWdlWaN8RbOTuMZBJ7RRMg",
    "version": {
        "number": "7.8.0",
        "build_flavor": "default",
        "build_type": "docker",
        "build_hash": "757314695644ea9a1dc2fecd26d1a43856725e65",
        "build_date": "2020-06-14T19:35:50.234439Z",
        "build_snapshot": false,
        "lucene_version": "8.5.1",
        "minimum_wire_compatibility_version": "6.8.0",
        "minimum_index_compatibility_version": "6.0.0-beta1"
    },
    "tagline": "You Know, for Search"
}

访问http://服务器ip:5601/查看Kibana状况

如需修改Kibana为中文,则执行以下命令

#进入kibana容器
docker exec -it kibana bash
#切换进入 config 目录
cd config/
#编辑 kibana.yml 文件
vi kibana.yml
#在文件的最后添加一行
i18n.locale: "zh-CN"
#退出容器
exit
#重启kibana容器
docker restart kibana

再次访问http://服务器ip:5601/就可以看到界面变中文了

至此 ELK基于docker搭建完成

Springboot整合ELK实现日志收集

在spring boot 项目中引入依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

在resource目录中新建logback-spring文件 用于收集日志并将日志转发到logstash

注:要修改服务器ip

<?xml version="1.0" encoding="UTF-8" ?>
<configuration>
    <!--应用名称-->
    <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="springBoot"/>
    <!--LogStash访问host-->
    <springProperty name="LOG_STASH_HOST" scope="context" source="logstash.host" defaultValue="服务器ip"/>
    <!-- 控制台输出日志 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{traceId}] [%level] [%c:%L] - %msg%n</pattern>
        </encoder>
    </appender>
    <!--每天生成一个日志文件，保存30天的日志文件。-->
    <appender name="DayFile" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <File>logs/log.log</File>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>logs/log.%d{yyyy-MM-dd}.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{traceId}] [%level] [%thread] [%c:%L] - %msg%n</pattern>
        </encoder>
    </appender>

    <!--业务日志输出到LogStash-->
    <appender name="LOG_STASH_BUSINESS" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>${LOG_STASH_HOST}:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>Asia/Shanghai</timeZone>
                </timestamp>
                <!--自定义日志输出格式-->
                <pattern>
                    <pattern>
                        {
                        "service": "${APP_NAME:-}",
                        "level": "%level",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger",
                        "traceId": "%X{traceId:-}",
                        "message": "%message",
                        "stack_trace": "%exception"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

    <!--指定logger name为包名或类全名 指定级别 additivity设置是否传递到root logger -->
    <logger name="slf4j" level="INFO" additivity="false">
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="DayFile"/>
        <appender-ref ref="LOG_STASH_BUSINESS"/>
    </logger>
    <!--slf4j2包下的类在ERROR级别时候传递到root logger中-->
    <logger name="slf4j2" level="ERROR"/>
    <!--根logger控制-->
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="DayFile"/>
        <appender-ref ref="LOG_STASH_BUSINESS"/>
    </root>
</configuration>

启动项目输出日志后,logstash就会收集日志

访问http://服务器ip:5601并按如下设置

1.进入Stack Management

2.开始创建索引模式

3.定义索引模式

4.创建索引模式

5.创建完成后 效果如下

6.查看日志

7.可以根据各种条件筛选日志