手把手教你搭建ELK

一、分佈式系統查詢日誌存在的問題

假如我訂單服務總共部署在20臺服務器上，如果我們直接登錄服務器查詢日誌的話，那得先看一號機器，沒有再看二號機器……並且日誌量較多的話，可能一個時間段內日誌就被切分成好幾個文件，這樣查詢實在是太麻煩了，ELK就是解決這個問題的。

二、ELK是什麼

elk 是 elasticsearch、logstash、kibana 的合稱。

• elasticsearch：用來搜索數據的；
• logstash：用來收集日誌的，內置了很多過濾器，可以對收集到的日誌做各種過濾處理；
• kibana：就是一個界面，用來展示logstash收集到的日誌的。

這三種技術我都不會，需要額外地去學習嗎？

可能很多人有這個疑問，其實是不需要的，搭建 elk 不需要你會任何一種技術！

三、搭建ELK

1. elasticsearch安裝配置步驟

• 下載地址：elasticsearch
• 下載後解壓，進入bin目錄直接執行 elasticsearch 或者 elasticsearch.bat 啓動即可。
• 啓動後訪問localhost:9200，出現如下界面就啓動成功了。

2. logstash安裝配置步驟

• 下載地址：logstash

• 下載後解壓，拷貝 config 目錄下的 logstash-sample.conf，改名爲 logstash.conf，修改其配置，內容如下：

  input {
     tcp {
       mode => "server"
       host => "127.0.0.1"
       port => 9001
       codec => json_lines
     }
  }
  
  output {
       elasticsearch {
           hosts => ["http://127.0.0.1:9200"]
           index => "elk-search-%{+YYYY.MM.dd}"
       }
  }
  
  

簡單解釋一下這段配置：

1. input 塊是 logstash 接收日誌時的一些配置，output 是 logstash 往 elasticsearch 輸送日誌的配置；
2. input.host 是運行 logstash 的服務器的 ip；input.port 是 logstash 的運行端口，可以自己定義；
3. output.hosts 的 elasticsearch 的 ip 和端口，這是個數組，多個用逗號隔開，由於我們沒有修改 elasticsearch 的配置，它默認就是 9200 端口；output.index 是索引；

• 修改完配置，進入 bin 目錄指定配置文件啓動即可，例如：./logstash -f ../config/logstash.conf，如果是 windows 版本，執行logstash.bat -f ../config/logstash.conf即可。

3. kibana安裝配置步驟

• 下載地址：kibana
• 下載後解壓，然後拷貝一份 config 目錄下的 kibana.yml，根據自己的需要可以修改配置，比如端口（默認5601）、host、elasticsearch.hosts（默認localhost:9200）等。我這裏都用默認的，沒有修改。
• 到 bin 目錄下執行 ./kibana就可以啓動了，windows 執行 kibana.bat即可。
• 啓動完訪問 localhost:5601，看到如下界面就啓動成功了。

4. 項目中配置日誌輸出到logstash

• 引入依賴，比如我用的 logback，那麼需要如下依賴：

   <dependency>
      <groupId>net.logstash.logback</groupId>
      <artifactId>logstash-logback-encoder</artifactId>
      <version>7.0.1</version>
  </dependency>
  <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-api</artifactId>
      <version>1.7.30</version>
  </dependency>
  <dependency>
      <groupId>ch.qos.logback</groupId>
      <artifactId>logback-classic</artifactId>
      <version>1.2.3</version>
  </dependency>
  
  

• 編寫logback-spring.xml，內容如下：

  <?xml version="1.0" encoding="UTF-8"?>
  <configuration>
      <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="undefinedAppName"/>
      <jmxConfigurator/>
      <logger name="org.springframework.web" level="INFO"/>
      <logger name="org.apache.velocity.runtime.log" level="INFO"/>
  
      <!-- 控制檯輸出 -->
      <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
          <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
              <Pattern>[%X{traceid}] %d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %M:%L - %msg %n</Pattern>
          </encoder>
      </appender>
      <appender name="dailyRollingFileAppender" class="ch.qos.logback.core.rolling.RollingFileAppender">
          <File>logs/logback-today-${APP_NAME}.log</File>
          <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
              <!-- daily rolling over -->
              <FileNamePattern>logs/${APP_NAME}.%d{yyyy-MM-dd}.log</FileNamePattern>
              <!-- keep 30 days' log history -->
              <maxHistory>30</maxHistory>
          </rollingPolicy>
          <encoder>
              <Pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %msg %n</Pattern>
          </encoder>
      </appender>
      <!-- 輸出到文件 -->
      <appender name="FILE" class="ch.qos.logback.classic.AsyncAppender">
          <!-- 不丟失日誌.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 -->
          <discardingThreshold>0</discardingThreshold>
          <!-- 更改默認的隊列的深度,該值會影響性能.默認值爲256 -->
          <queueSize>256</queueSize>
          <!-- 添加附加的appender,最多隻能添加一個 -->
          <appender-ref ref="dailyRollingFileAppender"/>
      </appender>
      <!-- 輸出到logstash -->
      <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
          <!--logstash的ip和端口-->
          <destination>127.0.0.1:9001</destination>
          <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
          <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
              <providers>
                  <timestamp>
                      <timeZone>Asia/Shanghai</timeZone>
                  </timestamp>
                  <pattern>
                      <pattern>
                          {
                          "app_name":"${APP_NAME}",
                          "traceid":"%X{traceid}",
                          "ip": "%X{ip}",
                          "server_name": "%X{server_name}",
                          "level": "%level",
                          "trace": "%X{X-B3-TraceId:-}",
                          "span": "%X{X-B3-SpanId:-}",
                          "parent": "%X{X-B3-ParentSpanId:-}",
                          "thread": "%thread",
                          "class": "%logger{40} - %M:%L",
                          "message": "%message",
                          "stack_trace": "%exception{10}"
                          }
                      </pattern>
                  </pattern>
              </providers>
          </encoder>
      </appender>
      <root level="INFO">
          <appender-ref ref="CONSOLE"/>
          <appender-ref ref="FILE"/>
          <appender-ref ref="LOGSTASH"/>
      </root>
  </configuration>
  
  

  這裏的核心配置就是輸出到 logstash 那一段，主要 logstash 的 ip 和端口要和剛纔配置的一致。

5. 在kibana中查詢日誌

• 啓動你自己的項目；
• 訪問localhost:5601，點擊左側最下方圖標【Management】--> 【Index Patterns】--> 【Create index pattern】

這裏就可以看到剛纔在 logstash 配置文件中配置的 index 了，即 elk-search-2022.04.11，我們新建一個 index pattern 能夠匹配到這個 index 就好了，比如我新建的叫 elk-search*，然後保存即可。

• 最後點擊左側第一個圖標【discover】，就可以查詢日誌了。