K8s容器日誌實時收集FileBeat+ES+Kibana

原創 abcdocker 2019-04-05 07:17

K8s容器日誌實時收集FileBeat+ES+Kibana

www.i4t.com

標籤（空格分隔）： ELK

文章目錄

k8s日誌收集第一種方式
filebeat.png-197.6kB
k8s日誌收集第二種方式
filebeat.png-197.6kB

環境說明

IP地址 服務 主機名
10.4.82.119 docker、k8s_master|node、 master
10.4.82.120 docker、 k8s_node、kibana node
10.4.82.115 es、Harbor鏡像倉庫、docker (主要作用就是打一個filebeat鏡像) i4t

提示：filebeat跑在k8s容器內部，所以沒有單獨創建服務

一、FileBeat

作爲 Beats 家族的一員，Filebeat 是一個輕量級的日誌傳輸工具，它的存在正彌補了 Logstash 的缺點：Filebeat 作爲一個輕量級的日誌傳輸工具可以將日誌推送到中心 Logstash。

在版本 5.x 中，Elasticsearch 具有解析的能力（像 Logstash 過濾器）— Ingest。這也就意味着可以將數據直接用 Filebeat 推送到 Elasticsearch，並讓 Elasticsearch 既做解析的事情，又做存儲的事情。也不需要使用緩衝，因爲 Filebeat 也會和 Logstash 一樣記住上次讀取的偏移：
image_1d6v3v2fn29s1oa932m3nf1i0n9.png-24.1kB
如果需要緩衝（例如，不希望將日誌服務器的文件系統填滿），可以使用 Redis/Kafka，因爲 Filebeat 可以與它們進行通信：
image_1d6v3vfrn16g7bmp18ct1cm7pvom.png-32.1kB

Filebeat 優點

Filebeat 只是一個二進制文件沒有任何依賴。它佔用資源極少，儘管它還十分年輕，正式因爲它簡單，所以幾乎沒有什麼可以出錯的地方，所以它的可靠性還是很高的。它也爲我們提供了很多可以調節的點，例如：它以何種方式搜索新的文件，以及當文件有一段時間沒有發生變化時，何時選擇關閉文件句柄。

Filebeat 缺點

Filebeat 的應用範圍十分有限，所以在某些場景下我們會碰到問題。例如，如果使用 Logstash 作爲下游管道，我們同樣會遇到性能問題。正因爲如此，Filebeat 的範圍在擴大。開始時，它只能將日誌發送到 Logstash 和 Elasticsearch，而現在它可以將日誌發送給 Kafka 和 Redis，在 5.x 版本中，它還具備過濾的能力。

典型應用場景

Filebeat 在解決某些特定的問題時：日誌存於文件，我們希望

① 將日誌直接傳輸存儲到 Elasticsearch。這僅在我們只是抓去（grep）它們或者日誌是存於 JSON 格式（Filebeat 可以解析 JSON）。或者如果打算使用 Elasticsearch 的 Ingest 功能對日誌進行解析和豐富。

② 將日誌發送到 Kafka/Redis。所以另外一個傳輸工具（例如，Logstash 或自定義的 Kafka 消費者）可以進一步豐富和轉發。這裏假設選擇的下游傳輸工具能夠滿足我們對功能和性能的要求。

1.1 FileBeat工作原理

Filebeat是本地文件的日誌數據採集器。作爲服務器上的代理安裝，Filebeat監視日誌目錄或特定的日誌文件tail -f file並將它們轉發給ES、Logstash、Kafka等

Filebeat由二個主要組件組成:prospector和havvester 這些組件一起工作讀取文件並將時間數據發送到指定的輸出

啓動Filebeat時，它會啓動一個或多個查找器，查看您的日誌文件指定的本地路徑。對**prospector**所在的每個日誌文件，prospector啓動harvester。每個harvester都會爲新內容讀取單個日誌文件，並將新日誌數據發送到libbeat，後者將聚合事件合併聚合數據發送到Filebeat配置的輸出

kafka-img.png-83.3kB

harvester

負載讀取單個文化的內容。讀取每個文件，並將內容發送到the output。每個文件啓動一個harvester，負責打開和關閉文件，這意味着在運行時文件描述符保持打開狀態
如果文件在讀取時被刪除或重命名，Filebeat將繼續讀取文件。在harvester關閉之前，磁盤上的空間被保留。默認情況下，Filebeat將文件保持打開狀態，直到達到close_inactive狀態

關閉harvester會產生以下結果

1.如果在harvester仍在讀取文件時文件被刪除，則關閉文件句柄，釋放底層資源。
2.文件的採集只會在scan_frequency過後重新開始
3.如果在harvester關閉的情況下移動文件，則不會繼續處理文件

prospector

負責管理harvester並找到所有要讀取的文件來源。
如果輸入類型爲日誌，則查找器將查找路徑匹配的所有文件，併爲每個文件啓動一個harvester。每個prospector都在自己的Go斜程中運行

以下示例將Filebeat配置爲從與指定的匹配的所有日誌文件中收集行：

filebeat.prospectors:
- type: log
  paths:
    - /data/log/*.log
    - /data/log4j/*.log

Filebeat目前支持兩種prospector類型：log和stdin
每個prospector類型可以定義多次
日誌prospector檢查每個文件以查看harvester是否需要啓動，是否已經運行

只有在harvest關閉後文件大小發生了變化，纔會讀到新行

注：Filebeat prospector只能讀取本地文件，沒有功能可以連接到遠程主機來讀取存儲的日誌或文件

Filebeat 保持文件狀態

Filebeat 保存每個文件的狀態並經常講狀態刷新到磁盤上的註冊中心中。該狀態用於記錄harvest正在讀取的最後偏移量，並確保發送所有日誌行。

如果輸出(例如ES或Logstash)無法訪問，Filebeat會跟蹤最後發送的行，並在輸出再次可用時繼續讀取文件。

在Filebeat運行時，每個prospector內存中也會保存文件狀態信息。由於文件可以被重命名活移動，因爲文件名和路徑不足易識別文件。對每個文件，Filebeat存儲唯一標示符以檢測文件是否先前已經採集過

Filebeat如何確保至少一次交付

Filebeat保證事件至少會被傳送到配置的輸出一次，並且不會丟失數據。Filebeat能夠實現此行爲，因爲它將每個事件的傳遞狀態存儲在註冊文件中。在輸出阻塞或未確認所有事件的情況下，Filebeat將繼續嘗試發送事件，直到接收端確認已收到。

如果Filebeat在發送事件的過程中關閉，它不會等待輸出確認所有收到事件。發送到輸出但在Filebeat關閉前未確認的任何事在重新啓動Filebeat時會再次發送。這可以確保每個事件至少發送一次，但最終會重複事件發送到輸出。也可以通過設置shutdown_timeout選項來配置Filebeat以在關閉之前等待特定事件

注:
Filebeat的至少一次交付保證包括日誌輪換和刪除舊文件的限制。如果將日誌文件寫入磁盤並且寫入速度超過Filebeat可以處理的速度，或者在輸出不可用時刪除了文件，則可能會丟數據。在Linux，Filebeat也可能因爲inode重用而跳過行

本段參考：https://www.jianshu.com/p/6282b04fe06a

二、環境配置

Docker安裝

wget http://down.abcdocker.com/docker/docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm
wget http://down.abcdocker.com/docker/docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm

yum 安裝
yum install docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm -y
yum install docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm -y

systemctl enable docker 
systemctl start docker

sed -i '/ExecStart=\/usr\/bin\/dockerd/i\ExecStartPost=\/sbin/iptables -I FORWARD -s 0.0.0.0\/0 -d 0.0.0.0\/0 -j ACCEPT' /usr/lib/systemd/system/docker.service
sed -i '/dockerd/s/$/ \-\-storage\-driver\=overlay2/g' /usr/lib/systemd/system/docker.service

systemctl daemon-reload 
systemctl restart docker

#設置存儲引擎和防火牆

2.1 Tomcat鏡像製作

222.png-34.4kB

我們這裏以Tomcat項目爲基礎進行測試

Docker文件內容如下
#這裏需要把apache和jdk下載到本地，需要和Dockerfile在同一目錄
wget http://down.abcdocker.com/docker/jdk1.8.0_66.tar.gz
wget http://down.abcdocker.com/docker/apache-tomcat-8.5.39.tar.gz

[root@i4t tomcat_test]# cat Dockerfile
# docker pull centos
###############################################################################
#                                INSTALLATION
###############################################################################
#                              www.i4t.com
##############################################################################
#            .o.        .o8                       .o8                      oooo
#           .888.      "888                      "888                      `888
#          .8"888.      888oooo.   .ooooo.   .oooo888   .ooooo.   .ooooo.   888  oooo   .ooooo.  oooo d8b
#         .8' `888.     d88' `88b d88' `"Y8 d88' `888  d88' `88b d88' `"Y8  888 .8P'   d88' `88b `888""8P
#        .88ooo8888.    888   888 888       888   888  888   888 888        888888.    888ooo888  888
#       .8'     `888.   888   888 888   .o8 888   888  888   888 888   .o8  888 `88b.  888    .o  888
#      o88o     o8888o  `Y8bod8P' `Y8bod8P' `Y8bod88P" `Y8bod8P' `Y8bod8P' o888o o888o `Y8bod8P' d888b
#
#
#                        ****         ****
#                      ***  ***      **  ***
#                      *      *     **     *
#
#                            **     **
#                             ***  **
#                               ****
#####################################################################################

FROM centos
MAINTAINER www.i4t.com "[email protected]"
WORKDIR /tmp
## Please see https://i4t.com/3552.html   install JDK
COPY jdk1.8.0_66.tar.gz /tmp
    RUN tar zxf /tmp/jdk1.8.0_66.tar.gz -C /usr/local/ && rm -rf /tmp/jdk1.8.0_66.tar.gz
    RUN ln -s /usr/local/jdk1.8.0_66 /usr/local/jdk
#/etc/profile
    ENV JAVA_HOME /usr/local/jdk
    ENV CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    ENV PATH $PATH:$JAVA_HOME/bin
# add apache
# Please see i4t.com && baidu.com
    COPY apache-tomcat-8.5.39.tar.gz /tmp
    RUN tar zxf apache-tomcat-8.5.39.tar.gz -C /usr/local  && rm -rf /tmp/apache-tomcat-8.5.39.zip
    RUN mv /usr/local/apache-tomcat-8.5.39 /usr/local/tomcat
#port
    EXPOSE 8080
###############################################################################
#                                   START
###############################################################################
ENTRYPOINT /usr/local/tomcat/bin/startup.sh && tail -f /usr/local/tomcat/logs/catalina.out

構建tomcat鏡像

[root@i4t ~]# docker build -t i4t.com/tomcat/tomcat.v1 /data/tomcat_test/
Sending build context to Docker daemon 205.6 MB
Step 1/14 : FROM centos
 ---> 9f38484d220f
Step 2/14 : MAINTAINER www.i4t.com "[email protected]"
 ---> Using cache
 ---> 4a7c687c3bf7
Step 3/14 : WORKDIR /tmp
 ---> Using cache
 ---> 4bc766547f5c
Step 4/14 : COPY jdk1.8.0_66.tar.gz /tmp
 ---> Using cache
 ---> 2fd3ec55a068
Step 5/14 : RUN tar zxf /tmp/jdk1.8.0_66.tar.gz -C /usr/local/ && rm -rf /tmp/jdk1.8.0_66.tar.gz
 ---> Using cache
 ---> 3cb37cce7028
Step 6/14 : RUN ln -s /usr/local/jdk1.8.0_66 /usr/local/jdk
 ---> Using cache
 ---> 790555e157f7
Step 7/14 : ENV JAVA_HOME /usr/local/jdk
 ---> Using cache
 ---> 9a0bcf883c98
Step 8/14 : ENV CLASSPATH .:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 ---> Using cache
 ---> 9d4f614f7979
Step 9/14 : ENV PATH $PATH:$JAVA_HOME/bin
 ---> Using cache
 ---> b99a4730d3ea
Step 10/14 : COPY apache-tomcat-8.5.39.tar.gz /tmp
 ---> Using cache
 ---> 73a8408bc879
Step 11/14 : RUN tar zxf apache-tomcat-8.5.39.tar.gz -C /usr/local  && rm -rf /tmp/apache-tomcat-8.5.39.zip
 ---> Using cache
 ---> 34d63da07d30
Step 12/14 : RUN mv /usr/local/apache-tomcat-8.5.39 /usr/local/tomcat
 ---> Using cache
 ---> 7dae5cb15207
Step 13/14 : EXPOSE 8080
 ---> Using cache
 ---> 8ec8c8470149
Step 14/14 : ENTRYPOINT /usr/local/tomcat/bin/startup.sh && tail -f /usr/local/tomcat/logs/catalina.out
 ---> Using cache
 ---> 0eac795556fb
Successfully built 0eac795556fb

#更改鏡像名稱
docker tag [原鏡像]  [新鏡像]
例子：docker tag i4t.com/tomcat/tomcatv1  i4t.com/tomcat/i4tv1

鏡像打包完成後，我們在docker容器手動啓動鏡像進行測試

[root@i4t tomcat]# docker run -idt --name i4t_tomcat_test -p 80:8080 i4t.com/tomcat/tomcat.v1
f6f1621d9464ea2d17a4611393b1950e36f5b7b6c9234f322d636d47fee94e10

#run 運行容器
-it 進入容器
-d  後臺運行
--name 新容器名稱
-p 映射端口
i4t.com/tomcat/tomcat.v1 鏡像名稱

在Docker本機使用curl命令驗證服務是否正常運行 (主要是判斷docker build是否有問題)
curl.png-484.8kB
容器正常啓動訪問說明我們tomcat鏡像是沒有問題
tomcat-web.png-455.6kB

當我們鏡像打包完成docker啓動正常之後，直接push到Harbor鏡像倉庫即可

docker push i4t.com/tomcat/i4tv1

下面是harbor搭建文檔
harbor安裝

這裏稍微說明一點，如果是線上環境，需要替換war包操作。可以將上面製作的tomcat鏡像爲基礎鏡像，在寫一個dockerfile。我這裏提供一下

#這裏不是重點，我不詳細說。步驟放在這

# cat dockerfile 
FROM i4t.com/tomcat/tomcat.v1
MAINTAINER abcdocker "i4t.com"
COPY ROOT.tgz /data/
RUN tar zxf /data/ROOT.tgz -C /usr/local/tomcat/webapps/ && rm -rf /data/ROOT.tgz

# docker build -t tomcat_video:v1
# docker tag tomcat_video:v1 i4t.com/tomcat_video:v1 
# docker push i4t.com/tomcat_video:v1

2.2 Filebeat 製作鏡像

我們這裏講的是使用Filebeat來收集日誌，ELK安裝具體可以參考
ELK 二進制安裝並收集nginx日誌

filebeat-logo.png-196.2kB

tomcat服務已經可以正常運行，現在我們部署filebeat鏡像

[root@i4t filebeat]# docker build -t tomcat_filebeat:v2 /data/filebeat/
Sending build context to Docker daemon 50.63 MB
Step 1/9 : FROM docker.io/centos
 ---> 9f38484d220f
Step 2/9 : MAINTAINER www.i4t.com <[email protected]>
 ---> Using cache
 ---> bbc4c3a8b392
Step 3/9 : WORKDIR /usr/local
 ---> Using cache
 ---> 7af655ce0f61
Step 4/9 : ENV FILEBEAT_VERSION 6.7.0
 ---> Using cache
 ---> 227c02e65a80
Step 5/9 : RUN set -x       && curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-${FILEBEAT_VERSION}-linux-x86_64.tar.gz       && tar xf filebeat-${FILEBEAT_VERSION}-linux-x86_64.tar.gz -C /usr/local       && ln -s /usr/local/filebeat-${FILEBEAT_VERSION}-linux-x86_64 /usr/local/filebeat       && chmod +x /usr/local/filebeat/filebeat        && mkdir -p /etc/filebeat
 ---> Running in 6d86756e5c4a
+ curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.0-linux-x86_64.tar.gz
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 11.1M  100 11.1M    0     0   382k      0  0:00:29  0:00:29 --:--:-- 1149k
+ tar xf filebeat-6.7.0-linux-x86_64.tar.gz -C /usr/local
+ ln -s /usr/local/filebeat-6.7.0-linux-x86_64 /usr/local/filebeat
+ chmod +x /usr/local/filebeat/filebeat
+ mkdir -p /etc/filebeat
 ---> 8920fb78ff5d
Removing intermediate container 6d86756e5c4a
Step 6/9 : ADD ./docker-entrypoint.sh /usr/bin/
 ---> d2989df722b1
Removing intermediate container dbe668e7cd75
Step 7/9 : RUN chmod +x /usr/bin/docker-entrypoint.sh
 ---> Running in eb7c7304647a
 ---> 5ea2cb81cad6
Removing intermediate container eb7c7304647a
Step 8/9 : ENTRYPOINT docker-entrypoint.sh
 ---> Running in bed03d3aa8e3
 ---> cb9d8de0d329
Removing intermediate container bed03d3aa8e3
Step 9/9 : CMD /usr/local/filebeat/filebeat -e -c /etc/filebeat/filebeat.yml
 ---> Running in 253dcfbc0ff7
 ---> f26910a9c61d
Removing intermediate container 253dcfbc0ff7
Successfully built f26910a9c61d

Filebeat Dockerfile內容

[root@i4t filebeat]# cat Dockerfile
###############################################################################
#                                INSTALLATION
###############################################################################

FROM  docker.io/centos
MAINTAINER www.i4t.com <[email protected]>

# Install Filebeat
WORKDIR /usr/local
ENV FILEBEAT_VERSION=5.4.0
RUN set -x \
      && curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-${FILEBEAT_VERSION}-linux-x86_64.tar.gz \
      && tar xf filebeat-${FILEBEAT_VERSION}-linux-x86_64.tar.gz -C /usr/local \
      && ln -s /usr/local/filebeat-${FILEBEAT_VERSION}-linux-x86_64 /usr/local/filebeat \
      && chmod +x /usr/local/filebeat/filebeat  \
      && mkdir -p /etc/filebeat

ADD ./docker-entrypoint.sh /usr/bin/
RUN chmod +x /usr/bin/docker-entrypoint.sh

ENTRYPOINT ["docker-entrypoint.sh"]

CMD ["/usr/local/filebeat/filebeat","-e","-c","/etc/filebeat/filebeat.yml"]

######### 腳本內容
[root@i4t filebeat]# cat docker-entrypoint.sh
#!/bin/bash
config=/etc/filebeat/filebeat.yml
env
echo 'Filebeat init process done. Ready for start up.'
echo "Using the following configuration:"
cat /etc/filebeat/filebeat.yml
exec "$@"

## Dockerfile和腳本在同一個目錄下，然後進行build

打包完成後我們push到harbor倉庫，和tomcat鏡像一樣的操作

[root@i4t tmp]# docker tag tomcat_filebeat:v2  i4t.com/filebeat/v1
[root@i4t tmp]# docker push i4t.com/filebeat/v1:latest
The push refers to a repository [i4t.com/filebeat/v1]
de0545fc627a: Pushed
8bd9a1a2863c: Pushed
f01cc0f2d07b: Pushed
d69483a6face: Pushed
latest: digest: sha256:03a8f15e28d012eb19aeb29b4920f7ab5df5365054896fa40f83a97aa1cb55cf size: 1155

2.3 Elasticsearch安裝

1.JDK環境安裝
2.Elasticsearch安裝

這裏不寫了，博客有很多了
參考https://i4t.com/3552.html

服務正常啓動即可 （我們這裏只需要安裝es和es-head插件即可，logstash在另外一臺）
image_1d7jo79vjgsn136116fk1chd592r.png-827.5kB

2.4 kibana安裝

https://i4t.com/3552.html
只要服務正常啓動，沒有報錯即可
image_1d7jpvv551sb0fjd1opt1aef5f45g.png-267.4kB

2.5 測試鏡像

這裏我們使用k8s環境進行測試，沒有搭建k8s可以參考 [k8s 1.11源碼安裝]

tomcat.yaml

[root@yzsjhl82-119 tomcat_test]# cat tomcat_test.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: tomcat-abcdocker
  namespace: default
spec:
  replicas: 1
  template:
    metadata:
      labels:
        k8s-app: tomcat-web
    spec:
      containers:
      - image: 鏡像地址/filebeat/v2
        imagePullPolicy: Always
        name: filebeat
        volumeMounts:
        - name: app-logs
          mountPath: /logs
        - name: filebeat-config
          mountPath: /etc/filebeat/

      - image: 鏡像地址/filebeat/tomcat.v1:latest
        name : tomcat-web
        imagePullPolicy: Always
        ports:
        - containerPort: 8080
        volumeMounts:
        - name: app-logs
          mountPath: /usr/local/tomcat/logs
      volumes:
      - name: app-logs
        emptyDir: {}
      - name: filebeat-config
        configMap:
          name: filebeat-config

tomcat_server.xml （端口暴露）

[root@master tomcat_test]# cat tomcat_server.yaml
apiVersion: v1
kind: Service
metadata:
  name: tomcat-web
  labels:
    k8s-app: tomcat-web
spec:
  type: NodePort
  ports:
  - port: 8080
    protocol: TCP
    targetPort: 8080
    name: http
    nodePort: 30001
  selector:
    k8s-app: tomcat-web

configmap.xml
通過configmap的形式創建filebeat.yml配置文件，指定收集日誌的路徑、elasticsearch的配置信息及索引名稱

[root@master tomcat_test]# cat tomcat_configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
data:
  filebeat.yml: |
    filebeat.prospectors:
    - input_type: log
      paths:
        - "/logs/*"
    output.elasticsearch:
      hosts: ["10.4.82.115:9200"]
      index: "filebeat-tomcat-log"

# hosts指定es地址
# index 索引名稱

創建索引

[root@master tomcat_test]# kubectl create -f tomcat_configmap.yaml
configmap/filebeat-config created
[root@master tomcat_test]# kubectl create -f tomcat_test.yaml
deployment.extensions/tomcat-abcdocker created
[root@master tomcat_test]# kubectl create -f tomcat_server.yaml
service/tomcat-web created

2.6 服務檢查

我們需要檢查以下

1.檢查pod是否運行正常
2.檢查server是否正常
3.檢查configmap是否創建完成
4.kubectl常用命令  https://k.i4t.com/15356201695268.html

查看服務整個狀態是否正常

[root@master tomcat_test]# kubectl get svc,pod,configmap
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
service/kubernetes      ClusterIP   10.254.0.1       <none>        443/TCP          97d
service/nginx-service   NodePort    10.254.167.71    <none>        80:31000/TCP     97d
service/tomcat-web      NodePort    10.254.237.208   <none>        8080:30001/TCP   3m

NAME                                    READY     STATUS    RESTARTS   AGE
pod/tomcat-abcdocker-56f9547997-2zz7c   2/2       Running   0          3m

NAME                        DATA      AGE
configmap/filebeat-config   1         3m

查看pod容器是否異常

1.查看tomcat鏡像日誌
kubectl logs tomcat-abcdocker-56f9547997-2zz7c filebeat

#這裏的pod名稱可能不是這個

2.查看filebeat鏡像日誌
kubectl logs tomcat-abcdocker-56f9547997-2zz7c tomcat-web

Kubernetes kubectl 命令自動補全

容器只要沒有error報錯就ok

Filebaet log
藍色爲ES地址，紅色爲啓動正常
image_1d7jnsolpkc91esh16pamt51s0311.png-853.2kB
tomcat log
image_1d7jo02tp1n4nurb11l9uo01vob21.png-1135.6kB

k8s服務是沒有問題，我們瀏覽器訪問一下
端口爲31000
image_1d7jo3vm015gq1es46jhth51q9b2e.png-237.3kB

接下來查看一下es日誌

[root@i4t ~]# curl -XGET '10.4.82.115:9200/_cat/indices?v&pretty'
health status index               uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   filebeat-tomcat-log jRWrRLQjQ2SPTAe-wmy_EA   5   1        272            0    244.6kb        244.6kb

通過head插件查看是否有數據
image_1d7johc8q1fmi1po1qr14l81t8r38.png-62.9kB

並且已經實時打印
image_1d7joidqkmfr103li87rio1l2l3l.png-503.5kB

進入kibana控制檯
image_1d7jpruua1i8j1h7hqd1bq4bkd4m.png-168.1kB

image_1d7jpt76018hn37gmu1djt1c7k53.png-235.8kB

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

linux CentOS7 mysql 源碼安裝和rpm安裝

今天是安裝linux mysql第三天，終於安裝成功了。 第一種方法，源碼安裝。 下載 cmake-2.8.10.2.tar.gz 和 mysql-5.6.4-m7.tar.gz 上傳到服務器解壓完成 1.在cmake-2.8.10.2這

weixin_38081382 2020-07-08 12:31:47

linux mysql ERROR 1820 (HY000): Unknown error 1820

安裝好mysql登錄進去mysql中，使用查詢，創建命令都不行，還報錯。 網上查找後，發現雖然使用我上一遍文章修改了密碼，但是mysql中並沒有設置密碼，需要在mysql中再設置一下密碼  執行 SET PASSWORD = PASSWO

weixin_38081382 2020-07-08 12:31:47

Java之mySQL數據庫事務隔離級別

問題 同一個應用程序中的多個事務或不同應用程序中的多個事務在同一個數據集上併發執行時, 可能會出現許多意外的問題，這些問題可分爲如下三種類型： 髒讀(Drity Read)： 已知有兩個事務A和B, A讀取了已經被B更新但還沒

这个名字真难起 2020-07-08 12:03:47

Java之mySQL數據庫表

字段類型 整數類型 tinyInt：很小的整數， smallint：小的整數 mediumint：中等大小的整數 int：普通大小的整數 小數類型 float(m,d)：單精度浮點數，m表示數字長度，d表示小數位數，例如floa

这个名字真难起 2020-07-08 12:03:46

使用Docker安裝Kong - 玩轉Kong網關

一.安裝docker 如果有較舊的 Docker 版本稱爲 docker 或 docker-engine 。如果已安裝這些程序，請卸載它們以及相關的依賴項。 $ sudo yum remove docker \            

幽默龙 2020-07-08 12:31:23

CentOS7環境下配置Docker

** CentOS7環境下配置Docker ** 文章目錄CentOS7環境下配置Docker一、安裝Docker1、查看CentOS版本及內核版本2、安裝準備3、刪除舊版本的Docker4、安裝 Docker Engine-Co

chung961977305 2020-07-08 12:18:04

mysql預處理語句提取變量，實現動態執行SQL語句

爲了項目在長期使用過程中，數據庫仍能夠保持較好的性能，考慮將數據庫表分爲當前表和歷史表。當前錶針對不同客戶，分別存儲在不同的表中。因爲需要在mysql的存儲過程中實現動態的指向不同的表進行操作。 首先,mysql的預處理語句如果帶參數，每

pengdayong77 2020-07-08 12:37:23

面試準備季——MyBatis 面試專題（含答案）

寫在前面：2020年面試必備的Java後端進階面試題總結了一份複習指南在Github上，內容詳細，圖文並茂，有需要學習的朋友可以Star一下！ GitHub地址：https://github.com/abel-max/Java-S

毛发旺盛的程序员 2020-07-08 12:27:20

Flex+java開發環境配置

     最近在做個項目。前端是用flex來寫，後臺用java，數據庫就用mysql。定了以後開始配環境。網上這方面的資料很多都是不負責任的，照着來的話也會有不少的問題，把自己的配置方法寫下來，希望需要的人能用得上。  需要下載的軟件 M

duran1986 2020-07-08 12:24:31

MySQL：CentOS 7通過yum安裝MariaDB

如何在CentOS 7下通過yum安裝MariaDB呢？ 這裏附上大佬的安裝步驟： https://zhuanlan.zhihu.com/p/49046496 博主就是按照這個步驟來的，炒雞詳細~相信你也能看明白 |ू･ω･` )

ETalien_ 2020-07-08 12:19:01

MySQL：外鍵及外鍵的使用

外鍵及外鍵的使用 如果公共關鍵字在一個關係中是主關鍵字，那麼這個公共關鍵字被稱爲另一個關係的外鍵。 由此可見，外鍵表示了兩個關係之間的相關聯繫。以另一個關係的外鍵作主關鍵字的表被稱爲主表，具有此外鍵的表被稱爲主表的從表。外鍵又稱作

ETalien_ 2020-07-08 12:19:01

MySQL：建庫建表等簡單操作

庫的相關操作 – 查看已有庫 SHOW DATABASES; SHOW DATABASES; SHOW DATABASES\G – 新建庫的操作 CREATE DATABASE 庫名; CREATE DATABASE `ET`;

ETalien_ 2020-07-08 12:19:01

linux 下安裝 mysql5.6.30

以下安裝步驟是本人以前操作的過程步驟，不保證100%正確，如果在使用過程出現異常請查閱其他相關資料。 1、下載mysql5.6，地址：http://dev.mysql.com/downloads/mysql/ 我們這下載：mysql

华华鱼 2020-07-08 12:16:40

【數據庫-MySQL】mysql日誌詳解及性能優化

mysql日誌分爲四大類：慢查詢日誌，查詢日誌，錯誤日誌，二進制日誌 一.慢查詢日誌：大於慢查詢時間的語句，都會記錄在慢查詢日誌中 1.查看慢查詢是否開啓 show variables like "slow_query_log"; 如下：

斯台普斯的少年 2020-07-08 12:15:14

Mysql疑難雜症收集

  Mysql疑難雜症收集 By Eagoo 　　　　一、可疑問題： 　　　　　　　　mysql>show processlist; 　　　　

单线程的娃 2020-07-08 12:00:56