微服務框架（三十）Logstash Kong 日誌上報

此係列文章將會描述Java框架Spring Boot、服務治理框架Dubbo、應用容器引擎Docker，及使用Spring Boot集成Dubbo、Mybatis等開源框架，其中穿插着Spring Boot中日誌切面等技術的實現，然後通過gitlab-CI以持續集成爲Docker鏡像。

本文爲Logstash Kong 日誌上報

本系列文章中所使用的框架版本爲Spring Boot 2.0.3-RELEASE，Spring 5.0.7-RELEASE，Dubbo 2.6.2。

Kong 日誌上報

Kong 日誌上報採用Kong tcp-log插件

tcp-log插件

可通過API或Konga後臺安裝Kong tcp-log插件

API

curl -X POST http://localhost:8003/plugins \
    --data "name=tcp-log" \
    --data "config.host=172.16.7.7" \
    --data "config.port=5045"

Konga

日誌字段

• request 包含有關客戶端發送的請求的屬性
• response 包含有關發送到客戶端的響應的屬性
• tries 包含負載均衡器爲此請求進行的重試（成功和失敗）列表
• route 包含有關所請求的特定路由的Kong屬性
• service 包含與所請求的路線相關聯的服務的Kong屬性
• authenticated_entity 包含有關經過身份驗證的憑據的Kong屬性（如果已啓用身份驗證插件）
• workspaces 包含與請求的路由關聯的工作空間的Kong屬性。僅限Kong Enterprise版本> = 0.34。
• consumer 包含經過身份驗證的使用者（如果已啓用身份驗證插件）
• latencies 包含一些有關延遲的數據：
  • proxy 是最終服務處理請求所花費的時間
  • kong 是運行所有插件所需的內部Kong延遲
  • request 是從客戶端讀取的第一個字節之間以及最後一個字節發送到客戶端之間經過的時間。用於檢測慢速客戶端。
• client_ip 包含原始客戶端IP地址
• started_at 包含開始處理請求的UTC時間戳。

Logstash 日誌處理

相關插件詳見微服務框架（二十八）Logstash 使用文檔

kong.conf

input {
   tcp {
     host => "172.16.7.7"
     port => "5045"
     codec => "json"
     add_field => ["log_channel", "kong"]
  }
}

filter {

  if [log_channel] == "kong" {
    mutate {
       rename =>{"[host]" => "[host][name]"}
    }

    if [host][name] == "172.16.7.243" {
        mutate {
            add_field => {
                "[@metadata][index_prefix]" => "kong-all-dev"
            }
        }
    }

    geoip {
      source => "[request][headers][remoteip]"
      remove_field => ["tags", "[geoip][latitude]", "[geoip][longitude]", "[geoip][continent_code]", "[geoip][country_code3]", "[geoip][country_code2]"]
    }

  }
}

output {
#  stdout { codec => rubydebug }

  elasticsearch {
      hosts => ["localhost:9200"]
      index => "%{[@metadata][index_prefix]}-%{+YYYY.MM.dd}"
  }
}