logstash 採集到mysql的數據但無法同步到es的問題

原創 一勺菠萝丶 2020-06-22 00:04

問題描述

logstash 終端顯示採集到mysql的數據,但es中並沒有插入數據

在這裏插入圖片描述

問題原因

我的logstash中的select語句中查到了type, 但es中會默認有一個type, 這使得兩個type衝突.
json文件:

mysql.conf中的select

在這裏插入圖片描述

解決辦法: 去掉type或者改名爲其它字段house_type即可, 問題解決

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

日誌分析系統ELK安裝（單機）

下載ElasticSearch、Logstash、Kibana安裝包。 百度雲地址： 鏈接：https://pan.baidu.com/s/104Qae0x5epXJO39iQzaoNw 提取碼：2cl5 ElK + Filebe

DavidLee9 2020-07-08 10:31:09

ELK-filbeate收集tomcat日誌

filebeat作爲代理安裝在服務器上,監視指定的日誌文件或位置,收集日誌事件,並將他們轉發到logstash,elasticsearch,kafka等 input 我們要採集的日誌文件路徑, 收割機 harvester 監聽文件

寰宇001 2020-07-07 22:50:11

logstash常見數據清洗配置

ogstash通過插件的形式來配置input，filter，output，在消費數據後，如果需要對數據做處理,需要用到filter的很多功能。最近使用logstash傳遞kafka數據到es時，瞭解了一些logstash處理數據的方式，以

开飞机的舒克贝塔 2020-07-07 17:40:23

ELK filter 查詢

filter 查詢不計算相關性，同時可以 cache ,因此 filter 速度要快於 query. POST /lib4/items/_bulk {"index":{"_id":1}} {"price":40,"itemID":"ID1

daicooper 2020-07-07 16:07:22

filebeat+redis+elk日誌分析搭建

filebeat: 10.0.0.41 redis: 10.0.0.42 logstash: 10.0.0.43 elasticsearch: 10.0.0.44 kibana: 10.0.0.45 架構如下: 一、filebe

一纸情书ベ 2020-07-07 13:29:53

elk消費kafka數據延遲過大的問題

elk消費kafka數據延遲過大的問題 1.問題現象表述： 當前elk作爲日誌系統消費kafka日誌數據有很大的延遲，即elk的消費kafka中日誌的速度（200條/s）遠 遠低於maplearning生產日誌的速度（平均3000

fct2001140269 2020-07-07 00:27:52

spark監控streamingListener使用與監控告警

Spark-steaming監控設計與驗證方案 ​ created by fangchangtan | 2020/2/24 原創不易，謝絕白嫖，好的話就點

fct2001140269 2020-07-07 00:27:52

安裝elasticalert配置驗證文檔

docker 安裝、配置、驗證ElasticAlert ​ created by fangchangtan | 2020/2/24 1.elastalert的場景用途 ​ elastalert組件作爲elk中日

fct2001140269 2020-07-07 00:27:52

ElasticSearch CPU和內存佔用高的優化記錄出現GC

        公司最近使用ElasticSearch作爲數據報表彙總引擎.上線三個月累計數據800萬,但是今天突然大面積出現查詢超時,上服務器查看服務運行情況,發現cpu使用率高達300% mem 使用率也到了90%,下面記錄了整個排

王树民 2020-07-06 23:17:59

ElasticSearch6.3.2 中的JVM性能調優

  前一段時間被人問了個問題：在使用ES的過程中有沒有做過什麼JVM調優措施？ 在我搭建ES集羣過程中，參照important-settings官方文檔來的，並沒有對JVM參數做過多的調整。但談到JVM配置參數，少不了操作系統層面上的一些

王树民 2020-07-06 23:17:59

elasticsearch實現冷熱數據分離

  目錄(?)[-] es架構 各節點的es配置 如何實現某索引數據寫到指定的node根據節點tag即可 如何實現數據從hot節點遷移到老的cold節點 cold節點數據保留1個月 優化點 logstash測試 關於es的index te

王树民 2020-07-06 23:17:59

elasticsearch 的日誌gc

    [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collec

王树民 2020-07-06 23:17:59

Elasticsearch集羣模式知多少

01序言 Elasticsearch經過多年發展，集羣模式已經非常成熟，涵蓋的技術點非常多，對於使用者來說，掌握並熟練運用至關重要。那麼Elasticsearch有多少種集羣模式呢？當前適合哪種集羣模式？本文不涉及實戰操作，僅限集羣原理範

王树民 2020-07-06 23:17:59

Elasticsearch 7.7部署

　Elasticsearch(簡稱:ES)是一個開源的分佈式搜索引擎, Elasticsearch 還是一個分佈式文檔數據庫.並提供了大量數據的存儲功能快速的搜索與分析功能. 　　起源於 Lucene, 基於 Java 語言開發的搜索引擎

王树民 2020-07-06 23:17:59

一文掌握並應用Elasticsearch中的GC實現垃圾日誌處理

如果你關注過 Elasticsearch 的日誌，可能會看到如下類似的內容： [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][22

王树民 2020-07-06 23:17:59