原创 elasticsearch-java-restful-api常見問題

1、java-restful-api查詢所有索引名(_cat/index?v) ClusterHealthRequest request = new ClusterHealthRequest(); ClusterHealthRes

原创 (二)elasticsearch之入門介紹

一、Document 1、相當於JSON Object,由字段(Field)組成,常見數據類型如下: 字符串:text、keyword 數值型:long、integer、short、byte、double、float、half_

原创 (一)logstash和beats的簡單介紹

一、logstash的一些名詞介紹 Pipeline input-filter-output 的 3個階段的處理流程。 隊列管理。 插件生命週期管理。 Logstash Event 他是logstash內部流轉的數據的表現形

原创 python3讀取csv文件並操作數據寫出csv

無他,紀念自己寫的第一個python代碼。 背景:csv文件有30000行,11列,需要對其每一個單元格內容進行操作(在數據前後加引號,如A—>“A”),最後將處理後的數據寫出到csv文件。 分析: 如果數據量較少,比如30行10

原创 (六)elasticsearch之常見問題和原理(實在不知道起啥名了)

1、elasticsearch之腦裂問題 (一)背景分析: 腦裂問題(split-brain),是分佈式系統中的經典網絡問題。 比如集羣有3個節點(node1,node2,node3)。如果此時由於網絡問題,node1無法和no

原创 (五)elasticsearch之查詢(Query DSL)

elasticsearch之查詢(Query DSL) 一、字段類查詢 字段類查詢主要包含以下2類: 全文匹配:針對text 類型的字段進行全文檢索,會對查詢語句先進行分詞處理,如match、match_phrase等query

原创 (二)logstash之插件的簡單介紹

一、codec 1、簡介 codec plugin 作用於input 和output plugin,負責將數據在原始與logstash event之間切換,常見的 codec如下: plain 讀取原始數據 dots 將內容簡化

原创 otter全量同步

原理:使用canel讀取了源庫的retl_buffer操作binlog來進行實現的,所以在使用此功能時,channel必須處於工作狀態。 步驟一:在otter配置otter同步的庫/表。 配置好channel—>pipeline—

原创 (七)elasticsearch之排序和分頁問題

1、elasticsearch 對 text 類型進行排序 排序的過程實質是對字段原始內容排序的過程,這個過程中倒排索引無法發揮作用,需要用到正排索引,也就是通過文檔id 和字段可以快速得到字段原始內容。 es對此提供了2中實現方

原创 改善Java程序的151個建議

建議1:不要在常量和變量中出現易混淆的字母 1、包名全小寫,類名首字母大寫,常量全部大寫並用下劃線分隔,變量纔有駝峯命名法 2、舉例(long類型數值後面小寫l 和大寫L的影響) public class TestDemo {

原创 (一)flume的介紹和簡單案例

一、flume 介紹 1、定義 flume 是 cloudera 提供的一個高可用的,高可靠的,分佈式的海量日誌採集、聚合和傳輸的系統。flume 基於流式框架,靈活簡單。如: 2、架構組成 (1)agent agent 是 一

原创 (九)elasticsearch之分組去重(collapse)

一、背景介紹 問題一:如何對elasticsearch的檢索結果進行去重統計計數。類似mysql 的 select count(*) from a group by b。 問題二:如何對elasticsearch的檢索結果去重後顯

原创 (三)elasticsearch之分詞介紹

一、介紹 1、分詞是指將文本轉換成一系列單詞(term or token)的過程,也可以叫做文本分析,在es裏面稱爲 analysis。 2、分詞會在如下2個時間使用: 創建或更新文檔時,會對相應的文檔進行分詞處理 查詢時,會對

原创 (三)使用logstash-input-kafka消費信息並根據topic寫入不同的es索引

一、logstash-input-kafka介紹 [Logstash 參考指南(Kafka輸入插件) 二、舉例 分析:利用 decorate_events 參數,將 kafka的元信息(如:topic,group,offset等)

原创 (0)學習 elk 參考的博文,感謝各位大佬的分享

如題,再次感謝大佬們的分享。 分佈式集羣| Elasticsearch權威指南(中文版) elasticsearch-guide elastic search解決關係型數據庫問題 配置高性能Elasticsearch集羣 logs