原创 糟糕的 filebeat
因爲公司的服務器和日誌所在的kafka集羣不是在一個網絡下，導致服務器到kafka之間日誌傳輸率受帶寬的限制，高峯期一直把帶寬跑滿，最近花了挺長時間來解決這個問題。 問題 遇到帶寬跑滿時，大概率就知道是壓縮有問題。我們的fileb
2020-06-16 10:17:30
原创 mac 安裝多個版本的 jdk
最近打算研究一下elasticsearch，看一下某些代碼實現，於是拉了一下代碼。吼，這個項目還真是大，拉代碼就挺久。然後用idea打開，發現master竟然要jdk 11，切到6.5分支竟然也要jdk 10，自己的電腦裝的是jd
2020-06-16 10:17:30
原创 filebeat 寫IO巨高的問題
在批量部署filebeat 6.2.x後，發現個位數的機器，寫IO巨高，大概有20M/s。 並且發現，只要開啓了include正則後纔會出現這個情況，註釋掉正則後恢復正常。 後面搜索了一下這個問題，大概是因爲filebeat在寫r
2020-06-16 10:17:20
21
原创 kafka 增加數據目錄並遷移數據到新目錄
增加數據目錄: kafka log.dirs能夠填寫多個文件目錄，以逗號分割。 停止kafka broker 創建新的目錄，修改log.dirs，添加新增的目錄。 啓動kafka ps: 新加目錄後，原有的數據並不會被重新分配
2020-06-16 10:17:20
原创 JVM基礎知識和ASM修改字節碼
本文會介紹一下ASM的簡單使用和一些JVM相關的知識，但是不會很詳細的涵蓋所有內容。 爲了方便理解，我會分別介紹以下內容 JVM基礎知識 Java字節碼基礎知識 ASM基礎使用 JVM 基礎知識 因爲字節碼中的指令執行和JVM
2020-06-16 10:17:20
原创 實時日誌/數據庫採集處理，實時用戶行爲屬性個人總結
好久沒寫博客了，做了一段時間的日誌採集和流處理，總結一下自己的工作吧。本人只涉及了一些總結，很多技術細節我也不會多說吧。 很有幸的是，在大數據前我負責了內部 debezium 相關的維護開發，所以也會帶上數據庫的變更。 目錄概述日
2020-06-16 10:17:20
原创 Flink on Yarn 啓動方式
flink yarn 核心入口方法 flink yarn集羣模式運行的job，通過flink cli提交任務，對應的類爲org.apache.flink.yarn.cli.FlinkYarnSessionCli。在FlinkYar
2020-05-26 14:00:22
原创 用confluent的包部署debezium
1.下載confluent 4.0包, 地址https://www.confluent.io/download/,解壓放到/opt下; 2.下載0.7.1的debezium, 地址https://repo1.maven.org/m
2020-02-25 13:56:16
1
原创 利用jmx_exporter獲取kafka metrics數據
1.下載kafka，鏈接 https://kafka.apache.org/downloads; 2.配置kafka的JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_POR
2020-02-25 13:56:16
原创 Grafana + mysql數據源
1.首先去官網下載grafana 傳送官網 2.解壓後進入conf目錄，修改default.ini(雖然官網不推薦直接修改這個文件)，要使用mysql作爲數據源，需要修改的內容: [database] # You can con
2020-02-25 13:56:16
原创 flink OutputSelector 簡單使用
OutputSelector能夠將一條輸入流拆分爲多個輸出流，例如常見的日誌流，根據日誌級別拆分，就可以通過OutputSelector實現。 可以通過一下代碼，實現根據日誌級別拆分日誌流。 public class LogSel
2020-02-25 13:56:16
原创 filebeat 數據採集流程
filebeat啓動流程 講解了filebeat的啓動流程，filebeat在構建完crawler對象，開始採集流程。 Crawler的start方法內，會啓動Inputs func (c *Crawler) Start( p
2019-07-30 08:43:37
原创 filebeat 啓動流程
因爲各種各樣的原因，好久沒有寫博客了，還是希望能夠堅持下來 講解一下filebeat的啓動流程吧，核心功能先不描述了0.0 filebeat啓動入口在main.go文件內, cmd.RootCmd.Execute()啓動file
2019-07-30 08:43:37
原创 使用zookeeper一個簡單分佈式demo
zookeeper是一個提供分佈式程序協調服務的應用，它的命名空間類似linux系統文件路徑等等。 具體描述可以參考官網 https://zookeeper.apache.org/doc/trunk/zookeeperOver.h
2019-06-11 23:10:18
原创 kubernetes StatefulSet 部署 elasticsearch cluster
使用Kubernetes StatefulSet部署Elasticsearch. Service 配置 下面是一份elasticsearch service的配置。 apiVersion: v1 kind: Service metad
2019-05-08 02:53:57