原创 優秀的數據工程師,怎麼用Spark在TiDB上做OLAP分析

優秀的數據工程師,怎麼用Spark在TiDB上做OLAP分析 TiDB 是一款定位於在線事務處理/在線分析處理的融合型數據庫產品,實現了一鍵水平伸縮,強一致性的多副本數據安全,分佈式事務,實時 OLAP 等重要特性。 TiSpark

原创 怎麼在MacOS上使用sbt發佈代碼到Maven中央倉庫

怎麼在MacOS上使用sbt發佈代碼到Maven中央倉庫 在項目中集成sonatype 這一部分不是本篇文章的重點,在項目集成sonatype可參照https://github.com/xerial/sbt-sonatype配置 上傳

原创 Gitlab CI集成工具的應用

Gitlab CI集成工具的應用 什麼是Gitlab CI工具 Continuous Integration is a software development practice in which you build and te

原创 Kafka to ClickHouse with Golang Driver

Kafka to ClickHouse with Golang Driver 前言 Base on Teleport 1.0 在之前的文章中我們提到過如果通過Hangout將Kafka中的數據接入ClickHouse中,相關文章

原创 如何使用Spark快速將數據寫入Elasticsearch

如何使用Spark快速將數據寫入Elasticsearch 說到數據寫入Elasticsearch,最先想到的肯定是Logstash。Logstash因爲其簡單上手、可擴展、可伸縮等優點被廣大用戶接受。但是尺有所短,寸有所長,Logs

原创 如何快速地將Hive中的數據導入ClickHouse

如何快速地將Hive中的數據導入ClickHouse ClickHouse是面向OLAP的分佈式列式DBMS。我們部門目前已經把所有數據分析相關的日誌數據存儲至ClickHouse這個優秀的數據倉庫之中,當前日數據量達到了300億。

原创 Dataset 使用填坑記錄

Dataset 使用填坑記錄 Dataset被譽爲懶人數據庫(databases for lazy people),是Python操作MySQL的庫。因爲其簡單的操作,避開了繁瑣的依賴安裝和鏈接建立,能夠很快的和數據庫進行交互。但是在

原创 如何快速地把HDFS中的數據導入ClickHouse

如何快速地把HDFS中的數據導入ClickHouse ClickHouse是面向OLAP的分佈式列式DBMS。我們部門目前已經把所有數據分析相關的日誌數據存儲至ClickHouse這個優秀的數據倉庫之中,當前日數據量達到了300億。

原创 Teleport with ClickHouse

Teleport with ClickHouse 前言 Base on Teleport 2.2.0 在之前的文章中我們提到過如果通過Hangout將Kafka中的數據接入ClickHouse中,相關文章。Hangout固然是一

原创 Hangout with ClickHouse

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/huochen1994/article/details/78913626 Hangout with ClickH

原创 Flume 1.8.0讀取Kafka寫HDFS

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/huochen1994/article/details/81204971 Flume 1.8.0讀取Kafka寫

原创 [Leetcode-228]Python-Summary-Ranges-滑動窗口

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/huochen1994/article/details/81675328 Overview 給定一個無重複元素的

原创 Zookeeper一次故障處理

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/huochen1994/article/details/79288194 記錄一次線上Zookeeper故障

原创 Elasticsearch Rolling up historical data Overview

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/huochen1994/article/details/81504877 Elasticsearch Rolli

原创 Elasticsearch 6.3 X-PACK SQL Overview

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/huochen1994/article/details/81364507 Elasticsearch 6.3 X