原创 初識Flink，你應該知道這些！
一、初識Flink 官網：https://flink.apache.org/Apache Flink是一款分佈式、高性能、高可用、高精確的爲數據流應用而生的開源流式處理框架。在 2014 被 Apache 孵化器所接受，然後迅速地成爲了
2020-05-30 16:58:26
原创 Phoenix的安裝與使用
Phoenix最早是saleforce的一個開源項目，後來成爲Apache基金的頂級項目。 Phoenix是構建在HBase上的一個SQL層，能讓我們用標準的JDBC APIs而不是HBase客戶端APIs來創建表，插入數據和對HBase數
2020-04-02 13:22:02
原创 HashMap? ConcurrentHashMap? 相信看完這篇沒人能難住你！
作者：crossoverJie 來源：crossoverJie 公衆號前言Map 這樣的 Key Value 在軟件開發中是非常經典的結構，常用於在內存中存放數據。本篇主要想討論 ConcurrentHashMap 這樣一個併發容器，在正
2019-07-19 13:08:17
原创 HashMap? ConcurrentHashMap? 相信看完這篇沒人能難住你！
作者：crossoverJie 來源：crossoverJie 公衆號前言Map 這樣的 Key Value 在軟件開發中是非常經典的結構，常用於在內存中存放數據。本篇主要想討論 ConcurrentHashMap 這樣一個併發容器，在正
2019-07-19 13:08:03
原创 hive優化之-控制hive任務中的map數和reduce數
一、 控制hive任務中的map數: 通常情況下，作業會通過input的目錄產生一個或者多個map任務。 主要的決定因素有： input的文件總個數，input的文件大小，集羣設置的文件塊大小(目前爲128M, 可在hive中通
2019-06-25 13:09:56
10
原创 volatile 關鍵字的兩層語義
一旦一個共享變量（類的成員變量、類的靜態成員變量）被 volatile 修飾之後，那麼就具備了兩層語義： 1）保證了不同線程對這個變量進行操作時的可見性，即一個線程修改了某個變量的值，這新值對其他線程來說是立即可見的。 （讀取值時強行獲取
2019-06-15 13:01:53
原创 Flink實現Kafka到Mysql的Exactly-Once
一、背景 最近項目中使用Flink消費kafka消息，並將消費的消息存儲到mysql中，看似一個很簡單的需求，在網上也有很多flink消費kafka的例子，但看了一圈也沒看到能解決重複消費的問題的文章，於是在flink官網中搜索
2019-05-29 13:01:42
9
原创 Apache Flink 結合 Kafka 構建端到端的 Exactly-Once 處理
文章目錄： 1. Apache Flink 應用程序中的 Exactly-Once 語義2. Flink 應用程序端到端的 Exactly-Once 語義3. 示例 Flink 應用程序啓動預提交階段4. 在 Flink 中實現兩階段提交
2019-05-29 13:01:42
2
原创 Flink簡介與部署
一、初識Flink 官網：https://flink.apache.org/Apache Flink是一款分佈式、高性能、高可用、高精確的爲數據流應用而生的開源流式處理框架。在 2014 被 Apache 孵化器所接受，然後迅速地成爲了
2019-04-26 13:03:31
原创 Impala架構和工作原理
1. Impala架構 Impala是Cloudera在受到Google的Dremel啓發下開發的實時交互SQL大數據查詢工具（實時SQL查詢引擎Impala），Impala沒有再使用緩慢的Hive+MapReduce批處理，
2019-02-28 13:50:17
原创 mysql information_schema介紹
一、information_schema是什麼information_schema是MySQL自帶的一個信息數據庫，其保存着關於MySQL服務器所維護的所有其他數據庫的信息，如數據庫名，數據庫的表，表欄的數據類型與訪問權限等。也就是說當你建
2019-02-22 13:44:25
原创 Intellij IDEA基於Springboot的遠程調試
簡介本篇博客介紹一下在Intellij IDEA下對Springboot類型的項目的遠程調試功能。所謂的遠程調試就是服務端程序運行在一臺遠程服務器上，我們可以在本地服務端的代碼（前提是本地的代碼必須和遠程服務器運行的代碼一致）中設置斷點，每
2019-02-22 13:44:03
2
原创 Hive 元數據表結構詳解
元數據是基礎，這篇文章值得一讀。本文介紹Hive元數據庫中一些重要的表結構及用途，方便Impala、SparkSQL、Hive等組件訪問元數據庫的理解。1、存儲Hive版本的元數據表(VERSION)該表比較簡單，但很重要。VER_IDSC
2019-02-22 13:44:03
原创 Spring AOP+反射實現自定義動態配置校驗規則，讓校驗規則飛起來
原文作者：彌諾R 原文地址：http://www.minuor.com/1524369999/article 轉載聲明：轉載請註明原文地址，注意版權維護，謝謝！ 場景小計 之前項目都是使用hibernate-validator來校驗參數
2019-02-22 13:43:57