原创 一文讀懂一致性哈希算法
假如有一個業務快速增長，流量巨大，服務器壓力也隨之增加，直接讀寫數據庫的方案已經不合適了，這時候我們就會想到引入分佈式緩存機制，從而將許多熱點數據放到緩存層，穿透到數據庫層的請求就並不多了。此時，緩存的重要性就不言而喻了。但是，由
2020-06-22 16:29:57
原创 Spring Boot 實踐
Spring Boot 實戰 本文整理了 Spring Boot 各種使用技巧，以及繼承第三方庫的使用案例，可訪問 spring boot 獲取源碼。後續文章會繼續增加 Spring Boot 集成其他項目的使用方法，以及拆解每個
2020-06-14 12:34:57
原创 【SparkSQL】聊一聊 Join
1. Join 背景介紹 Join 是數據庫查詢永遠繞不開的話題，傳統查詢 SQL 技術總體可以分爲簡單操作（過濾操作 WHERE、排序操作 LIMIT 等），聚合操作 GROUPBY 等以及 JOIN 操作等。其中 Join 操
2020-06-14 12:34:57
原创 數據算法: Bitmap
1. 初識 Bitmap Bitmap 也被稱爲位圖。Bitmap 既是一種數據結構，又是一種圖片類型。從數據結構的角度講，Bitmap 適用於以下場景，後文會逐一進行闡述： 判重 定基 排序 壓縮 2. 數據結構 Bitma
2020-06-14 12:34:57
2
原创 Flink 原理與實現：Savepoint
Savepoint 和 Checkpoint 都是使用 Asynchronous Barrier Snapshotting（簡稱 ABS）算法實現分佈式快照的，都可以確保一致性、容錯、故障恢復。何其相似乃爾，卻又爲何既生瑜，又生亮
2020-06-14 12:34:57
1
原创 Flink 調優：Slot and Parallelism
1. Task and Operator Chain Flink 應用程序是以並行的方式在 Task 的並行化算子中執行的。Flink 應用程序的性能取決於 Task 如何被調度執行。在此之前，需要了解幾個概念： Task：代表
2020-06-14 12:34:57
原创 Flink 調優：Checkpoint 問題排查
1. Flink Checkpoint 流程 在使用 Flink 時， 我們基本都會用到 Checkpoint，也難免不會遇到 Checkpoint 慢或者失敗等問題，如果想要排查這些問題，那麼必須先知道 Checkpoint 的
2020-05-26 07:29:55
2
原创 Flink 調優：Checkpoint 配置
在Flink 原理與實現：Checkpoint 這篇文章中介紹了 Flink Checkpoint 的原理以及作用，Flink 原理與實現：Savepoint 這篇文章講述了 Flink Checkpoint 和 Savepoi
2020-05-06 03:22:52
原创 Shell函數
1.函數定義 Shell函數有3中定義方式：第一種定義： function func(){ do something... } 第二種定義，函數名與“{”之間必須有空格。 function func { do something
2020-02-21 19:47:12
原创 Bulkload Hive表到HBase
1.描述 HBase可以隨機讀寫海量的數據，但是如果把這海量數據導入到HBase卻是一個挑戰。如，將Hive表儘可能快的導入到HBase中。這裏有以下三種解決方案： 使用API把數據一條一條地寫入HBase。用HBaseIntegra
2020-02-21 19:47:12
原创 Common CLI
1.Commons CLI Apache Commons CLI提供瞭解析命令行參數的API。它也可以在命令行打印詳細的參數信息。官網教程：http://commons.apache.org/proper/commons-cli/usag
2020-02-21 19:47:12
原创 JSON之Jackson（二）
JSON之Jackson（一） JSON之Jackson（二） 1.Jackson JsonParser Jackson JsonParser比Jackson ObjectMapper更底層，這就使得Jackson JsonParser比
2020-02-21 19:47:11
原创 Flink 原理與實現：Checkpoint
衆所周知，Flink 採用 Asynchronous Barrier Snapshotting（簡稱 ABS）算法實現分佈式快照的。但是，本文着重介紹 Flink Checkpoint 工作過程，並且用圖形化方式描述 Checkp
2020-02-21 19:47:11
原创 Flink 原理與實現：State
1. State State 是流計算中非常重要的一個概念。首先，我們區分下有狀態的流計算和無狀態的流計算： Stateless Stream Processing（無狀態的流計算）：算子僅考慮當前的輸入，而無需進一步瞭解上下文
2020-02-21 19:47:11
原创 Intellij IDEA debug 模式
原文鏈接：https://www.cnblogs.com/jajian/p/9410844.html#autoid-0-5-0 Debug模式是開發人員必會的一項調試程序的技能，用來追蹤
2019-09-26 19:55:44