原创 Kafka 學習與使用總結

文章目錄一、Kafka 簡介二、Kafka 組件BrokerTopic & PartitionsegmentoffsetProducerConsuemrZookeeper三、問題與應用消息丟失的問題消息重複消費的問題順序消息四、參

2019-07-05 05:39:35

原创 SQLServer 數據異構實時同步之數據時序的問題

文章目錄一、數據異構實時同步簡介二、數據時序的問題三、數據以主鍵爲單位的有序四、數據操作被重複發送五、數據操作的重複發送與影響六、結論 一、數據異構實時同步簡介 數據異構實時同步是指將數據從源端數據庫近實時的同步至目的端數據庫的一個過

2019-04-13 06:23:31 4

原创 HBase Timestamp 與冪等性

HBase 的數據模型包括表（Table）、行（Row）、列族（Column Family）、列限定符（Column Qualifier）、單元格（Cells）、時間戳（Timestamp），其中單元格是行與列的交叉點，用來存儲數據值

2019-03-31 05:48:14 21

原创 DataX 中流的速度限制

概述 這裏的流的速度限制是指在單位時間窗口內，最多允許指定的單位數據通過。比如我們需要從源端 A 發送 1000 條數據到目的端 B，如果設置的速度限制爲最多 100 條每秒，那麼理論上需要 10 秒的時間才能將數據傳輸完成，即使當前

2019-03-07 18:05:28

原创 CDH-Hadoop 安裝

一、摘要 二、安裝 1. 基礎環境配置 1) 主機介紹 2) 配置 sudo 無密 3) 配置 SSH 無密登陸以及其它基礎配置 2. 檢查系統環境配置 3. 安裝依賴數據庫 3.1 MySQL 3.1.1 安裝 3.1.2

2018-09-18 02:13:17 2

原创 一款簡潔的稅後工資計算器

介紹 一款簡潔的稅後工資計算器，地址：http://kentt.top/tools/personal-tax/，特點： 支持自定義社保基數/比例、公積金基數/比例、個稅起徵點 可對比改革前後數據 可查看各支出所佔比例 無任何廣告

2018-09-18 02:13:16 4

原创 Hadoop 原理學習（8）Yarn 概述及其基本原理

一、Yarn 簡介 二、Yarn 組件 ResourceManager (RM) ApplicationMaster（AM） NodeManager（NM） Container（容器） 三、提交任務流程 客戶端向RM提交任務流

2018-08-25 17:18:35 3

原创 Hadoop 原理學習（6）HBase 架構與工作原理4 - 壓縮、分裂與故障恢復

Compacation HBase 在讀寫的過程中，難免會產生無效的數據以及過小的文件，比如：MemStore 在未達到指定大小便刷新數據以寫入到磁盤；或者當已經寫入 HFile 的數據被刪除後，原數據被標記了墓碑，卻仍然存在於 HFil

2018-08-25 17:18:33 6

原创 Hadoop 原理學習（4）HBase 架構與工作原理2 - HBase 組件

一、HBase 組件概覽 Master-Slave 模式： HBase 體系結構遵循傳統的 master-slave 模式，由一位掌握決策的主設備和一個或多個真正處理任務的從設備組成。在 HBase 中，主設備稱爲 HMaster，從設備

2018-08-25 17:18:32 3

原创 JHipster 中的設計（1）RESTful API Response 與異常處理的設計

一、 Response 設計 在JHipster生成的項目中，RESTful API的Response相比一些傳統的方式，特別的依賴了Response.header來傳輸一些附加信息，比如分頁請求結果中的總數、執行的方法代碼等。下面以用戶

2018-08-25 17:18:32 1

原创 Spark _on_Yarn 資源池內存限制測試報告 - 防止"非法"任務的提交

需求背景 講道理，用戶在提交 Spark_on_yarn 任務 時，應該指定--executor-memory屬性（公司自己的規定），並且使用特定的用戶提交，以便於 DBA 的管理。但是仍然存在一些用戶直接使用 root 賬戶提交任務，這

2018-08-25 17:18:32 4

原创 Centos 7.2.1511 安裝 Docker 遇到的問題與解決方案

一、前言 最近在一個集羣上安裝 Docker，本來多麼簡單的事卻因爲網絡原因以及系統版本變得曲折了，也由於找到了不適合的解決方案，饒了一個彎，所以特此記錄一下安裝過程，防止重複踩坑。 ==系統版本：Centos 7.2.1511== 二、

2018-08-25 17:18:32 5

原创 HBase 部分表無法寫入數據的異常處理

HBase 無法寫入數據到某張表，服務狀態均正常，並且可能只是某一張表或者部分表發生無法寫入問題，那麼此時可能是某一個或幾個 RegionServer 出了問題，使其狀態變更爲 PENDING_CLOSE，從而無法寫入數據，但是它們的服務

2018-08-25 17:18:32 2

原创 在 nginx 中部署 angular 應用

最近使用Angular做了第一個應用，但是網上的教程大多是教如何開發，部署相對較少，所以這裏就簡單記錄一下如何在nginx中部署Angular應用。 注：Angular應用可以編譯成靜態頁面，然後部署在任何 web 服務器上，這裏僅僅是

2018-08-25 17:18:32 7

原创 MySql 不存在則插入，存在則更新或忽略

前言 在插入數據時，可能需要忽略或替換掉重複的數據（依據某個字段），這時可以在應用層處理，也可以使用複雜的 SQL 語句來處理（如果僅僅知道一些簡單的 SQL 語法的話），當然也可以使用一些簡單的 SQL 語法，不過它並不是通用所有的數據

2018-08-25 17:18:32 3