原创 Flink基礎概念入門

Flink 概述 什麼是 Flink     Apache Apache Flink 是一個開源的流處理框架,應用於分佈式、高性能、高可用的數據流應用程序。可以處理有限數據流和無限數據,即能夠處理有邊界和無邊界的數據流。無邊界的數據流就是真

原创 學習那麼久還是小趴菜,看看你是否也是假學習

我的疑問 工作之後每天都要花時間學習技術,技術水平卻沒有預想的提升,離大佬也還是所差甚遠。 我一直在反思是哪個環節出了問題,是學習方法不對,還是學習的內容不夠好。而最近看了一篇文章《你的學習是否只是一場行爲藝術》,我發現這麼多年我一直在假學

原创 HBase API及協處理器

HBase API 應用 引入依賴 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <ve

原创 HBase原理深入

HBase 讀寫數據流程 Hbase 讀數據流程 首先從 zk 找到 meta 表的 region 位置,然後讀取 meta 表中的數據,meta 表中存儲了用戶表的 region 信息 根據要查詢的 namespace、表名和

原创 一個註解解決ShardingJdbc不支持複雜SQL

背景介紹 公司最近做分庫分表業務,接入了 Sharding JDBC,接入完成後,迴歸測試時發現好幾個 SQL 執行報錯,關鍵這幾個表都還不是分片表。報錯如下: 這下糟了嘛。熟悉 Sharding JDBC 的同學應該知道,有很多 SQL

原创 HBase集羣部署與基礎命令

HBase 集羣部署 安裝 hbase 之前需要先搭建好 hadoop 集羣和 zookeeper 集羣。hadoop 集羣搭建可以參考:https://www.cnblogs.com/javammc/p/16545146.html 下載

原创 HBase概念入門

HBase簡介 HBase基於Google的BigTable論文而來,是一個分佈式海量列式非關係型數據庫系統,可以提供大規模數據集的實時隨機讀寫。 下面通過一個小場景認識HBase存儲。同樣的一個數據 用Mysql存儲是這樣的: id

原创 Yarn架構簡述

Yarn 架構 ResourceManager: 處理客戶端請求、啓動/監控 ApplicationMaster、監控 NodeManager、資源分配和調度 NodeManager:單個節點上的資源管理,處理來自 ResourceMa

原创 性能調優讀書筆記(下篇)

一、並行程序開發優化 1、Future 設計模式 public class Client { public Data request(final String queryStr){ final FutureDat

原创 性能調優讀書筆記(上篇)

一、Amdahl定律 加速=優化前耗時/優化後耗時比 公式圖: 二、設計模式 1、單例模式 靜態內部類的方式: /** * 內部類的單例模式 */ public class StaticSingleton { private

原创 踩坑,發現一個ShardingJdbc讀寫分離的BUG

ShardingJdbc 怎麼處理寫完數據立即讀的情況的呢? 寫在前面 我本地使用了兩個庫來做寫庫(ds_0_master)和讀庫(ds_0_salve),兩個庫並沒有配置主從。 下面我就使用庫裏的 city 表做實驗。主庫的 city 表

原创 MapReduce核心原理(下)

MapReduce 中的排序 MapTask 和 ReduceTask 都會對數據按key進行排序。該操作是 Hadoop 的默認行爲,任何應用程序不管需不需要都會被排序。默認排序是字典順序排序,排序方法是快速排序 下面介紹排序過程: Ma

原创 剛來公司就接了一個不發版直接改代碼的需求

前言 前幾天突然接到一個技術需求,想要做一個功能。前端有一個表單,在頁面上可以直接寫 java 代碼,寫完後就能保存到數據庫,並且這個代碼實時生效。這豈非是不用發版就可以隨時改代碼了嗎?而且有bug也不怕,隨時改。 適用場景:代碼邏輯需要

原创 MapReduce核心原理

MapTask 運行機制詳解 MapTask 流程 詳細步驟: 讀取數據的組件 InputFormat 會通過 getSplits 方法對輸入目錄中文件進行邏輯切片規劃得到 splits,有多少 split 就對應啓動多少個 MapTa

原创 MapReduce入門實戰

MapReduce 思想 MapReduce 是 Google 提出的一個軟件架構,用於大規模數據集的並行運算。概率“Map(映射)”和“Reduce(歸約)”以及它們的思想都是從函數式編程語言借鑑的,還有從矢量編程語言借來的特性。 當前的