原创 HBase API及協處理器
HBase API 應用 引入依賴 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <ve
2022-09-14 13:50:19
原创 HBase原理深入
HBase 讀寫數據流程 Hbase 讀數據流程 首先從 zk 找到 meta 表的 region 位置，然後讀取 meta 表中的數據，meta 表中存儲了用戶表的 region 信息 根據要查詢的 namespace、表名和
2022-09-11 13:45:45
原创 一個註解解決ShardingJdbc不支持複雜SQL
背景介紹 公司最近做分庫分表業務，接入了 Sharding JDBC，接入完成後，迴歸測試時發現好幾個 SQL 執行報錯，關鍵這幾個表都還不是分片表。報錯如下： 這下糟了嘛。熟悉 Sharding JDBC 的同學應該知道，有很多 SQL
2022-09-09 13:43:46
原创 HBase集羣部署與基礎命令
HBase 集羣部署 安裝 hbase 之前需要先搭建好 hadoop 集羣和 zookeeper 集羣。hadoop 集羣搭建可以參考：https://www.cnblogs.com/javammc/p/16545146.html 下載
2022-09-05 13:45:53
原创 HBase概念入門
HBase簡介 HBase基於Google的BigTable論文而來，是一個分佈式海量列式非關係型數據庫系統，可以提供大規模數據集的實時隨機讀寫。 下面通過一個小場景認識HBase存儲。同樣的一個數據 用Mysql存儲是這樣的： id
2022-09-03 13:43:32
2
原创 Yarn架構簡述
Yarn 架構 ResourceManager: 處理客戶端請求、啓動/監控 ApplicationMaster、監控 NodeManager、資源分配和調度 NodeManager：單個節點上的資源管理，處理來自 ResourceMa
2022-09-01 13:44:46
原创 性能調優讀書筆記（下篇）
一、並行程序開發優化 1、Future 設計模式 public class Client { public Data request(final String queryStr){ final FutureDat
2022-08-31 13:51:32
原创 性能調優讀書筆記（上篇）
一、Amdahl定律 加速=優化前耗時/優化後耗時比 公式圖： 二、設計模式 1、單例模式 靜態內部類的方式： /** * 內部類的單例模式 */ public class StaticSingleton { private
2022-08-30 13:44:54
原创 踩坑，發現一個ShardingJdbc讀寫分離的BUG
ShardingJdbc 怎麼處理寫完數據立即讀的情況的呢？ 寫在前面 我本地使用了兩個庫來做寫庫（ds_0_master）和讀庫(ds_0_salve)，兩個庫並沒有配置主從。 下面我就使用庫裏的 city 表做實驗。主庫的 city 表
2022-08-29 13:58:01
原创 MapReduce核心原理（下）
MapReduce 中的排序 MapTask 和 ReduceTask 都會對數據按key進行排序。該操作是 Hadoop 的默認行爲，任何應用程序不管需不需要都會被排序。默認排序是字典順序排序，排序方法是快速排序 下面介紹排序過程： Ma
2022-08-24 13:45:05
原创 剛來公司就接了一個不發版直接改代碼的需求
前言 前幾天突然接到一個技術需求，想要做一個功能。前端有一個表單，在頁面上可以直接寫 java 代碼，寫完後就能保存到數據庫，並且這個代碼實時生效。這豈非是不用發版就可以隨時改代碼了嗎？而且有bug也不怕，隨時改。 適用場景：代碼邏輯需要
2022-08-21 13:50:27
13
原创 MapReduce核心原理
MapTask 運行機制詳解 MapTask 流程 詳細步驟： 讀取數據的組件 InputFormat 會通過 getSplits 方法對輸入目錄中文件進行邏輯切片規劃得到 splits，有多少 split 就對應啓動多少個 MapTa
2022-08-20 13:43:55
原创 MapReduce入門實戰
MapReduce 思想 MapReduce 是 Google 提出的一個軟件架構，用於大規模數據集的並行運算。概率“Map(映射)”和“Reduce（歸約）”以及它們的思想都是從函數式編程語言借鑑的，還有從矢量編程語言借來的特性。 當前的
2022-08-14 13:46:14
原创 HDFS核心原理
HDFS 讀寫解析 HDFS 讀數據流程 客戶端通過 FileSystem 向 NameNode 發起請求下載文件，NameNode 通過查詢元數據找到文件所在的 DataNode 地址 挑選一臺 DataNode（就近原則）服務器，發
2022-08-08 13:45:42
原创 HDFS基礎入門
HDFS簡介 HDFS（全稱：Hadoop Distribute File System）分佈式文件系統，是Hadoop核心組成。 HDFS中的重要概念 分塊存儲 HDFS中的文件在物理上是分塊存儲的，塊的大小可以通過配置參數來規定；Had
2022-08-06 13:43:50