原创 分佈式系統 概念 高可用 高併發 學習筆記
分佈式系統 概念 高可用 高併發 學習筆記 0. 分佈式系統基本概念 0.1 背景 分佈式系統是由一組通過網絡進行通信、爲了完成共同的任務而協調工作的計算機節點組成的系統。分佈式系統的出現是爲了用廉價的、普通的機器完成單個計算機無
2020-07-03 17:58:11
原创 HBase客戶端Write Buffer 介紹及設置
文章目錄1. 什麼時候需要Write Buffer？2. 如何配置使用Write Buffer？3. 如何確定每次flushCommits()時實際的RPC次數？4. 如何確定每次flushCommits()時提交的記錄條數？5.
2020-06-21 09:12:19
原创 HBASE 技術細節 寫入 Region拆分與合併介紹
文章目錄1. Hbase的Region介紹1.1 region實例1.2 Region的尋址1.2.1 老的Region尋址方式1.2.2 新的Region尋址方式2. Hbase的寫邏輯2.1 Hbase寫入邏輯2.2 MemS
2020-06-21 09:12:19
17
原创 Kubernetes k8s 基礎架構與設計理念 名詞解釋 學習筆記
文章目錄1. Kubernetes架構1.1 Borg簡介1.2 Kubernetes架構1.3 Kubernetes架構示意圖1.3.1 整體架構1.3.2 Master架構1.3.3 Node架構2. Kubernetes的設
2020-06-21 08:31:25
37
原创 Java 線程調優 JDK常用命令行工具 Jstack & Arthas使用筆記 查找耗時線程
文章目錄1. JDK 命令行工具1.1 `jps`:查看所有 Java 進程1.2 `jstat`: 監視虛擬機各種運行狀態信息1.3 ` jinfo`: 實時地查看和調整虛擬機各項參數1.4 `jmap`:生成堆轉儲快照1.5
2020-06-21 08:31:25
2
原创 Java Spring JPA 參數校驗 JSON 等常用註解 及解析
文章目錄0. 註解基本原理0.1 註解的本質0.2 元註解0.3 JAVA 的內置三大註解0.4 註解與反射1. `@SpringBootApplication`2. Spring Bean 相關2.1. `@Autowired`
2020-06-21 08:31:25
10
原创 kafka 命令行工具常用命令行操作
文章目錄1. 數據命令1.1 啓動kafka服務1.2 創建topic1.3 向topic中發送數據1.4 開啓一個消費端2. check命令2.1 查看kafka topic列表2.2 查看kafka特定topic的詳情2.3
2020-06-21 08:31:25
原创 Spring AOP 基本概念與代理模式 實現原理 及常用AspectJ註解
文章目錄0. 背景1. AOP簡述1.1 一些基本概念2. 代理模式2.1 靜態代理2.2 動態代理2.3 CGLIB庫的方法3. Spring中的AOP: @AspectJ3.1 @AspectJ 由來3.2 舉個栗子3.3 舉
2020-06-21 08:31:25
原创 大數據文件格式對比 Parquet Avro ORC 特點 格式 優劣勢
文章目錄背景Apache AvroApache ParquetApache ORC總結Ref 背景 在大數據環境中,有各種各樣的數據格式,每個格式各有優缺點。如何使用它爲一個特定的用例和特定的數據管道。數據可以存儲爲可讀的格式如
2020-06-21 08:31:25
2
原创 HBase client 客戶端重試機制
文章目錄背景代碼解析重要參數設置參數推薦 背景 在hbase集羣故障時，hbase client無法連接region server的時候，因爲重試參數配置問題，程序並不會直接拋出異常，而是會一直重試，導致異常報警沒有觸發。此篇文章
2020-06-21 08:31:25
原创 Redis詳解 單線程 基於內存設計 主從 持久化 與 memcached區別 及常見問題
文章目錄1. Redis簡介2. Redis支持的數據類型與適用場景2.1 數據類型2.2 適用場景3. Redis設計3.1 爲什麼redis需要把所有數據放到內存中？3.2 Redis是單進程單線程的4. 虛擬內存5. 分佈式
2020-06-21 08:31:25
原创 java synchronized 關鍵字 使用方法 學習筆記
文章目錄java synchronized 關鍵字 使用方法 學習筆記1. 綜述2. synchronized作用於實例方法3. synchronized作用於靜態方法4. synchronized同步代碼塊5. synchron
2020-06-21 08:31:25
原创 Kafka入門教程其二 生產與消費詳解 Rebalance過程 leader選舉過程
文章目錄1. 概述2. 生產2.1 partition分配與Leader選舉2.1.1 partition分配2.1.2 Leader選舉2.2 多副本同步3. 消費3.1 offset保存3.2 分配partition--reb
2020-06-01 19:46:09
原创 Kafka入門教程其一 消息隊列基本概念 及常用Producer Consumer配置詳解學習筆記
文章目錄1. 綜述2. 消息隊列(Message Queue)2.1 點對點2.2 發佈/訂閱(pub-sub)3. Kafka基礎術語解釋3.1 Broker3.2 Partitions3.3 Message4. Kafka持久
2020-06-01 19:46:09
原创 MongoDB 常用操作筆記 find ,count, 大於小於不等, select distinct, groupby,索引
文章目錄1. 大於，小於，大於或等於，小於或等於，不等於2. value是否在List中：in 和 not in3. 判斷元素是否存在 $exists4. select distinct的實現：5. 查詢嵌入對象的值6. 數組大小
2020-06-01 19:46:09