原创 Netty是如何解決TCP的粘包和拆包問題的？
TCP是個“流協議”，所謂流，就是沒有界限的一連串數據，沒有界限。TCP底層不瞭解業務數據的含義，它會根據TCP緩衝區的實際情況進行包的劃分，所以業務上認爲，一個完整的包可能被TCP拆分爲多個包進行發送，也可能把多個小包封裝成一
2020-05-23 00:49:45
原创 你瞭解Netty的編解碼器嗎？史上最通俗易懂的Netty解碼器應用案例帶你解開Netty解碼器的神祕面紗
Netty解碼器也是非常重要的一個模塊, 服務端接收到客戶端發送過來的消息, 準確說是字節數組, Netty底層已經將它們讀取成ByteBuf了, 但是這些ByteBuf是沒有任何含義的，需要我們根據業務來對字節數組進行解碼。本
2020-05-23 00:49:45
原创 你弄懂了Spark的Shuffle實現方式嗎？手把手帶你解析Spark的Sort Shuffle和Tungsten-Sort Shuffle
在大數據計算框架中，Shuffle階段的設計優劣是決定性能好壞的關鍵因素之一。 爲了深入理解Shuffle階段的各個細節， 並進一步在理解的基礎上優化代碼，減少不必要的Shuffle開銷， 我將通過幾篇博客深入分析Spark S
2020-05-19 04:46:49
原创 還搞不懂Spark的Shuffle機制嗎？基於Spark2.12的Shuffle機制框架詳解（理論和源碼相結合）
在大數據計算框架中，Shuffle階段的設計優劣是決定性能好壞的關鍵因素之一。 爲了深入理解Shuffle階段的各個細節， 並進一步在理解的基礎上優化代碼，減少不必要的Shuffle開銷， 我將通過幾篇博客深入分析Spark S
2020-05-16 11:14:44
原创 手把手帶你解析Spark-Submit提交應用程序過程（Spark2.12）
前幾篇博客詳細解析了Spark的Job觸發機制、Spark的DAGScheduler調度機制、Spark的TaskScheduler調度機制、Spark調度器的終端通信SchedulerBackend和Spark的Executo
2020-05-14 15:05:51
原创 一文搞定Spark的Executor創建與啓動
Spark的Executor創建與啓動1. Executor的創建與啓動1.1 Master創建Application1.2 Application資源分配1.3 Executor資源分配1.4 啓動Executor 1. Exe
2020-05-12 18:04:46
原创 一文搞定Spark的調度器的通信終端（SchedulerBackend）
本博客中的Spark版本爲2.12 SchedulerBackend1. SchedulerBackend原理2. SchedulerBackend啓動流程源代碼2.1. SchedulerBackend源代碼解析2.2. Spa
2020-05-12 18:04:46
1
原创 一文搞懂Spark的Task調度器（TaskScheduler）
TaskScheduler的核心任務是提交TaskSet到集羣運算並彙報結果。 爲TaskSet創建和維護一個TaskSetManager, 並追蹤任務的本地性及錯誤信息。 遇到Straggle任務會放到其他結點進行重試。 向
2020-05-10 20:37:22
原创 一文搞定Spark的DAG調度器（DAGScheduler）
Spark的DAG調度器1. DAG定義2. DAG實例化3. DAGScheduler劃分Stage的原理4. DAGScheduler劃分Stage的源代碼5.Stage內部Task獲取最佳位置的源代碼 1. DAG定義 RD
2020-05-10 20:37:22
原创 一文搞定Spark的job觸發機制
Spark的job觸發機制1.Spark運行的基本概念1.1 Driver1.2 Cluster Manager1.3 Executor1.4 Worker2. Spark Job觸發機制2.1 Job的邏輯執行2.2 Job的物
2020-05-10 20:37:22
原创 一文搞定Hadoop高可用集羣搭建
Hadoop高可用集羣搭建1. 前期準備和規劃1.1 前期準備1.2 集羣規劃2.安裝步驟2.1 .安裝配置zooekeeper集羣（在hadoop05上）2.1.1解壓2.1.2.修改配置2.1.3將配置好的zookeeper拷
2020-05-09 00:49:36
原创 一文搞定Hive常用運算和函數
Hive常用運算和函數關係運算等值比較: =不等值比較: <>小於比較: <小於等於比較: <=大於等於比較: >=空值判斷: IS NULL非空判斷: IS NOT NULLLIKE比較: LIKEJAVA的LIKE操作: RL
2020-05-09 00:49:36
原创 最全的Hive學習筆記
最全的Hive學習筆記1. 什麼是hive1.1. hive基本思想1.2 爲什麼使用Hive1.3. Hive的特點2. hive的基本架構3. hive安裝3.1. 最簡安裝：用內嵌derby作爲元數據庫3.2. 標準安裝：將
2020-05-09 00:49:36
原创 最全的Hbase學習筆記
最全的Hbase學習筆記1. zookeeper快速上手1.1. zookeeper的基本功能和應用場景1.2. zookeeper的整體運行機制1.3. zookeeper的數據存儲機制1.3.1. 數據存儲形式1.3.2. z
2020-05-09 00:49:36
原创 時間序列分類算法ST及其實現代碼
基於shapelets轉換的時間序列分類介紹背景時間序列分類Shapelets生成候選者shapelet距離計算shapelet評估加速技術可替代的shapelet質量度量Kruskal-Walli方差F統計量分析Mood’s 中
2020-05-07 00:47:35