原创 【資源調度總綱】Yarn源碼剖析（零） --- spark任務提交到yarn的流程
前言 本系列的目的在於試圖剖析spark任務提交至hadoop yarn上的整個過程，從yarn的啓動，以及spark-submit提交任務到yarn上，和在yarn中啓動任務包括yarn組件之間的通信，用以提升自身知識儲備，記錄學習的過
2020-06-03 21:47:06
8
原创 Thrift基本原理以及使用介紹
Thrift 初識Thrift Thrift是一個跨語言通信的RPC軟件，最初是由FaceBook開發的，現在是Apache的一個頂級項目。 Thrift概念： Thrift 最初是由 Facebook 開發用做系統內各語言之間的 RPC
2020-06-03 21:47:06
1
原创 Yarn源碼剖析（三）--- ApplicationMaster的啓動
前言 在上文Yarn源碼剖析（二） --- spark-submit，我們介紹了spark任務通過spark-submit提交任務至yarn申請資源至啓動的全流程，本篇將介紹啓動過程中ApplicationMaster（後文簡稱AM）是如
2020-06-03 21:47:06
原创 一致性哈希
一致性哈希 近期無意接觸到了一致性哈希的內容，所以作爲學習，整合了網上資料加入了個人理解，學習了有關一致性哈希的內容 演變歷史 最初當我們往集羣裏存入數據時，數據會插入到任意一臺機器上。那查詢時，就需要遍歷每一臺機器才能查詢到我們需要的
2020-02-23 17:19:56
原创 hbck
Apache HBase HBCK2 Tool HBCK2是hbase-1.x修復工具（ 也稱作hbck1）的繼承者。 使用它代替hbck1進行hbase-2.x安裝修復。 hbck1 不應該對hbase-2.x羣集運行hbase-1.x
2019-05-13 22:47:46
50
原创 Zookeeper
Zookeeper 前言 前段時間，被問到過Zookeeper的相關問題，蛋撻一籌莫展，所以在工作之餘整理了Zookeeper的一些基本知識已作知識儲備的提升。下面是個人在學習Zookeeper過程中整理的思維導圖，此篇基礎也是圍繞這個思
2019-02-19 06:50:06
原创 Hbase offHeap(堆外內存)測試
Hbase offHeap(堆外內存)測試 blockcache是hbase中的讀緩存，其主要組成包括LruCache和bucketCache，LruCache使用堆內內存，BucketCache使用堆外內存。本文是想對比hbase只用堆
2018-12-13 18:23:55
原创 thrift
Thrift 初識Thrift Thrift是一個跨語言通信的RPC軟件，最初是由FaceBook開發的，現在是Apache的一個頂級項目。 Thrift概念： Thrift 最初是由 Facebook 開發用做系統內各語言之間的 RPC
2018-11-30 14:45:24
原创 Hadoop原理簡介
Hadoop Hadoop其實是一個較大的概念，它像是一個巨大的框架，裏面由多個組件去構架而成。我想從三個部分，也是我認爲Hadoop最重要的三個組件hdfs、yarn、Hbase來介紹我所瞭解的Hadoop 。下文我將介紹這三個組件的構
2018-11-14 03:48:18
原创 Hadoop -- RPC通信
Hadoop -- RPC通信 前言 本篇文章淺顯的介紹了Hadoop RPC的基礎以及三個大類RPC、Server、Client一些較爲重要的方法的源碼剖析，目的在於理解Hadoop RPC核心的原理以提升自身知識儲備。本篇博文參考了大
2018-10-27 03:48:55
原创 Yarn -- HA源碼剖析
HA簡介 HA(High Available)，高可用性集羣，是保證單點故障問題（指單點故障會引起系統整體故障的問題）的有效解決方案，一般有兩個或兩個以上的節點，且分爲活動節點（active）及備用（standby）節點。當活動節點出現
2018-10-10 03:32:14
1
原创 Yarn源碼剖析（四）-- AM的註冊與資源調度申請Container及啓動
AM註冊到RM 1. 從Yarn源碼剖析（三）-- ApplicationMaster的啓動可知提交應用程序至yarn時最後啓動了ApplicationMaster類，所以我們直接來看這個類（是spark自己封裝的AM）的main方法，可
2018-09-06 07:44:23
11
原创 Yarn源碼剖析（三）-- ApplicationMaster的啓動
前言 在上文Yarn源碼剖析（二） --- spark-submit，我們介紹了spark任務通過spark-submit提交任務至yarn申請資源至啓動的全流程，本篇將介紹啓動過程中ApplicationMaster（後文簡稱AM）是如
2018-09-02 22:32:09
7
原创 Yarn源碼剖析（二） --- spark-submit
spark-submit 前言 上文Yarn源碼剖析（一） --- RM與NM服務啓動以及心跳通信介紹了yarn是如何啓動的，本文將介紹在yarn正常啓動後，任務是如何通過spark-submit提交到yarn上的。 spark-subm
2018-09-02 22:32:07
7