原创 Hbase BlockCache References
1 LRU Cache LRUBlockCache是目前hbase默認的BlockCache機制，實現機制也比較簡單，是使用一個ConcurrentHashMap管理BlockKey到Block的映射關係，緩存Block只需要將BlockK
2020-06-14 00:38:17
原创 Yarn調度隊列 References
1 概述 在Yarn中，負責給應用分配資源的是Scheduler，並提供了多種調度器和可配置的策略供選擇。 在Yarn中有是三種調度器可以選擇：FIFO Scheduler，Capacity Scheduler，Fair Scheduler
2020-06-14 00:38:17
原创 Lucene底層原理 Reference
1 索引原理 全文索引由來已久，絕大多數都基於倒排索引來做，顧名思義，它與常規的一篇文章包含哪些詞相反，它是一個詞記錄到那些文檔中，由兩部分組成--詞典和倒排表。 其中詞典結構尤爲重要，有很多種詞典結構，各有各的優缺點，最簡單如排序數組，通
2020-06-14 00:38:17
1
原创 Yarn資源隔離 References
1 概述 1.1 基本概念 ** A.ResourceManager ** ResourceManager 是一個全局的資源管理器，負責整個集羣的資源管理和分配。它主要由兩個組件構成：調度器(Scheduler)和應用程序管理器(Appli
2020-06-14 00:38:17
原创 Yarn調度隊列
1 概述 在Yarn中，負責給應用分配資源的是Scheduler，並提供了多種調度器和可配置的策略供選擇。 在Yarn中有是三種調度器可以選擇：FIFO Scheduler，Capacity Scheduler，Fair Scheduler
2018-10-19 06:42:08
原创 Yarn資源隔離
1 概述 1.1 基本概念 ** A.ResourceManager ** ResourceManager 是一個全局的資源管理器，負責整個集羣的資源管理和分配。它主要由兩個組件構成：調度器(Scheduler)和應用程序管理器(Appli
2018-10-17 06:42:08
原创 CAS和AQS
1 CAS 什麼是CAS？ CAS(Compare And Swap)，即比較並交換。是解決多線程並行情況下使用鎖造成性能損耗的一種機制，CAS操作包含三個操 作數——內存位置（V）、預期原值（A）和新值(B)。如果內存位置的值與預期原值相
2018-10-16 06:42:06
原创 Hbase BlockCache
1 LRU Cache LRUBlockCache是目前hbase默認的BlockCache機制，實現機制也比較簡單，是使用一個ConcurrentHashMap管理BlockKey到Block的映射關係，緩存Block只需要將BlockK
2018-09-30 06:41:14
1
原创 Lucene底層原理
1 索引原理 全文索引由來已久，絕大多數都基於倒排索引來做，顧名思義，它與常規的一篇文章包含哪些詞相反，它是一個詞記錄到那些文檔中，由兩部分組成--詞典和倒排表。 其中詞典結構尤爲重要，有很多種詞典結構，各有各的優缺點，最簡單如排序數組，通
2018-09-30 06:41:14
3
原创 Kafka源碼分析
地址：https://www.jianshu.com/p/0bc13b136e47 1 消息處理入口 以下是Kafka消息處理的入口，即客戶端發送到服務端消息處理方法。 /** * Top-level method that hand
2018-09-29 06:41:19
7
原创 Join優化
地址：https://www.jianshu.com/p/d2836652391e 概述 跟傳統的關係型數據庫類似，分佈式環境中的join在提供優化器“hint”（提示）以告訴優化器選擇一些執行策略。目前一些優化提示主要針對批處理中的連接（
2018-09-29 06:41:19
3
原创 Java中的Future
地址：https://www.jianshu.com/p/9ccd7ab0687d 1 概述 Future代表異步計算返回的結果，提供了檢查是否結束、等待結束以及獲取計算結果的方法。Executor框架使用Runnable作爲其任務表示形式
2018-09-29 06:41:19
2
原创 Netty內存模型-PoolArena
1 原理 應用層的內存分配最終是委託給PoolArena實現。先看下PoolArena的內部數據結構： image poolArena提供了兩種方式進行內存分配： PoolSubpage用於分配小於8k的內存； tinyS
2018-09-28 06:41:17
2
原创 Credit-based Flow Control
1 概述 隨着網絡規模和應用的快速增長，擁塞已經成爲一個日益重要而突出的問題。儘管擁塞控制策略已經廣泛應用，但是提高網絡吞吐還是一個重要方向，本文介紹一種基於信用的流量控制方式（credit-based flow control）。 2 方
2018-09-28 06:41:17
169