原创 yarn 中的名詞介紹
ResourceManager 簡稱“RM”。 MRv2最基本的設計思想是將JobTracker的兩個主要功能，即資源管理和作業調度/監控分成兩個獨立的進程。在該解決方案中包含兩個組件：全局的ResourceManager（RM）
2020-02-22 05:15:29
原创 Acegi Security -- Spring下最優秀的安全系統
二 Acegi安全系統的配置 Acegi 的配置看起來非常複雜,但事實上在實際項目的安全應用中我們並不需要那麼多功能,清楚的瞭解Acegi配置中各項的功能，有助於我們靈活的運用Acegi於實踐中。 2.1 在Web.xml中
2020-02-22 05:15:29
原创 java 類加載器
1.類的加載過程 JVM將類加載過程分爲三個步驟：裝載（Load），鏈接（Link）和初始化(Initialize)鏈接又分爲三個步驟，如下圖所示： 1) 裝載：查找並加載類的二進制數據； 2)鏈接： 驗證：確保
2020-02-22 05:15:29
原创 yarn 配置文件講解
配置core-site.xml fs.default.name:它爲namenode指定主機名和請求端口號 hadoop.http.staticuser.user:它指定了hdfs的默認用戶名。 配置hdf
2020-02-22 05:15:29
原创 徹底理解MapReduce shuffle過程原理
本文轉自：http://blog.itpub.net/29754888/viewspace-1704959/ MapReduce的Shuffle過程介紹 Shuffle的本義是洗牌、混洗，把一組有一定規則的數據儘量轉換成一組無規則
2018-09-03 22:32:38
原创 hadoop三個配置文件的參數含義說明
該文檔轉自：http://blog.csdn.net/yangjl38/article/details/7583374 1 獲取默認配置 配置hadoop，主要是配置core-site.xml,hdfs-sit
2018-09-03 22:32:37
原创 NameNode HA配置詳解
HDFS 集羣中NameNode 存在單點故障（SPOF ）。對於只有一個NameNode 的集羣，如果NameNode 機器出現意外downtime，那麼整個集羣將無法使用，直到NameNode 重新啓動。HDFS 的HA 功能通過配
2018-09-03 22:32:37
原创 Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安裝
本文轉自：http://blog.csdn.net/onepiecehuiyu/article/details/45271493 安裝hadoop2.6+HA 1.準備一臺CentOS6.4系統2.環境CentOS6.4 共5臺 機
2018-09-03 22:32:37
原创 觀察者模式
1. 概述 有時被稱作發佈/訂閱模式，觀察者模式定義了一種一對多的依賴關係，讓多個觀察者對象同時監聽某一個主題對象。這個主題對象在狀態發生變化時，會通知所有觀察者對象，使它們能夠自動更新自己。 2. 解決的問題 將一個系統
2018-09-03 22:32:36
原创 Reactor構架模式
對每一個構架模式的分析，我們都使用參考文獻的分析風格，着重分析意圖、上下文、問題、解決方案、結構和實現 6個方面的內容。而實現就是ACE源代碼。 1. 意圖 在事件驅動的應用中，將一個或多個客戶的服務請求分離（demultipl
2018-09-03 22:32:36
原创 Runnable或Callable的比較
編寫多線程程序是爲了實現多任務的併發執行，從而能夠更好地與用戶交互。一般有三種方法，Thread,Runnable,Callable. Runnable和Callable的區別是， (1)Call
2018-09-03 22:32:36
原创 Sigar介紹與使用(獲取系統信息)
原文：http://364434006.iteye.com/blog/1747490 Sigar是Hyperic-hq產品的基礎包,是Hyperic HQ主要的數據收集組件。它用來從許多平臺收集系統和處理信息. 這些平臺包括：L
2018-09-03 22:32:36
原创 Hadoop 2.0 – HA功能中ZKFC對NN狀態的控制
Hadoop 2.0 HA架構圖： FC是要和NN一一對應的，兩個NN就要部署兩個FC。它負責監控NN的狀態，並及時的把狀態信息寫入ZK。它通過一個獨立線程週期性的調用NN上的一個特定接口來獲取NN的健康狀態。FC也有選擇誰作爲A
2018-09-03 22:32:36
原创 Google Protocol Buffers 入門
1. 前言 這篇入門教程是基於Java語言的，這篇文章我們將會： 創建一個.proto文件，在其內定義一些PB message使用PB編譯器使用PB Java API 讀寫數據 這篇文章僅是入門手冊，如果想深入學習及瞭解，可
2018-09-03 22:32:36