原创 Master基於ZooKeeper的High Availability源碼實現

如果Spark的部署方式選擇Standalone,一個採用Master/Slaves的典型架構,那麼Master是有SPOF(單點故障,Single Point of Failure)。Spark可以選用ZooKeeper來實現HA。

原创 Hadoop日記Day20---ZooKeeper系列(三)

前面雖然配置了集羣模式的Zookeeper,但是爲了方面學建議在僞分佈式模式的Zookeeper學習Zookeeper的shell命令。 一、Zookeeper的四字命令 Zookeeper支持某些特定的四字命令字母與其的交互。他們

原创 本地僞集羣測試Demo

1. 概述 Dubbo是一個分佈式服務框架,致力於提供高性能和透明化的RPC遠程服務調用方案,以及SOA服務治理方案 Dubbo是阿里巴巴SOA服務化治理方案的核心框架,每天爲2,000+個服務提供3,000,000,000+次訪問

原创 Hadoop日記Day20---Zookeeper系列(一)

一、ZooKeeper的背景 1.1 認識ZooKeeper ZooKeeper---譯名爲“動物園管理員”。動物園裏當然有好多的動物,遊客可以根據動物園提供的嚮導圖到不同的場館觀賞各種類型的動物,而不是像走在原始叢林裏,心驚膽顫的

原创 Java面試題二

11、如何正確終止一個線程? /**  * 如何正確的更好的終止一個正在執行的線程.  * 需求:線程啓動5S之後終止。  */ public class ThreadTest09 {     public static void mai

原创 Hadoop日記Day20---ZooKeeper系列(四)

一、配置服務 配置服務是分佈式應用所需要的基本服務之一,它使集羣中的機器可以共享配置信息中那些公共的部分。簡單地說,ZooKeeper可以作爲一個具有高可用性的配置存儲器,允許分佈式應用的參與者檢索和更新配置文件。使用ZooKeepe

原创 ZooKeeper實現分佈式FIFO隊列

文章介紹瞭如何整合虛擬化和Hadoop,讓Hadoop集羣跑在VPS虛擬主機上,通過雲向用戶提供存儲和計算的服務。 現在硬件越來越便宜,一臺非品牌服務器,2顆24核CPU,配48G內存,2T的硬盤,已經降到2萬塊人民幣以下了。這種配置

原创 分佈式服務框架 Zookeeper

Zookeeper 分佈式服務框架是 Apache Hadoop 的一個子項目,它主要是用來解決分佈式應用中經常遇到的一些數據管理問題,如:統一命名服務、狀態同步服務、集羣管理、分佈式應用配置項的管理等。本文將從使用者角度詳細介紹 Zo

原创 Java面試題三

21、解釋內存中的棧(stack)、堆(heap)和方法區(methodarea)的用法。 JAVA的JVM的內存可分爲3個區:堆(heap)、棧(stack)和方法區(method) 堆區: 1.存儲的全部是對象,每個對象都包含一個與之

原创 Java面試題一

1.    Java實現一個高逼格的冒泡排序 把這個數組從小到大的排列 import java.util.Comparator;/**  * 排序器接口(策略模式: 將算法封裝到具有共同接口的獨立的類中使得它們可以相互替換)  */pub

原创 Hadoop日記Day20---ZooKeeper系列(二)

Zookeeper的環境配置 一、Zookeeper的搭建方式 Zookeeper安裝方式有三種,單機模式和集羣模式以及僞集羣模式。 1.單機模式:Zookeeper只運行在一臺服務器上,適合測試環境; 2.僞集羣模式:就是在一

原创 zetcd:脫離ZooKeeper運行ZooKeeper應用程序

zetcd是一款架在ZooKeeper與etcd之間的代理程序,它可以將ZooKeeper客戶端的請求消息轉換成etcd要求的格式,並轉發給etcd,然後將響應消息轉換後返回給客戶端。本文介紹了zetcd的使用方法、工作原理以及性能評測

原创 分佈式橋樑ZooKeeper開發體驗

從傳統Java Web轉入分佈式系統應用,再到接觸分佈式協調框架ZooKeeper,通過痛苦的思維邏輯和理念轉變,歷經一個月時間,小夥伴們終於把ZooKeeper嵌入到了BoCloud博雲的BeyondContainer中,並在其上進行

原创 Spring IOC原理解讀 面試必讀

Spring IOC設計原理解析:本文乃學習整理參考而來 一、 什麼是Ioc/DI? 二、 Spring IOC體系結構 (1) BeanFactory (2) BeanDefinition 三、 IoC容器的初始化 1、

原创 JDK源碼之Object類詳解(一)

package java.lang; /** * Object類是類層次結構中的根,每個類的父類都是Object類。 * 所有對象,包括數組,都實現了這個類的方法。 */ public class Object { /*