原创 Apache Phoenix 入門

Apache Phoenix 入門 概述 Hbase適合存儲大量的對關係運算要求低的NOSQL數據,受Hbase 設計上的限制不能直接使用原生的PAI執行在關係數據庫中普遍使用的條件判斷和聚合等操作。Hbase很優秀,一些團隊尋求在Hba

原创 Spring Cloud 基於eureka 服務註冊中心

netflix 下開源組件eureka 提供了微服務註冊和發現的解決方案,Spring整合了netflix 下若干組件用於快速構建微服務集羣.本節圍

原创 Hadoop2.x YARN架構

Hadoop 2.X YARN架構 概述:Hadoop2.X 摒棄了1.X中JobTracker扮演的資源調度角色,改用具有更具通用性的YARN 資源管理框架,而YARN本身更是開源集羣資源管理的典範. 資源調度: |  切割資源管理和

原创 Spring Boot Admin UI 分佈式微服務監控中心

完整的微服務解決方案應該包含了微服務所涉及的方方面面,從服務的集中式配置,註冊中心,斷路器,負載均衡,監控 等模塊之後面臨的一個問題是如何直觀的將微服務集羣中的各個服務的狀態顯示給對"CODE"沒有感覺的用戶來使用.這當讓是生產環境中所必

原创 Hadoop 2.8.0集羣環境搭建_HDFS階段

圍繞Hadoop而形成的生態圈中Hadoop扮演了重要的角色,學習大數據Hadoop自然是必經之路,本節基於Hadoop官方文檔簡述Hadoop 集羣環境的搭建,單機版,僞分佈式可自行參考文檔.建議準備至少五臺物理機或者虛擬機,且能夠互相

原创 Hadoop2.X MR作業流

Hadoop2.X MR作業流 情景概述:作爲HFDS的高層建築,MR被設計與在大型分佈式文件系統之上的離線數據運算,在對一些運算時效性要求不高的場景中更適合於MR作業,MR在ETL流不同階段可扮演不同的角色,甚至在某些場景下基於MR的鏈

原创 TheadLocal 原理及實踐

目錄 ThreadLocal 實現原理 使用場景 使用實例 ThreadLocal          線程本地存儲,爲變量在每個線程中都創建一個副本(在Thread中存儲以ThreadLocal爲key的值),每個線程可以訪問自己內部的副

原创 SpringBoot +SpringCloud微服務示例,整合FreeMaker,AngularJS

SpringBoot +SpringCloud爲服服務示例,整合FreeMaker,AngularJS 乾貨一篇,本節以SpringBoot + SpringCloud爲例 構建輕量級微服務,旨在推薦一種更加敏捷的開發流程,本篇暫不會提及

原创 深入理解SpringMVC-基礎篇

深入理解SpringMVC-基礎篇 SpringMVC是一個輕量級的MVC框架,SpringMVC由於其輕量級的實現以及與Spring框架的無縫整合等諸多優勢,近年來在MVC框架中脫穎而出,受到諸多開發人員的青睞,學習SpringMVC勢

原创 Java Jar衝突解決

jar衝突場景: 不同版本間的弱依賴,不同組件依賴同一個jar的不同版本,<exclusion> 其中一個版本即可, 一般發生在一些向下兼容的類庫中,通常情況下可以解決問題.不同版本間的強依賴關係,不同組件強依賴與兩同一個jar的不同版本

原创 Hadoop2.X HDFS架構

概述:DHFS是一個基於廉價硬件基礎設施的高度容錯性的分佈式文件系統.HDFS由Apache Nutch項目演化而來.現階段HDFS作爲大數據存儲解決方案,擁有衆多的受益企業和個人,學習勢在必行.   HDFS目標: |  硬件故障是常態

原创 Spark + Kafka 集成 指南

最近在考慮Spark在消費Kafka 分區數據的過程中究竟反生了什麼? 因爲比較疑惑現有系統架構會不會遭遇這方面的瓶頸,遂決定去搞一把,一探究竟. 參考:Spark  API章節 http://spark.apache.org/docs

原创 Spring Boot +Spring AOP 可插拔式日誌思路

       Spring 基於IOC容器管理Bean的方式,使得其有能力對IOC容器中的所有Bean進行無限可能的操作,Spring AOP是基於 IOC容器的高級特性,藉助與AOP能實現一些可插拔模塊,而不影響原有系統的設計.    

原创 Spring Cloud 斷路器Hystrix實戰

微服務架構中,因分佈式環境引起的請求狀態通常包含如下三種 成功失敗超時對於單機系統來說可以很容易的做到快速失敗,這是沒有問題的,對於分佈式環境而言由於網絡的不可靠性而導致的請求狀態不確定的情況成爲必然,我們不能容忍一個無限阻塞的現線程甚哪

原创 Zookeeper 集羣環境搭建

參考官方文檔,基於ZK3.4.9  ,JDK1.8, CENTOS 7 下載ZK 安裝包,http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz