原创 Spring中利用AOP對領域對象（非依賴注入的對象，如new操作符、反射的方式生存的對象）下面是spring配置文件的一部分
Spring中利用AOP對領域對象（非依賴注入的對象，如new操作符、反射的方式生存的對象）下面是spring配置文件的一部分 <context:load-time-weaver/> <bean id="spr
2020-07-03 01:27:57
原创 Leaf的源碼閱讀
Leaf Leaf是美團開源的一款的唯一ID生成器，具體可以參考https://github.com/Meituan-Dianping/Leaf的介紹，文檔寫的很好，大家一定能夠明白軟件背後想要解決的問題。我們還是來簡單總結下唯一ID系統
2019-04-18 20:35:10
原创 分佈式事務框架Seata--TC源碼解析
TC是什麼 Transcation Coordinate(TC)，分佈式事務中協調者的角色，管理全局事務的狀態信息，包括全部事務的開啓、提交、回滾管理，分支事務的註冊、提交、回滾、狀態上報。 Seata的TC啓動方式： sh fe
2019-04-17 20:18:56
1
原创 分佈式事務框架Seata---demo搭建指南
分佈式事務框架(Seata)介紹 Seata:Simple Extensible Autonomous Transaction Architecture，簡易可擴展的自治式分佈式事務管理框架，其前身是fescar。阿里巴巴GTS的開源版實
2019-04-16 20:53:09
3
原创 RMI原理詳解
RMI原理詳解 緒論 RMI(Remote Method Invoke),遠程方法調用框架，JDK自帶的一個遠程過程調用框架。用戶可以基於RMI框架構建自己的分佈式應用，RMI爲客戶端和服務器之間提供底層的通信服務。 主要組成部分
2018-12-07 23:35:57
原创 spark streaming流量控制
隨着計算機機硬件的快速發展，機器的內存大小也從原來的以兆爲單位到現在的上百G，這也推動了分佈式計算從原來的基於硬盤存儲發展到現在的基於內存存儲，spark作爲實時計算的佼佼者也逐漸的走上了大規模商業應用的道路，spark streami
2018-08-30 14:54:58
原创 TasksetManager衝突導致SparkContext異常關閉
背景介紹 當正在悠閒敲着代碼的時候，業務方兄弟反饋接收到大量線上運行的spark streaming任務的告警短信，查看應用的web頁面信息，發現spark應用已經退出了，第一時間拉起線上的應用，再慢慢的定位故障原因。本文代碼基於sp
2018-08-30 14:54:58
原创 Spark集羣容錯場景介紹
容錯指的是一個系統在部分模塊出現故障時還能否持續的對外提供服務，一個高可用的系統應該具有很高的容錯性；對於一個大的集羣系統來說，機器故障、網絡異常等都是很常見的，spark這樣的大型分佈式計算集羣提供了很多的容錯機制來提高整個系統的可用
2018-08-30 14:54:58
原创 stream的job的產生
Stream中Job的生成 大家可以通過參考spark的官網快速的開發一個屬於自己的spark stream程序，然後提交job到指定的spark集羣完成流任務的運行；或者直接通過local模式在本地環境中運行，但卻很少有人能夠清楚的敘
2018-08-30 14:54:58
原创 zookeeper簡介
zookeeper是一款分佈式的、開源的協調系統，用於爲分佈式系統中提供配置、同步、命名、分組、協調服務，將應用從複雜的協調場景下解脫出來。zookeeper是由多個分佈式節點組成的一個統一服務，整體架構如下圖， 客戶端只需要和一個
2018-08-30 14:54:57
原创 Spring中利用AOP對領域對象（非依賴注入的對象，如new操作符、反射的方式生存的對象）下面是spring配置文件的一部分 <context:load-time-weaver /> <be
Spring中利用AOP對領域對象（非依賴注入的對象，如new操作符、反射的方式生存的對象）下面是spring配置文件的一部分 <context:load-time-weaver/> <bean id="spr
2018-08-30 14:54:57
原创 spark本地java開發環境的搭建
基於Java開發Spark HelloWorld 緒論 對於學習任何一門新的開發語言或者新的技術，常常都是從HelloWorld開發寫起，文章主要介紹在本地環境下如何構建Spark的開發環境，進而開發一個HelloWor
2018-08-30 14:54:57
2
原创 hdfs腳本介紹
HDFS相關腳本介紹 簡介 本篇主要介紹hdfs整個系統的腳本部分，通過腳本來介紹hdfs文件系統的啓動、停止等操作；該篇是基於hadoop-2.6.2的版本進行說明。hdfs的腳本主要位於三個地方，其中$HADOOP_HOME/sbin
2018-08-30 14:54:57
1
原创 微服務的單體應用的優缺點對照
單體應用的不足 邏輯複雜、模塊耦合、代碼臃腫，修改難度大，版本迭代效率低下 系統啓動慢，一個進程包含了所有的業務邏輯，涉及到的啓動模塊過多，導致系統的啓動、重啓時間週期過長 系統錯誤隔離性差、可用性差，任何一個模塊的錯誤均可能造成整個系
2018-08-30 14:54:56
原创 Spark Streaming源碼簡介
Spark Streaming簡介 spark streaming是構建在spark core之上，提供的可擴展、高吞吐、容錯的實時流處理模塊，它能接受來自kafka、flume、tcp各種渠道的數據，進行用戶定義的各種Map、Redu
2018-08-30 14:54:55