原创 Spark-Listener(事件驅動的異步化編程框架)
事件驅動的異步化編程事件驅動的異步化編程EventListenerListenerBus 事件驅動的異步化編程 我們以前經常看到基於事件的監控，基於事件的數據採集等等，Spark-Core內部的事件框架實現了基於事件的異步化編程模式。
2019-04-12 07:16:59
3
原创 Spark Streaming序言(流式計算概覽)
上半部分已經系統性的介紹了RDD模型及實現，下半部分介紹Spark的D-Streams模型原理及D-Streams模型的實現框架Spark Streaming的具體實現以及在大規模流處理上的應用。文章中的原理章節有部分參考和借鑑了<An
2019-04-12 07:16:59
3
原创 TOGAF 9.1 譯者序
Enterprise ：一定複雜度的任何組織系統，指正式或非正式的各類社會組織，並不專指企業。 Architecture：架構，架構是包含功能和行爲的。 複雜組織的兩個層面的能力： 1. 需要滿足外部需要的業務 2. 業務要不僅能適應
2018-11-03 22:10:03
原创 zookeeper源碼分析一
interface Watcher 定義了client 和 server之間5種事件類型，6個狀態。 6個狀態： Disconnected(0)， SyncConnected(3)， AuthFailed(4)， ConnectedR
2018-09-07 17:11:33
原创 Spark-Speculative Task
背景： 分佈式計算模型中，如Hadoop的MR，Spark的RDD，在任務處理過程中經常會出現某個Task執行很慢，拖慢了整個批次計算。爲解決此問題，Hadoop提出來了Speculative Task方案。 思路：
2018-09-07 17:11:33
4