原创 kafka 事務
目錄 概述 冪等 事務 2PC協議 代碼示例 事務流程 事務狀態 Server側狀態 LSO 概述 kafka 從0.11版本開始支持exactly-once語義。從此，流式處理框架數據準確性語義at-most-once、at-lea
2020-06-21 21:16:04
原创 Kafka常見問題解決思路
Rebalance 1、一個consumer group消費多個Topic，選擇什麼Rebalance策略 答：選擇Round Robin或者Sticky策略，其中最好是Sticky策略。如果選擇Range策略，平衡分數（rebalanc
2020-06-21 21:16:04
原创 Spark之Task構建
我們已經知道DAGScheduler通過RDD算子構建DAG，再基於RDD算子之間的寬、窄依賴來切分所涉算子，最終得到一個Stage集合。每個Stage再基於Partitioner生成Task，Task集合包裝成TaskSet（可能會管道
2020-06-07 09:07:39
原创 Kafka consumer group balance原理及源碼解讀(range/round robin/sticky)
目錄 序言 Range 算法 示例 Round Robin 算法 核心源碼 示例 Sticky 數據結構&算法 數據結構 算法 示例 核心方法 代碼步驟 平衡判斷 序言 kafka在0.11版本後提供了Range、Round Robi
2020-02-20 17:47:52
原创 Guava RateLimiter算法原理及源碼解讀
目錄 前言 原理 RateLimiter原理 SmoothBursty 關鍵屬性 關鍵方法 doSetRate reserveEarliestAvailable SmoothWarmingUp WarmingUp原理 核心方法 doS
2020-02-20 17:47:52
原创 企業IT架構轉型之道 阿里巴巴中臺戰略思想與架構實戰閱後總結
介紹了建設共享業務中臺的架構目的、建設原則和思路、技術攻克點、運營能力、平臺穩定能力及與上下游的協作、最終案例說明能力輸出。這一切都是圍繞支撐業務快速創新、試錯的目標開展工作。
2019-09-15 14:07:09
原创 Spark之任務調度
目錄 調度模式 調度時機 可調度任務 任務級別 Schedulable 屬性 方法 SchedulableBuilder 排序算法 FIFOSchedulingAlgorithm.comparator FairSchedulingAl
2019-08-23 06:34:07
原创 ElasticSearch 2.3 Master OOM
環境 ES version：2.3.0 部署：Master Node+Data Node 配置：3臺 master爲8C8G，data node爲8C16G 備註：此問題與JDK、操作系統無關，因此就沒列詳細信息 問題描述 ES集羣每天動
2019-08-06 06:15:14
6
原创 基於Redis的延遲隊列
業務背景 7號10:00創建活動，7號0：00到7號10：00之間下單未支付的用戶push催付，7號10：00後用戶下單5分鐘內沒有支付，以PUSH的方式催付 方案 0-10點間數據可理解爲離線數據，可通過創建一個ad-hoc查詢任務，並
2019-07-07 14:08:29
原创 延遲調度總結
流式計算的調度複雜性在於需要考慮公平性和數據本地化。 FIFO調度 FIFO是一個簡單的調度策略，適合用於作業併發少，或者無作業併發，且作業的map任務數量大，最好是大於等於集羣的slot數量。FIFO調度中經典的兩個問題 head-of
2019-07-06 07:42:03
原创 延遲調度(A Simple Technique for Achieving Locality and Fairness in Cluster Scheduling)
2. 背景 Hadoop實現了類似Google的MapReduce。Hadoop運行在一個稱爲HDFS人分佈式文件系統上，類似GFS每個數據塊存儲三份副本。用戶提交的作業由一個map函數和一個reduce函數組成。Hadoop拆解每個jo
2019-07-05 06:37:13
原创 延遲任務解決方案
業務場景舉例： 用戶下單5分鐘內沒有支付，以PUSH的方式催付 解決方案： 方案A： 定時輪詢當天全量的訂單數據，找到符合要求的數據。 方案特點： 1. 方案簡單、不依賴過多的技術組件 2. 輪詢效率過低，不適合大數據量業務場景 方
2019-06-10 14:37:23
原创 Spark之Task狀態與異常
目錄 Task狀態 Task 異常 Task狀態與異常 Task狀態 TaskState對Task的生命週期定義了6個狀態，每種狀態會做不同的處理。 Launching：Task已經從Driver側發送給了Executor側(被DAG
2019-04-28 18:04:12
原创 Spark之Task的定義
一個供Executor執行的可執行的邏輯單元，Spark目前提供了兩類Task，分別爲ShuffleMapTask和ResultTask。Job會由一個或者多個Stage，一個Spark Job基於Stage構建成邏輯執行計劃和物理執行計
2019-04-28 15:33:40
原创 Netty相關介紹
Spark使用Netty作爲網絡通住框架，順帶研究了下Netty，把今天成果總結下，後面持續更新。 目錄 架構介紹 Reactor模式 內存模型 架構介紹 Netty由Core、Transport Services、Protocol S
2019-04-13 07:23:15
1