原创 Spark transform操作的非常規使用 - SparkContext.runJob()方法的調用

前文      一般場景中，Spark計算任務中transform相關的操作都是由action進行觸發的，常見的的比如write、collect、show等，或者在數據處理的過程中調用的groupbykey等API，進行shuffle數據

2020-06-01 08:49:42 1

原创 Flink 原理架構總結

一、流式任務執行過程 1.任務並行      按照自己的理解，一個流程如下圖所示，除非經歷shuffle過程，否則流程並行度將由source的並行度決定，比如kafka分區數目，shuffle之後的並行度，可能會改變，Operator子任

2020-06-01 08:49:42

原创 sleep與wait是否會佔用cpu時間

轉載原文：https://blog.csdn.net/lz710117239/article/details/79288605 轉載作者：lz710117239   一直對sleep與wait除了使用方法上的卻別外，還對它們是否會佔用cp

2020-06-01 08:49:42

原创 Flink State Checkpoint和並行重分佈

目錄 一、狀態類型 1.基本類型劃分 2.組織形式劃分 3. 舉例：託管的Keyed State 二、State checkpoint   1.Filesystem State Backend 2.RocksDB State Backen

2019-06-24 01:36:35 1

原创 Go:內核線程、LWP、用戶線程？ 還是協程?

1.三種概念——內核線程、輕量級進程、用戶線程： https://blog.csdn.net/qq_32252957/article/details/82983969 內核線程： 使用內核棧和和寄存器空間，但是調度成本高，等價於進程 內核

2019-06-11 07:30:48

原创 Golang 同步方式

目錄 1.channel  2.Sync.Mutex 3. Sync.waitGroup 4. Sync.Once 5. Sync.context 6. Sync.pool 7.atomic包，針對變量進行操作 Sync包簡述 收集了一些

2019-06-11 07:30:48

原创 Spark SQL 解析-轉換-執行過程

目錄   前文 正文 1.概述 2. 抽象語法樹生成 3.Unresolved Logic Plan 邏輯執行計劃生成 4. Analyzed Logical Plan 邏輯執行計劃生成 5.Optimized Logic Plan 邏輯

2019-06-11 07:30:48

原创 Golang 學習筆記（06）—— 多線程

作者：ChainZhang 鏈接：https://www.jianshu.com/p/c3d65105fa46   介紹 線程是cpu調度的最小單位，只有不同的線程才能同時在多核cpu上同時運行。但線程太佔資源，線程調度開銷大。go中的g

2019-06-11 07:30:48

原创 JDK 8中的LondAddr 與synchronized和AtomicLong併發性能對比實驗

目錄   前文 正文 0. 測試環境 1. Synchronized 測試 2. AtomicLong測試 3. LongAdder測試 總結 前文        多線程之間常見同步方式 ：Synchronized / Lock / vo

2019-04-26 09:57:03

原创 Java GC 垃圾回收彙總大全

目錄 概述 對象存活判斷 垃圾收集算法 標記 -清除算法 複製算法 標記-壓縮算法 分代收集算法 垃圾收集器 Serial收集器 Parallel收集器 Parallel Old 收集器 CMS收集器 G1收集器 常用的收集器組合 主要借

2018-10-27 05:14:59

原创 Akka: 讓併發和容錯更容易：Akka示例教程

目錄 摘要 Akka框架是什麼 Akka中的Actor是什麼 Actor系統 Akka的容錯和監管者策略 本地透明性 最後的一些提示 結論 轉載原文：左洪斌 摘要 Akka用Scala語言寫成，爲開發高併發、分佈式和容錯式應用提供了便利，

2018-10-27 05:14:59

原创 JVM 內存結構

JVM內存結構 轉載作者：純潔的微笑 轉載地址：jvm內存結構      堆    ： 線程共享：存放對象 方法區：線程共享：存放類結構信息class、常量和靜態變量 線程棧：線程私有、存放對象引用和原是類型本地變量 JVM棧：存儲方法執

2018-10-27 05:14:59

原创 從1到n整數中1出現的次數：O(logn)算法

轉載原文：統計1數目 1. 題目描述 輸入一個整數n，求從1到n這n個整數的十進制表示中1出現的次數。例如輸入12，從1到12這些整數中包含1的數字有1，10，11和12，1一共出現了5次。 2. 題目來源 第一次看到是在《劍指Offer

2018-10-27 05:14:59 2

原创 Spark 2.4 新特性和PPT

即將發佈的 Apache Spark 2.4 版本是 2.x 系列的第五個版本。 本文對 Apache Spark 2.4 的主要功能和增強功能進行了概述。 新的調度模型（Barrier Scheduling），使用戶能夠將分佈式深度學

2018-09-26 04:41:04 5