Spark 之 ListenerBus

原創 zhixingheyi_tian 2020-02-27 13:39

ListenerBus 是一個 trait，可以接受事件，並將事件提交到對應事件的監聽器

private[spark] trait ListenerBus[L <: AnyRef, E] extends Logging {
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

spark-shell啓動命令詳細解析2

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   接上篇【 spark-shell啓動命令詳細解析1】 下面我們來看下org.apache.spark.repl.Main是如何處理spark-sh

ustbxyls 2020-06-20 13:04:12

spark master HA流程和源碼詳解(standalone)

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   本文主要內容： Spark集羣HA安裝部署 Spark Master HA 主備切換流程 Spark Master HA 在Zookeeper上的

ustbxyls 2020-06-20 04:49:43

Spark Worker 啓動流程及源碼詳解

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141 可以參考【Spark Master啓動流程及源碼詳解】 ${SPARK_HOME}/sbin/start-slaves.sh # Launch th

ustbxyls 2020-06-20 04:49:43

spark-shell啓動命令詳細解析1

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   執行spark-shell命令後，會啓動spark-shell交互命令行窗口：   那麼spark-shell命令的啓動流程是怎樣的呢？ 下面讓

ustbxyls 2020-06-20 04:49:43

Spark Master啓動流程及源碼詳解

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   ${SPARK_HOME}/sbin/start-master.sh # NOTE: This exact class name is m

ustbxyls 2020-06-20 04:49:43

spark源碼導讀（一）

想想還是應該把自己消化所得的東西進行一下整理，方便以後回顧，也對自己這些天的學習進行一個總結，發現問題。 spark的源碼在文件src/java裏，首先對源碼結構和各個類實現的功能進行整體概覽。 AccountCreationWiza

eeelan 2020-06-19 13:04:54

Spark on Yarn分析

懒的执行力度无敌 2020-02-21 20:51:28

spark源碼解析-作業執行過程

spark版本： 2.0.0 1. 引入 通過前一篇介紹spark submit的文章，我們知道如果以客戶端模式最終運行的是–class指定類的main方法，這也是執行作業的入口。接下來，我們就以一個簡單的例子，說明作業是如何

missv5 2020-06-27 20:19:55

Spark源碼--Dependency

注：本文基於spark-2.4.4版本源碼進行分析 首先從整體上看一下Dependency相關類的繼承關係，有一個直觀的印象：   然後從Dependency源碼開始看。如下圖：   Dependency是一個抽象類，類中的rdd成員

叹了口丶气 2020-06-27 19:41:18

spark-shell啓動命令詳細解析2

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   接上篇【 spark-shell啓動命令詳細解析1】 下面我們來看下org.apache.spark.repl.Main是如何處理spark-sh

ustbxyls 2020-06-20 13:04:12

spark master HA流程和源碼詳解(standalone)

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   本文主要內容： Spark集羣HA安裝部署 Spark Master HA 主備切換流程 Spark Master HA 在Zookeeper上的

ustbxyls 2020-06-20 04:49:43

Spark Worker 啓動流程及源碼詳解

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141 可以參考【Spark Master啓動流程及源碼詳解】 ${SPARK_HOME}/sbin/start-slaves.sh # Launch th

ustbxyls 2020-06-20 04:49:43

spark-shell啓動命令詳細解析1

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   執行spark-shell命令後，會啓動spark-shell交互命令行窗口：   那麼spark-shell命令的啓動流程是怎樣的呢？ 下面讓

ustbxyls 2020-06-20 04:49:43

Spark Master啓動流程及源碼詳解

環境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   ${SPARK_HOME}/sbin/start-master.sh # NOTE: This exact class name is m

ustbxyls 2020-06-20 04:49:43

spark源碼導讀（一）

想想還是應該把自己消化所得的東西進行一下整理，方便以後回顧，也對自己這些天的學習進行一個總結，發現問題。 spark的源碼在文件src/java裏，首先對源碼結構和各個類實現的功能進行整體概覽。 AccountCreationWiza

eeelan 2020-06-19 13:04:54