台部落yueqian

博客地址: http://blog.csdn.net/yueqian_zhu/ standalone模式下的框架圖如下：異常分析1： worker異常退出 worker異常退出，比如說有意識的通過kill指令將worke

2020-06-21 09:00:58

博客地址: http://blog.csdn.net/yueqian_zhu/ spark緩存清理機制： MetadataCleaner對象中有一個定時器，用於清理下列的元數據信息： MAP_OUTPUT_TRACKER：Maptas

2020-06-21 09:00:58

博客地址: http://blog.csdn.net/yueqian_zhu/ 實際任務的運行，都是通過Executor類來執行的。這一節，我們只介紹Standalone模式。源碼位置：org.apache.spark.executo

2020-06-21 09:00:58

博客地址: http://blog.csdn.net/yueqian_zhu/ 本節主要講解SparkContext的邏輯首先看一個spark自帶的最簡單的例子： object SparkPi { def main(args:

2020-06-21 09:00:58

博客地址: http://blog.csdn.net/yueqian_zhu/ 上一節舉例講解了transformation操作，這一節以reduce爲例講解action操作首先看submitJob方法，它將我們reduce中寫的處理

2020-06-21 09:00:58

博客地址: http://blog.csdn.net/yueqian_zhu/ spark 參數詳解 spark參數配置優先級：SparkConf > CLI > spark-defaults.conf > spak-env.sh

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ 先貼一下上一節的例子 object NetworkWordCount { def main(args: Array[String]) { i

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ shuffle的讀流程也是從compute方法開始的 override def compute(split: Partition, context: Tas

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ 前面的兩節內容介紹了StreamingContext的構造以及在此上的一系列操作。通過調用start方法，真正開始調度執行。首先校驗狀態是否是INIT

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ 源碼位置： org.apache.spark.deploy.SparkSubmit.SparkSubmit.scala 這裏解析參數，包括提交jar包的m

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ 這一節講解master 選舉以及之後的處理流程上一節說到在Master啓動過程中，首先調用了 Akka actor的preStart方法。 overri

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ 首先看一個最簡單的例子，瞭解大致的樣子： object NetworkWordCount { def main(args: Array[String

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ 一、RDD創建的操作（SparkContext.scala） 1、從內存集合中創建RDD，RDD中包含的是類型爲T的集合 def parallelize[

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ Shuffle是一個比較複雜的過程，有必要詳細剖析一下內部寫的邏輯 ShuffleManager分爲SortShuffleManager和HashShuf

2020-02-22 07:08:12

博客地址: http://blog.csdn.net/yueqian_zhu/ RDD有cache和persist方法，用於將RDD進行緩存。 cache方法其實就是persist(MEMORY_ONLY) 我們看一下這個方法幹了什麼

2020-02-22 07:08:12