spark寬依賴與窄依賴

原創 汴水流 2018-08-31 08:19

窄依賴：Narrow Dependency

父RDD和子RDD是一對一的依賴關係，如map，filter

寬依賴：Shuffle Dependency

本質如其名，本質就是shuffle。如reduceByKey，groupyByKey

以wordcount爲例，剖析圖如下：


發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

spark-22.spark內核解析_2_Spark的腳本

1.集羣管理腳本 start-all.sh 調用 start-master.sh CLASS=”org.spark.deploy.master.Master” 執行main()，並傳入一些參數。 調用 start-slave.sh

蒙面小生 2020-07-04 08:37:58

spark-21.spark內核解析_1_maven標籤與Spark的通信機制

1.Maven標籤 <denpendencies> 聲明並引入依賴。 <dependencyManangement> 僅聲明依賴，不自動引入，需要用的時候需要手動引入。 <pluginManagement> 僅聲明插件，不自

蒙面小生 2020-07-04 08:37:58

[Spark內核]通訊架構源碼解析

個人博客文章地址 熟悉的套路，先大概的瞭解spark的通訊架構怎麼樣工作，然後再去跟蹤源碼。 Spark2.x版本使用Netty通訊框架作爲內部通訊組件。 Spark通訊框架中各個組件（Client/Master/Worker）可

海贼工作室 2020-06-30 22:19:03

[Spark內核]Yarn集羣模式部署流程源碼分析

個人博客地址 在實際工廠環境下使用的絕大多數的集羣管理器是Hadoop YARN，因此我們關注的重點是Hadoop YARN模式下的Spark集羣部署。 先熟悉一下Yarn集羣模式下spark部署流程，然後再跟蹤源碼進行分析。

海贼工作室 2020-06-30 22:19:01

Spark任務提交流程(整理版)

Spark的任務, 生產環境中一般提交到Yarn上執行. 具體流程如下圖所示 1、client提交任務到RM. 2、RM啓動AM. 3、AM啓動Driver線程, 並向RM申請資源. 4、RM返回可用資源列表. 5、AM通過nmC

MichaelZhu 2020-06-10 13:18:13

Spark任務提交流程

Spark的任務, 生產環境中一般提交到Yarn上執行. 具體流程如下圖所示 1、client提交任務到RM. 2、RM啓動AM. 3、AM啓動Driver線程, 並向RM申請資源. 4、RM返回可用資源列表. 5、AM通過nmClien

MichaelZhu 2020-06-10 13:18:13

SparkSQL優化之輸入小文件是否需要合併?

Note: spark版本2.3.1 HiveSQL優化時, 輸入分片需要開啓參數進行合併, 否則會產生很多分片. 那麼SparkSQL是如何應對大量輸入小文件的呢? 本例以Hive表爲例(大量parquet小文件, 可切分).

MichaelZhu 2020-06-10 13:18:13

Spark-Core、Spark-SQL的內核機制

Spark基於內存運算, 是MapReduce的下一代替換計算框架, 主要包含Spark-Core、Spark-SQL、Spark-Streaming、Spark-ML. 本系列只介紹Spark-Core和Spark-SQL的內核機制.

MichaelZhu 2020-06-10 13:18:13

16.rdd 算子舉例

听风的蜗牛 2020-02-28 09:37:17

25.Spark Sort-Based Shuffle內幕徹底解密

听风的蜗牛 2020-02-28 09:37:17

Spark 源碼解析 : DAGScheduler中的DAG劃分與提交

听风的蜗牛 2018-09-01 23:08:48

Spark 源碼解析：徹底理解TaskScheduler的任務提交和task最佳位置算法

听风的蜗牛 2018-09-01 23:08:48

spark內核架構

汴水流 2018-08-31 08:19:18