spark 源碼編譯

原創 游九河 2020-02-21 12:04 
./dev/make-distribution.sh --name 2.6.0-cdh5.16.1  --tgz -Pyarn  -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.16.1 -Phive -Phive-thriftserver -DskipTests  -Pscala-2.11
遊九河
發佈了116 篇原創文章 · 獲贊 8 · 訪問量 1萬+
私信 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Spark抽取轉換182個用戶的軌跡數據到ES，Kibana展示

GeoLife GPS Trajectories 該GPS軌跡數據集出自微軟研究GeoLift項目。從2007年四月到2012年八月收集了182個用戶的軌跡數據。這些數據包含了一系列以時間爲序的點，每一個點包含經緯度、海拔等信息。

游九河 2020-06-27 17:40:19

sparkCore 知識點

1. RDD 五大特性 A list of partitions A function for computing each split A list of dependencies on other RDDs Optional

游九河 2020-06-27 17:40:19

Spark History Server配置及其啓動

Spark每提交一次任務就會啓動一個web服務，可以在網頁中查看任務執行的DAG圖，執行花費時間…,隨着任務結束而關閉。對於歷史任務查看需要另外啓動Spark History服務。 (1) 修改spark-defaults.con

游九河 2020-06-27 17:40:08

SparkCore 筆記（一）

目錄   一、什麼是RDD 二、RDD編程模型 1、RDD三種創建方式 三、RDD的轉換（面試開發重點） 1、value類型 2、雙Value類型交互 3、 Key-Value類型 四、 Action 五、案例應用 一、什麼是RDD RD

辛聪明 2020-06-22 08:39:27

spark core源碼分析13 異常情況下的容錯保證

博客地址: http://blog.csdn.net/yueqian_zhu/ standalone模式下的框架圖如下： 異常分析1： worker異常退出 worker異常退出，比如說有意識的通過kill指令將worke

yueqian_zhu 2020-06-21 09:00:58

spark core源碼分析14 參數配置

yueqian_zhu 2020-02-22 07:08:12

spark core源碼分析16 Shuffle詳解－讀流程

yueqian_zhu 2020-02-22 07:08:12

Spark 複習

懒的执行力度无敌 2020-02-21 20:51:28

Spark排序算法之二次排序

二次排序具體實現步驟： 按照Ordered和serrializable接口實現自定義排序key 將要進行二次排序的文件假造進來生成<key,value>類型的RDD 使用sortbykey基於自定義的key進行二次排序 去除掉排序的key

毛凯民 2020-07-07 21:46:09

Spark聚合操作combineByKey()

park中對鍵值對RDD(pairRDD)基於鍵的聚合函數中，都是通過combineByKey()實現的。 它可以讓用戶返回與輸入數據類型不同的返回值（可以自己配置返回的參數，返回的類型）   首先理解：combineByKey是一個聚合

毛凯民 2020-07-07 21:46:09

Spark深入淺出之剖析 Spark Shuffle 原理

Shuffle 一般被翻譯爲數據混洗，是類 MapReduce 分佈式計算框架獨有的機制，也是這類分佈式計算框架最重要的執行機制。本課時主要從兩個層面講解 Shuffle，主要分爲： 邏輯層面、 物理層面。 邏輯層面主要從 RDD 的血統

毛凯民 2020-07-07 21:46:08

Scala高階之多線程

Runnable/Callable 入門級區別：Runnable無返回值，Callable線程執行完有返回值。 深入源碼後面會詳解。 Runnable示例 import java.util.concurrent.{Executors,

毛凯民 2020-07-07 21:46:08

Spark抽取轉換182個用戶的軌跡數據到ES，Kibana展示

GeoLife GPS Trajectories 該GPS軌跡數據集出自微軟研究GeoLift項目。從2007年四月到2012年八月收集了182個用戶的軌跡數據。這些數據包含了一系列以時間爲序的點，每一個點包含經緯度、海拔等信息。

游九河 2020-06-27 17:40:19

sparkCore 知識點

1. RDD 五大特性 A list of partitions A function for computing each split A list of dependencies on other RDDs Optional

游九河 2020-06-27 17:40:19

Spark History Server配置及其啓動

Spark每提交一次任務就會啓動一個web服務，可以在網頁中查看任務執行的DAG圖，執行花費時間…,隨着任務結束而關閉。對於歷史任務查看需要另外啓動Spark History服務。 (1) 修改spark-defaults.con

游九河 2020-06-27 17:40:08