原创 spark2.11 資源調度流程（cluster模式下Driver、Executor的調度）
Spark只有在cluster模式下啓動時，纔會有Driver的資源調度，如果在client模式下啓動，Driver就在提交Job的機器上啓動。資源調度指的是應用程序獲得的計算資源，任務調度是在資源調度的基礎上進行的。Master是負責資
2018-08-26 20:01:49
2
原创 Spark2.11 Executor的啓動註冊和執行任務的流程
一、當master在接收到RegisterApplication消息後會向worker發送LaunchDriver和LaunchExecutor消息來分別啓動Driver和Executor。實際上這裏啓動Executor是指的啓動Coar
2018-08-26 20:01:49
原创 Spark Application的調度算法
本文轉自：https://www.cnblogs.com/francisYoung/p/5205420.html要想明白spark application調度機制，需要回答一下幾個問題：1.誰來調度？2.爲誰調度？3.調度什麼？3.何時調
2018-08-26 20:01:49
1
原创 Java應用程序接收信號和註冊鉤子關閉程序
一、接收信號 1、在Linux中執行kill -l查看信號，共有64中信號 2、實現SignalHandler接口並註冊信號。 import sun.misc.Signal; import sun.misc.SignalHandler
2018-08-26 20:01:49
4
原创 Spark2.11 任務劃分以及執行流程
1、spark Application中可以由不同的action觸發job，也就是說一個Application裏可以有很多的job，每個job是由一個或者多個stage構成的，後面的stage依賴前面的stage，只有前面依賴的stage
2018-08-26 20:01:46
4
原创 Spark2.11 啓動Driver以及Executor流程
一、首先client會向master註冊application，然後調用scschedule（）開始啓動Driver和Executor流程，分別向worker發送LaunchDriver和launchExecutor指令啓動Driver和
2018-08-26 20:01:46
3
原创 Spark 資源池簡介
本文轉自地址：http://www.cnblogs.com/francisYoung/p/5209798.html 在一個application內部，不同線程提交的Job默認按照FIFO順序來執行,假設線程1先提交了一個job1，
2018-08-26 20:01:33
原创 基於elasticsearch6.2.3版本 head 插件安裝以及問題總結
一、在GitHub上下載head插件：elasticsearch-head的zip包，github網址如下：https://github.com/mobz/elasticsearch-head二、因爲head插件作爲獨立於elastics
2018-08-26 20:01:33
2
原创 Spark2.11 Standalone模式下Driver、Executor啓動流程源碼概要
Spark 應用程序啓動的時候必須依賴SparkContext類，在SparkContext實例化的時候主要的工作是：實例化DAGScheduler job調度器，TaskSchedulerImpl 任務調度器，StandaloneSch
2018-08-26 20:01:31
4