Spark的運行指標監控

".driver.BlockManager.disk.diskSpaceUsed_MB")//使用的磁盤空間
".driver.BlockManager.memory.maxMem_MB") //使用的最大內存
".driver.BlockManager.memory.memUsed_MB")//內存使用情況
".driver.BlockManager.memory.remainingMem_MB") //閒置內存
//#####################stage###################################
".driver.DAGScheduler.job.activeJobs")//當前正在運行的job
".driver.DAGScheduler.job.allJobs")//總job數
".driver.DAGScheduler.stage.failedStages")//失敗的stage數量
".driver.DAGScheduler.stage.runningStages")//正在運行的stage
".driver.DAGScheduler.stage.waitingStages")//等待運行的stage
//#####################StreamingMetrics###################################
".driver.query.StreamingMetrics.streaming.lastCompletedBatch_processingDelay")// 最近批次執行的延遲時間
".driver.query.StreamingMetrics.streaming.lastCompletedBatch_processingEndTime")//最近批次執行結束時間（毫秒爲單位）
".driver.query.StreamingMetrics.streaming.lastCompletedBatch_processingStartTime")//最近批次開始執行時間
//執行時間
val lastCompletedBatch_processingTime = (lastCompletedBatch_processingEndTime - lastCompletedBatch_processingStartTime)
".driver.query.StreamingMetrics.streaming.lastReceivedBatch_records")//最近批次接收的數量
".driver.query.StreamingMetrics.streaming.runningBatches")//正在運行的批次
".driver.query.StreamingMetrics.streaming.totalCompletedBatches")//完成的數據量
".driver.query.StreamingMetrics.streaming.totalProcessedRecords")//總處理條數
".driver.query.StreamingMetrics.streaming.totalReceivedRecords")//總接收條數
".driver.query.StreamingMetrics.streaming.unprocessedBatches")//爲處理的批次
".driver.query.StreamingMetrics.streaming.waitingBatches")//處於等待狀態的批次