1.spark的监控
1.任务运行的监控
spark web ui spark内置应用运行监控工具。
2.基础资源的监控
Ganglia 分析集群的使用状况和资源瓶颈。
Nmon 主机CPU、网络、磁盘、内存。
Jmeter 系统实时性能监控工具。
3.代码的监控
Jprofile Java程序性能监控工具【所有基于JVM的都能被监控】
2.spark的调优方向
调优要点:数据倾斜、资源参数、Shuffle参数、程序开发、JVM GC的优化。
spark web ui spark内置应用运行监控工具。
Ganglia 分析集群的使用状况和资源瓶颈。
Nmon 主机CPU、网络、磁盘、内存。
Jmeter 系统实时性能监控工具。
Jprofile Java程序性能监控工具【所有基于JVM的都能被监控】
调优要点:数据倾斜、资源参数、Shuffle参数、程序开发、JVM GC的优化。