spark on yarn 原理、資源分配、優化等收集

一、集羣使用注意點：
1、跑的任何job，最好都要加上有意義的job name，不要使用默認的名字hive on spark；
2、job應儘可能的少用集羣資源達到理想的效果，而不是有多大用多大來提高性能；
二、spark on yarn 原理篇：
參考博客
三、資源分配篇：
參考1
參考2
參考3
參考4
參考5
參考6
參考7
參考8
四、優化篇：
spark性能優化：數據傾斜調優
如何通過查看job執行過程來幫助我們做優化
Spark 內存溢出 處理 及 優化
Spark | 數據傾斜的七種解決方案