1、waiting ,waiting,Job Queueing... Job Queueing...
遇到這個提示,就是資源出現了排隊。
排查分析:如果你是後付費用戶,那就是整個後付費的共享池已經沒有富餘的資源了。
解決方案:要等共享池中的前一個作業處理完或者根據作業使用的CU情況,購買預付費CU。
排查分析:如果你是預付費用戶,很有可能是其他人的作業佔用了過多資源,導致了排隊。
解決方案:同一賬戶多人使用,存在並行多個JOB作業,部門之前可以合理設計JOB作業運行計劃,錯峯跑JOB作業。
2、作業超時嚴重,超出了作業平均時間
遇到這種現象,先彆着急,打開logview看一下,是不是大部分小作業已經跑完,剩下部分作業沒有跑完。
排查分析:這種就是典型的數據長尾問題了,因爲數據分佈不均,導致各個節點的工作量不同,整個任務就需要等最慢的節點完成才能完成,可以通過優化來自行解決。
解決方案:大家可以參考這兩篇文檔。
阿里巴巴大數據-玩家社區 https://yq.aliyun.com/teams/6/
---阿里大數據博文,問答,社羣,實踐,有朋自遠方來,不亦說乎……