MaxCompute執行作業慢的原因排查

點擊有驚喜


1、waiting ,waiting,Job Queueing... Job Queueing...

遇到這個提示,就是資源出現了排隊。

6d75607c76e9dd18641bcba1311487332841ee20

排查分析:如果你是後付費用戶,那就是整個後付費的共享池已經沒有富餘的資源了。

解決方案:要等共享池中的前一個作業處理完或者根據作業使用的CU情況,購買預付費CU。


排查分析:如果你是預付費用戶,很有可能是其他人的作業佔用了過多資源,導致了排隊。

解決方案:同一賬戶多人使用,存在並行多個JOB作業,部門之前可以合理設計JOB作業運行計劃,錯峯跑JOB作業。



2、作業超時嚴重,超出了作業平均時間

遇到這種現象,先彆着急,打開logview看一下,是不是大部分小作業已經跑完,剩下部分作業沒有跑完。

bc43935528472d3a266c5171a97ce516e352116f


排查分析:這種就是典型的數據長尾問題了,因爲數據分佈不均,導致各個節點的工作量不同,整個任務就需要等最慢的節點完成才能完成,可以通過優化來自行解決。

解決方案:大家可以參考這兩篇文檔。

推薦大家學會用Logview去解決問題,官方文檔參考:https://help.aliyun.com/document_detail/27987.html



阿里巴巴大數據-玩家社區 https://yq.aliyun.com/teams/6/

---阿里大數據博文,問答,社羣,實踐,有朋自遠方來,不亦說乎……

bba01b493e1c5d904e882b1c380673c6ebe49a98


點擊有驚喜


發佈了0 篇原創文章 · 獲贊 6 · 訪問量 1萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章