hive學習中錯誤總結(二)

錯誤原因:hive表做了分區,項目需要統計當月的數據,我們將數據按月進行了加工然後做了存儲。相當於ODS-->DW-->APP的過程。整個邏輯已經實現,需要做一個工作流的調度,項目組使用的airflow;坑就出現在airflow的調度,讓我搞了五個小時(實際太菜),邏輯代碼運行一點沒問題,放在airflow調度就報錯,一度崩潰。

每次導數都是靜態分區的導數,需要動態傳參數,airflow的使用了bashoperator的方式,加入了bash注意的所有事項,還是報錯,最後抱着試一試的態度把動態SQL加上了雙引號就解決了,整個調度就起來了。記錄這一過程,勉勵自己加油!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章