hive学习中错误总结(二)

错误原因:hive表做了分区,项目需要统计当月的数据,我们将数据按月进行了加工然后做了存储。相当于ODS-->DW-->APP的过程。整个逻辑已经实现,需要做一个工作流的调度,项目组使用的airflow;坑就出现在airflow的调度,让我搞了五个小时(实际太菜),逻辑代码运行一点没问题,放在airflow调度就报错,一度崩溃。

每次导数都是静态分区的导数,需要动态传参数,airflow的使用了bashoperator的方式,加入了bash注意的所有事项,还是报错,最后抱着试一试的态度把动态SQL加上了双引号就解决了,整个调度就起来了。记录这一过程,勉励自己加油!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章