presto、hive、sql工作中犯的一些錯誤總結

presto、hive、sql工作中犯的一些錯誤總結,很多低級錯誤,不足爲看,丟人hhhhhh

1.日期錯誤
etl_dt = '20200520’寫成了‘202005200’,多一個0得出錯誤結果,不細心,差點犯了大錯。
解決辦法:按照流程檢查,必要時候double check!

2.用錯表格,雖然都有student_id這個標籤,但表a left join 表b後,表b的很多字段都是空的。說明兩個表格沒有交集,一定要用對錶格,熟悉業務邏輯和流程。嚴重影響工作效率,應該先問開發人員,我應該用什麼表格呀,別自己瞎摸索

3.剛剛開始工作的時候,沒有篩選distinct 的id,導致一個id對應多條信息。你給一個客戶反覆打電話,他不投訴你纔怪,老闆不批評你纔怪

4.inner join,left join 不熟悉,影響工作邏輯和效率

5.沒事喜歡group,特別是求sum avg時結果容易出錯,得到不符合要求的結果。sum(a)或者count(a) 就不要group by a,真想可以再寫個循環,sum(f.a) as a_f

6.一個用戶可能有很多個單號,我想取最大的那個,十好幾位的數用了max,那可不是一般的好max的,計算量必然巨大啊,就卡死了

7.經常忘記英文逗號, 所以,最好放在新的一行行首,更加醒目

未完待補充

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章