hive讀取數據細節——按分區小時取數據——hive入門5

遇到一個細節問題,取夜間的數據,從22點到次日1點之間的數據怎麼整?

select id from student where day>20200509 and hour>=22 and day<=20200510 and hour<=1 limit 10;

這個思路是清晰的,但hour限制的不對,因爲不可能有既大於22又小於1的數存在,所以直接返回空。實際上這段時間有數據

 

這種情況要將day與hour拼接起來,一起使用,可以解決問題。感謝同事大佬。

 

補充:20200604 16:46

我想直接寫成py腳本執行這個命令,但由於又增加了個限制比如,where gender='female'

這種的話就要引號裏面套引號,套引號,因爲最後還有個hive

三層引號問題怎麼解決啊?最後這個用的

"""  """

但是沒有輸出結果,不知道是沒有數據還是沒有存入(即,有問題)

直接hive讀取一天數據都很慢,設置隊列後速度快很多(該隊列map 和reduce數很多,可能與此有關)

上面是有join的情況,我試試單個表,無論改成多短時間內的都不行的,這就蛋疼了。

 

 

 

For Video Recommendation in Deep learning QQ Group 277356808

For Speech, Image, Video in deep learning QQ Group 868373192

I'm here waiting for you

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章