shell中判斷hive表分區是否存在

• 判斷當日分區是否有數據,如果有執行任務,沒有就退出
• 主要思路是如果分區存在且有數據,hdfs文件系統下的對應表分區下會有part-m-00000這個文件(不一定是這個名字,具體要用hadoop fs -ls /user/hive/warehouse/ 查看)

temp0="part-"         # 這裏只取了"part-"這個字段  
temp1=`hadoop fs -ls /user/hive/warehouse/test.db/table_name/dt=$dt`  
# 這裏用了grep來找出temp1字符串中是否有temp0("part-")這個子串  
result=$(echo $temp1 | grep "${temp0}")       
if [[ "$result" != "" ]]  
then  
  echo "$dt 有數據,開始任務"  
  hive -f /home/test.sql -hivevar dt=$dt //執行相應的sql文件或hql語句  
else  
  echo "$dt 沒有數據,終止任務"  
fi  

• temp1中的字段如下:

Found 3 items -rwxrwxrwt 2 root supergroup 0 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/_SUCCESS -rwxrwxrwt 2 root supergroup 76007252 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00000 -rwxrwxrwt 2 root supergroup 55380546 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00001 -rwxrwxrwt 2 root supergroup 40552007 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00002 -rwxrwxrwt 2 root supergroup 35753890 2018-12-15 03:58