Hive中虛擬列

參考自:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VirtualColumns

在hive中直接可以直接使用。

INPUT__FILE__NAME

maptask中的輸入文件

BLOCK__OFFSET__INSIDE__FILE

記錄在文件中的偏移量

應用場景

查找記錄所在的文件位置及偏移量

select line  ,INPUT__FILE__NAME ,BLOCK__OFFSET__INSIDE__FILE
from  temp_test_vitural_column
where line like '%df5f5388967697a6%' ;  

結果：
20170823230242 /home/test/filter_result/combinelog_merge_filter_uniq/tmp_test/20170823/part-m-07635 12183296
20170823230242 /home/test/filter_result/combinelog_merge_filter_uniq/tmp_test/20170823/part-m-07634 12183278