在hive测试环境中发现,通过csv上传到hive中的空值字段会被转化为NULL字符串,在查询的时候where xxx is null 查不到数据 通过 where xxx = ‘NULL’ 能查到数据
- 复现问题:
CREATE TABLE `call_v2`( `id` string,
`call_uuid` string,
`transaction_id` string,
`type` string,
`status` string,
`caller_number` string,
`dest_number` string,
`call_create_time` string,
`call_answer_time` string,
`call_hangup_time` string,
`ring_time` string,
`duration` string,
`bill_sec` string,
`talk_time` string,
`hangup_cause` string,
`hangup_cause_detail` string,
`record_key` string,
`read_record_key` string,
`write_record_key` string,
`create_time` string,
`update_time` string) PARTITIONED BY (`dt` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE TBLPROPERTIES("skip.header.line.count"="1");
- 上传数据
load data local inpath '/home/yqg/liuzhiwei/query-hive-199233.csv' into table call_v2 Partition (dt='20200601');
-
问题显示
-
解决方法:
alter table call_v2 SET SERDEPROPERTIES('serialization.null.format' = 'NULL');
- 导致的原因:
hive中空值判断基本分两种
1. NULL 与 \N
hive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES(‘serialization.null.format’ = ‘\N’); 参数控制的
比如:
-
设置 alter table name SET SERDEPROPERTIES(‘serialization.null.format’ = ‘\N’);
则:底层数据保存的是’\N’,通过查询显示的是’NULL’
这时如果查询为空值的字段可通过 语句:a is null 或者 a=’\N’ -
设置 alter tablename SET SERDEPROPERTIES(‘serialization.null.format’ = ‘NULL’);
则:底层数据保存的是’NULL’,通过查询显示的是’NULL’
这时如果查询为空值的字段可通过 语句:a is null 或者 a=‘NULL’
2.’’ 与 length(xx)=0
‘’ 表示的是字段不为null且为空字符串,此时用 a is null 是无法查询这种值的,必须通过 a=’’ 或者 length(a)=0 查询
- 参考: https://www.cnblogs.com/qiuhong10/p/8119546.html