Hive分区表新增字段数据显示为NULL

hive的分区表在新增字段后,新增字段的数据显示NULL。hive分区表新增字段,新分区表字段能够显示,老的分区表字段无法显示,在hdfs上显示正常。


测试具体情况:

1、创建一个测试表


2、插入一条数据

insert into table cyx_test partition(dt='20180101') values('0101','java','shenzhen');


3、新增一个表字段(在原有字段后面,注意写入数据顺序)

alter table cyx_test add columns(postcode string comment '邮编');

insert into table cyx_test partition(dt='20180101') values ('0101a','python','guangzhou','0757'); # 写入老分区

insert into table cyx_test partition(dt='20180202') values('0202','scala','zhuhai','0766'); # 写入新分区


理论上第二条数据会显示4个字段的信息(hdfs文件保存正常数据,但是hive查询无法显示,),而新增分区是在更改表结构后创建的,所以能正常显示。


解决方法:(修改hive库sds表)

update sds set cd_id=63365 where LOCATION like'hdfs://mycluster/user/hive/warehouse/xdata.db/cyx_test/dt%';

再次查询可以显示


最新的分区表的CD_ID会很原始表的一致,因此需要把老分区表的CD_ID更新过来。







發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章