hive开发规范

一、 建表规范:

Hiive分为内部表和外部表,一般情况,只允许建外部表,不建议使用内部表。

LZO标准建表模板如下所示:
create EXTERNAL table app_sku_pur_attrib (

stat_dt string comment ‘统计日期’ ,

ord_item_units double comment ‘下单商品件数’,

valid_ord_qtty bigint comment ‘有效订单量’ )

comment ‘商品采销属性’

PARTITIONED BY ( dt string )

ROW FORMAT SERDE ‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’

WITH SERDEPROPERTIES ( ‘field.delim’=’\t’ )

STORED AS INPUTFORMAT “com.hadoop.mapred.DeprecatedLzoTextInputFormat”

OUTPUTFORMAT “org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat”;

建表时需要加上表注释、字段注释;

ORC标准建表模板如下所示:
create external table app_jdw_jmart_zbinfo_test_test(

capacity_all float comment ‘数据总容量PB’,

deal_data_dt float comment ‘日处理数据量PB’,

add_data_dt float comment ‘日新增数据量PB’,

add_job_dt float comment ‘日运行job数W’,

machine_num int comment ‘平台总机器数’,

corejob_avgtime string comment ‘核心任务平均运行时长’)

PARTITIONED BY ( week_nm string,dt string )

ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ (列分隔符)

NULL DEFINED AS ‘’ (空值展示为’’)

STORED AS ORC (存储格式为ORC,不可少)

LOCATION ‘*************’ (指定表的location)

tblproperties (‘orc.compress’=‘SNAPPY’); (ORC压缩格式为SNAPPY)

字段类型使用hive标准字段
原生类型:

TINYINT

SMALLINT

INT

BIGINT

BOOLEAN

FLOAT

DOUBLE

STRING

BINARY (Hive 0.8.0以上才可用)

TIMESTAMP (Hive 0.8.0以上才可用)

复合类型:

arrays: ARRAY<data_type>

maps: MAP<primitive_type, data_type>

structs: STRUCT<col_name : data_type [COMMENT col_comment], ...>

union: UNIONTYPE<data_type, data_type, …>

举例:错误表:app_business_m_dyrec_rank_apply,字段类型void

#col_name data_type comment

target_tag void

user_id string

item_sku_id string

sku_list void

exp_time void

rectype void

model_id void

traffic string

media string

site_id void

adpos_id void

二、 数据类型标准

1、为了提高通用性,代码字段尽量不用数字型,建议多采用STRING类型;
2、日期类型字段由于格式多样,造成在信息加工处理过程中的格式转换复杂且易出错,因此对日期类型字段统一制定如下规范
以“2013-01-01 13:35:23.71”为例说明日期字段类型规范内容:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章