sqoop hcatalog數據導出

將分區表中的數據導入mysql
創建mysql表
create table if not exists test.test_product_id (
    product_id bigint(11) comment "商品ID",
    product_name varchar(255) comment "商品名稱",
    settle_price decimal(20, 2) comment "結算價格",
    product_main_id bigint(11) comment "主商品ID",
    product_brand_id bigint(11) comment "品牌ID",
    p_day date comment '分區日期'
) comment '商品表';

導出腳本
sqoop export \
-Dmapreduce.job.queuename=crm \
-Dmapreduce.job.max.split.locations=2000 \
--mapreduce-job-name tmp_constellation \
--connect jdbc:mysql://localhost:3306/test \
--username username\
--password password\
--table test_product_id \
--columns product_id,product_name,settle_price,product_main_id,product_brand_id,p_day \
--hcatalog-database secoo_dim \
--hcatalog-table dim_product_basic_p_day \
--hcatalog-partition-keys p_day \
--hcatalog-partition-values 2020-06-09 \
-m 8

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章