大数据hive数仓平台如何通过文件导入导出数据

文本文件数据导入

首先把文件转成csv的格式(推荐是csv,并不一定非要是csv,txt,excel也可以,但稳定性不如csv),字符编码推荐utf8

然后在资源管理里选择上传资源-,把你的文件上传到平台,例如叫demo.csv

上传完之后就可以写sql把数据导入到表里了(导入的目标表需要先建表,且结构与文本文件里的一致)

-- 文件路径在上图的复制资源路径里
load data '/user/datacompute/users/qiubiao.li/demo.csv' 
-- 这个table名是系统临时表名,起到一个过渡的作用,即先导入临时表再导入到目的表
table tdl_spark_test 
-- 文件以什么符合分割的就采取什么符号
options( delimiter=',');
-- 这个就是普通的overwrite语句了
insert overwrite table  hhy_dw.cl_lx_liqb_tmp   select * from tdl_spark_test ;

数据导出成文本文件

小数据量(1000以下),可直接点击平台上的导出按钮来导出,该方法仅适用于小数据量(各大数据平台都有自己的一套机制)

对于大数据量需要先在平台上导出成文件,再把文件download下来

导出文件sql

-- 建立临时表,跟导入不同的是,导入是系统表,该表是真的意义上的临时表,生命周期1天
create table tdl_0_0111 lifecycle 1
-- 下面这条语句是你想要导出的数据
select id,name from project.table1;
-- 导出数据到文件
export table tdl_0_0111 TO 'demo_export.csv' options(delimiter=',');

sql运行完毕后数据文件会在我的资源里,然后选择下载到本地就可以了

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章