文本文件数据导入
首先把文件转成csv的格式(推荐是csv,并不一定非要是csv,txt,excel也可以,但稳定性不如csv),字符编码推荐utf8
然后在资源管理里选择上传资源-,把你的文件上传到平台,例如叫demo.csv
上传完之后就可以写sql把数据导入到表里了(导入的目标表需要先建表,且结构与文本文件里的一致)
-- 文件路径在上图的复制资源路径里
load data '/user/datacompute/users/qiubiao.li/demo.csv'
-- 这个table名是系统临时表名,起到一个过渡的作用,即先导入临时表再导入到目的表
table tdl_spark_test
-- 文件以什么符合分割的就采取什么符号
options( delimiter=',');
-- 这个就是普通的overwrite语句了
insert overwrite table hhy_dw.cl_lx_liqb_tmp select * from tdl_spark_test ;
数据导出成文本文件
小数据量(1000以下),可直接点击平台上的导出按钮来导出,该方法仅适用于小数据量(各大数据平台都有自己的一套机制)
对于大数据量需要先在平台上导出成文件,再把文件download下来
导出文件sql
-- 建立临时表,跟导入不同的是,导入是系统表,该表是真的意义上的临时表,生命周期1天
create table tdl_0_0111 lifecycle 1
-- 下面这条语句是你想要导出的数据
select id,name from project.table1;
-- 导出数据到文件
export table tdl_0_0111 TO 'demo_export.csv' options(delimiter=',');
sql运行完毕后数据文件会在我的资源里,然后选择下载到本地就可以了