文本文件數據導入
首先把文件轉成csv的格式(推薦是csv,並不一定非要是csv,txt,excel也可以,但穩定性不如csv),字符編碼推薦utf8
然後在資源管理裏選擇上傳資源-,把你的文件上傳到平臺,例如叫demo.csv
上傳完之後就可以寫sql把數據導入到表裏了(導入的目標表需要先建表,且結構與文本文件裏的一致)
-- 文件路徑在上圖的複製資源路徑裏
load data '/user/datacompute/users/qiubiao.li/demo.csv'
-- 這個table名是系統臨時表名,起到一個過渡的作用,即先導入臨時表再導入到目的表
table tdl_spark_test
-- 文件以什麼符合分割的就採取什麼符號
options( delimiter=',');
-- 這個就是普通的overwrite語句了
insert overwrite table hhy_dw.cl_lx_liqb_tmp select * from tdl_spark_test ;
數據導出成文本文件
小數據量(1000以下),可直接點擊平臺上的導出按鈕來導出,該方法僅適用於小數據量(各大數據平臺都有自己的一套機制)
對於大數據量需要先在平臺上導出成文件,再把文件download下來
導出文件sql
-- 建立臨時表,跟導入不同的是,導入是系統表,該表是真的意義上的臨時表,生命週期1天
create table tdl_0_0111 lifecycle 1
-- 下面這條語句是你想要導出的數據
select id,name from project.table1;
-- 導出數據到文件
export table tdl_0_0111 TO 'demo_export.csv' options(delimiter=',');
sql運行完畢後數據文件會在我的資源裏,然後選擇下載到本地就可以了