大數據hive數倉平臺如何通過文件導入導出數據

文本文件數據導入

首先把文件轉成csv的格式(推薦是csv,並不一定非要是csv,txt,excel也可以,但穩定性不如csv),字符編碼推薦utf8

然後在資源管理裏選擇上傳資源-,把你的文件上傳到平臺,例如叫demo.csv

上傳完之後就可以寫sql把數據導入到表裏了(導入的目標表需要先建表,且結構與文本文件裏的一致)

-- 文件路徑在上圖的複製資源路徑裏
load data '/user/datacompute/users/qiubiao.li/demo.csv' 
-- 這個table名是系統臨時表名,起到一個過渡的作用,即先導入臨時表再導入到目的表
table tdl_spark_test 
-- 文件以什麼符合分割的就採取什麼符號
options( delimiter=',');
-- 這個就是普通的overwrite語句了
insert overwrite table  hhy_dw.cl_lx_liqb_tmp   select * from tdl_spark_test ;

數據導出成文本文件

小數據量(1000以下),可直接點擊平臺上的導出按鈕來導出,該方法僅適用於小數據量(各大數據平臺都有自己的一套機制)

對於大數據量需要先在平臺上導出成文件,再把文件download下來

導出文件sql

-- 建立臨時表,跟導入不同的是,導入是系統表,該表是真的意義上的臨時表,生命週期1天
create table tdl_0_0111 lifecycle 1
-- 下面這條語句是你想要導出的數據
select id,name from project.table1;
-- 導出數據到文件
export table tdl_0_0111 TO 'demo_export.csv' options(delimiter=',');

sql運行完畢後數據文件會在我的資源裏,然後選擇下載到本地就可以了

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章