Hive 中內部表與外部表的區別與創建方法

先來說下Hive中內部表與外部表的區別: 
Hive 創建內部表時,會將數據移動到數據倉庫指向的路徑;若創建外部表,僅記錄數據所在的路徑, 
不對數據的位置做任何改變。在刪除表的時候,內部表的元數據和數據會被一起刪除, 
而外部表只刪除元數據,不刪除數據。這樣外部表相對來說更加安全些,數據組織也更加靈活,方便共享源數據。 

需要注意的是傳統數據庫對錶數據驗證是 schema on write(寫時模式),而 Hive 在load時是不檢查數據是否 
符合schema的,hive 遵循的是 schema on read(讀時模式),只有在讀的時候hive才檢查、解析具體的 
數據字段、schema。 
讀時模式的優勢是load data 非常迅速,因爲它不需要讀取數據進行解析,僅僅進行文件的複製或者移動。 
寫時模式的優勢是提升了查詢性能,因爲預先解析之後可以對列建立索引,並壓縮,但這樣也會花費要多的加載時間。 

下面來看下 Hive 如何創建內部表: 
1 create table test(userid string);
2 LOAD DATA INPATH '/tmp/result/20121213' INTO TABLE test partition(ptDate='20121213');
這個很簡單,不多說了,下面看下外部表: 
01 hadoop fs -ls /tmp/result/20121214
02 Found 2 items
03 -rw-r--r--   3 june supergroup       1240 2012-12-26 17:15 /tmp/result/20121214/part-00000
04 -rw-r--r--   1 june supergroup       1240 2012-12-26 17:58 /tmp/result/20121214/part-00001
05 -- 建表
06 create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07 -- 建立分區表,利用分區表的特性加載多個目錄下的文件,並且分區字段可以作爲where條件,更爲重要的是
08 -- 這種加載數據的方式是不會移動數據文件的,這點和 load data 不同,後者會移動數據文件至數據倉庫目錄。
09 alter table test add partition (ptDate='20121214') location '/tmp/result/20121214';
10 -- 注意目錄20121214最後不要畫蛇添足加 /*,我就是linux shell用多了,加了這玩意,調試了一下午。。。

注意:location後面跟的是目錄,不是文件,hive會把整個目錄下的文件都加載到表中:

1 create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age intname string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';

否則,會報錯誤:

FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException java.io.FileNotFoundException: Parent path is not a directory: /hive/dw/record_2013-04-04.txt

最後提下還有一種方式是建表的時候就指定外部表的數據源路徑,

但這樣的壞處是隻能加載一個數據源了:

CREATE EXTERNAL TABLE sunwg_test09(id INT, name string) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘\t’ 
LOCATION ‘/sunwg/test08′; 
上面的語句創建了一張名字爲sunwg_test09的外表,該表有id和name兩個字段, 
字段的分割符爲tab,文件的數據文件夾爲/sunwg/test08 
select * from sunwg_test09; 
可以查詢到sunwg_test09中的數據。 
在當前用戶hive的根目錄下找不到sunwg_test09文件夾。 
此時hive將該表的數據文件信息保存到metadata數據庫中。 
mysql> select * from TBLS where TBL_NAME=’sunwg_test09′; 
可以看到該表的類型爲EXTERNAL_TABLE。 
mysql> select * from SDS where SD_ID=TBL_ID; 
在表SDS中記錄了表sunwg_test09的數據文件路徑爲hdfs://hadoop00:9000/hjl/test08。 
# hjl爲hive的數據庫名 

實際上外表不光可以指定hdfs的目錄,本地的目錄也是可以的。 
比如: 
CREATE EXTERNAL TABLE test10(id INT, name string) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘\t’ 

LOCATION ‘file:////home/hjl/sunwg/’;

推薦閱讀:

hive中partition如何使用
http://p-x1984.iteye.com/blog/1156408
用正則表達式匹配w3c日誌,導入hive
http://essen.iteye.com/blog/1720491
hive中的外表EXTERNAL TABLE

http://www.oratea.net/?p=489

HIVE 數據定義 DDL

http://www.kaixinwenda.com/article-iquicksandi-8522691.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章