HIve 數據存儲的各種模式

Hive的數據分爲表數據和元數據,表數據是Hive中表格(table)具有的數據;而元數據是用來存儲表的名字,表的列和分區及其屬性,表的屬性(是否爲外部表等),表的數據所在目錄等。下面分別來介紹。

一、Hive的數據存儲

在讓你真正明白什麼是hive 博文中我們提到Hive是基於Hadoop分佈式文件系統的,它的數據存儲在Hadoop分佈式文件系統中。Hive本身是沒有專門的數據存儲格式,也沒有爲數據建立索引,只需要在創建表的時候告訴Hive數據中的列分隔符和行分隔符,Hive就可以解析數據。所以往Hive表裏面導入數據只是簡單的將數據移動到表所在的目錄中(如果數據是在HDFS上;但如果數據是在本地文件系統中,那麼是將數據複製到表所在的目錄中)。

Hive中主要包含以下幾種數據模型:Table(表),External Table(外部表),Partition(分區),Bucket(桶)(本博客會專門寫幾篇博文來介紹分區和桶)。

1、表:Hive中的表和關係型數據庫中的表在概念上很類似,每個表在HDFS中都有相應的目錄用來存儲表的數據,這個目錄可以通過${HIVE_HOME}/conf/hive-site.xml配置文件中的 hive.metastore.warehouse.dir屬性來配置,這個屬性默認的值是/user/hive/warehouse(這個目錄在 HDFS上),我們可以根據實際的情況來修改這個配置。如果我有一個表wyp,那麼在HDFS中會創建/user/hive/warehouse/wyp 目錄(這裏假定hive.metastore.warehouse.dir配置爲/user/hive/warehouse);wyp表所有的數據都存放在這個目錄中。這個例外是外部表。

2、外部表:Hive中的外部表和表很類似,但是其數據不是放在自己表所屬的目錄中,而是存放到別處,這樣的好處是如果你要刪除這個外部表,該外部表所指向的數據是不會被刪除的,它只會刪除外部表對應的元數據;而如果你要刪除表,該表對應的所有數據包括元數據都會被刪除。

3、分區:在Hive中,表的每一個分區對應表下的相應目錄,所有分區的數據都是存儲在對應的目錄中。比如wyp 表有dt和city兩個分區,則對應dt=20131218,city=BJ對應表的目錄爲/user/hive/warehouse /dt=20131218/city=BJ,所有屬於這個分區的數據都存放在這個目錄中。

4、桶:對指定的列計算其hash,根據hash值切分數據,目的是爲了並行,每一個桶對應一個文件(注意和分區的區別)。比如將wyp表id列分散至16個桶中,首先對id列的值計算hash,對應hash值爲0和16的數據存儲的HDFS目錄爲:/user /hive/warehouse/wyp/part-00000;而hash值爲2的數據存儲的HDFS 目錄爲:/user/hive/warehouse/wyp/part-00002。

來看下Hive數據抽象結構圖


從上圖可以看出,表是在數據庫下面,而表裏面又要分區、桶、傾斜的數據和正常的數據等;分區下面也是可以建立桶的。

二、Hive的元數據

Hive中的元數據包括表的名字,表的列和分區及其屬性,表的屬性(是否爲外部表等),表的數據所在目錄等。 由於Hive的元數據需要不斷的更新、修改,而HDFS系統中的文件是多讀少改的,這顯然不能將Hive的元數據存儲在HDFS中。目前Hive將元數據存儲在數據庫中,如Mysql、Derby中。我們可以通過以下的配置來修改Hive元數據的存儲方式


<property>   <name>javax.jdo.option.ConnectionURL</name>   <value>jdbc:mysql://localhost:3306/hive_hdp?characterEncoding=UTF-8                     &createDatabaseIfNotExist=true</value>   <description>JDBC connect string for a JDBC metastore</description> </property>   <property>   <name>javax.jdo.option.ConnectionDriverName</name>   <value>com.mysql.jdbc.Driver</value>   <description>Driver class name for a JDBC metastore</description> </property>   <property>   <name>javax.jdo.option.ConnectionUserName</name>   <value>root</value>   <description>username to use against metastore database</description> </property>   <property>   <name>javax.jdo.option.ConnectionPassword</name>   <value>123456</value>   <description>password to use against metastore database</description> </property>


當然,你還需要將相應數據庫的啓動複製到${HIVE_HOME}/lib目錄中,這樣才能將元數據存儲在對應的數據庫中


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章