Hive DDL（Data Definition Language）之創建表

具體還需要看官網文檔：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

語法

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
    [(col_name data_type [COMMENT col_comment], …)]
    [COMMENT table_comment]
    [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
    [CLUSTERED BY (col_name, col_name, …) [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
    [ROW FORMAT row_format]
    [STORED AS file_format]
    [LOCATION hdfs_path]

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
    LIKE existing_table_or_view_name
    [LOCATION hdfs_path];

說明：

• CREATE TABLE
  創建一個指定名字的表。如果相同名字的表已經存在，則拋出異常；用戶可以用 IF NOT EXISTS 選項來忽略這個異常。

• EXTERNAL
  關鍵字可以讓用戶創建一個外部表，在建表的同時指定一個指向實際數據的路徑（LOCATION），Hive 創建內部表時，會將數據移動到數據倉庫指向的路徑；若創建外部表，僅記錄數據所在的路徑，不對數據的位置做任何改變。在刪除表的時候，內部表的元數據和數據會被一起刪除，而外部表只刪除元數據，不刪除數據。

• ROW FORMAT
  DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
      [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
      | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]
  用戶在建表的時候可以自定義 SerDe 或者使用自帶的 SerDe。如果沒有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，將會使用自帶的 SerDe。在建表的時候，用戶還需要爲表指定列，用戶在指定表的列的同時也會指定自定義的 SerDe，Hive通過 SerDe 確定表的具體的列的數據。

• STORED AS
  SEQUENCEFILE|TEXTFILE|RCFILE
  如果文件數據是純文本，可以使用 STORED AS TEXTFILE。如果數據需要壓縮，使用 STORED AS SEQUENCEFILE。

• CLUSTERED BY
  對於每一個表（table）或者分區， Hive可以進一步組織成桶，也就是說桶是更爲細粒度的數據範圍劃分。Hive也是 針對某一列進行桶的組織。Hive採用對列值哈希，然後除以桶的個數求餘的方式決定該條記錄存放在哪個桶當中。
  把表（或者分區）組織成桶（Bucket）有兩個理由：
  （1）獲得更高的查詢處理效率。桶爲表加上了額外的結構，Hive 在處理有些查詢時能利用這個結構。具體而言，連接兩個在（包含連接列的）相同列上劃分了桶的表，可以使用 Map 端連接 （Map-side join）高效的實現。比如JOIN操作。對於JOIN操作兩個表有一個相同的列，如果對這兩個表都進行了桶操作。那麼將保存相同列值的桶進行JOIN操作就可以，可以大大較少JOIN的數據量。
  （2）使取樣（sampling）更高效。在處理大規模數據集時，在開發和修改查詢的階段，如果能在數據集的一小部分數據上試運行查詢，會帶來很多方便。

• LIKE 允許用戶複製現有的表結構，但是不復制數據。

---

---

創建表

CREATE TABLE IF NOT EXISTS T_PEOPLE(
    id    STRING,
    name  STRING,
    likes ARRAY<STRING>,
    addr  MAP<STRING, STRING>)
  PARTITIONED BY(dt STRING)
  ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    COLLECTION ITEMS TERMINATED BY ','
    MAP KEYS TERMINATED BY ':'
  STORED AS TEXTFILE;

查看錶詳細描述

數據準備

// 數據 2016-1-1
1   zs  game,girl,money stuAddr:chengdu,workAddr:beijing    2016-1-1
2   ls  game,girl,money stuAddr:changsha,workAddr:shanghai  2016-1-1
// 數據 2016-2-2
3   ww  gril,girl,money stuAddr:chengdu,workAddr:beijing    2016-2-2
4   zq  play,girl,money stuAddr:zhejiang,workAddr:zhejiang  2016-2-2

// 上傳數據到hdfs
[root@master zz]# hdfs dfs -put /home/tmp/people.txt /tmp
[root@master zz]# hdfs dfs -put /home/tmp/people2.txt /tmp

load data

方式①：load 本地數據
[root@master zz]# load data local inpath ‘/home/tmp/people.txt’ into table t_people partition (dt=’2016-1-1’);
[root@master zz]# load data local inpath ‘/home/tmp/people2.txt’ into table t_people partition (dt=’2016-2-2’);

方式②：load hdfs上的數據
[root@master zz]# load data inpath ‘/tmp/people.txt’ into table t_people partition (dt=’2016-1-1’);
[root@master zz]# load data inpath ‘/tmp/people2.txt’ into table t_people partition (dt=’2016-2-2’);

查詢數據

查詢所有數據

查詢name=’zs’的stuAddr

顯示所有的分區

---

---

創建帶結構體的表

create table if not exists t_worker(
    id   int,
    info struct<name:string, age:int>)
 row format delimited
   fields terminated by '\t'
   collection items terminated by ',';

--數據準備
1   wangl,28
2   zhaoq,29
3   lifei,27
4   liudr,24

--查詢結構體中的數據使用 *.*
select id, info.name, info.age from t_worker;

---

---

---

桶表（bucket）

桶表是對數據進行哈希取值，然後放到不同文件中存儲。

創建桶表

create table t_bucket(name string, age int) clustered by(age) into 4 buckets;

加載數據

set hive.enforce.bucketing = true;
insert into table t_bucket select name, age from t_emp;
insert overwrite table t_bucket select name, age from t_emp;

注意：從其他表查詢數據插入到桶表時注意匹配字段。
若字段不匹配則會出現下面的異常

數據加載到桶表時，會對字段取hash值，然後與桶的數量取模。把數據放到對應的文件中。
注意：
      物理上，每個桶就是表(或分區）目錄裏的一個文件
      一個作業產生的桶(輸出文件)和reduce任務個數相同

修改桶數

對 t_bucket 表修改爲：按照age分成10個桶，並按age排序
alter table t_bucket clustered by (age) sorted by (age) into 10 buckets;

抽樣

select * from t_bucket tablesample(bucket x out of y on age);
x：表示從哪個bucket開始抽取
y：是t_bucket總bucket數的倍數或者因子，當 y 的值越大抽樣出來的值越少

例如，table總bucket數爲32，tablesample(bucket 3 out of 16)，表示總共抽取（32/16=）2個bucket的數據，分別爲第3個bucket和第（3+16=）19個bucket的數據