Hive 隨談（四）– Hive QL
Hive 的官方文檔中對查詢語言有了很詳細的描述，請參考：http://wiki.apache.org/hadoop/Hive/LanguageManual ，本文的內容大部分翻譯自該頁面，期間加入了一些在使用過程中需要注意到的事項。
Create Table
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path]
CREATE TABLE 創建一個指定名字的表。如果相同名字的表已經存在，則拋出異常；用戶可以用 IF NOT EXIST 選項來忽略這個異常。
EXTERNAL 關鍵字可以讓用戶創建一個外部表，在建表的同時指定一個指向實際數據的路徑（LOCATION），Hive 創建內部表時，會將數據移動到數據倉庫指向的路徑；若創建外部表，僅記錄數據所在的路徑，不對數據的位置做任何改變。在刪除表的時候，內部表的元數據和數據會被一起刪除，而外部表只刪除元數據，不刪除數據。
LIKE 允許用戶複製現有的表結構，但是不復制數據。
用戶在建表的時候可以自定義 SerDe 或者使用自帶的 SerDe。如果沒有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，將會使用自帶的 SerDe。在建表的時候，用戶還需要爲表指定列，用戶在指定表的列的同時也會指定自定義的 SerDe，Hive 通過 SerDe 確定表的具體的列的數據。
如果文件數據是純文本，可以使用 STORED AS TEXTFILE。如果數據需要壓縮，使用 STORED AS SEQUENCE 。
有分區的表可以在創建的時候使用 PARTITIONED BY 語句。一個表可以擁有一個或者多個分區，每一個分區單獨存在一個目錄下。而且，表和分區都可以對某個列進行 CLUSTERED BY 操作，將若干個列放入一個桶（bucket）中。也可以利用SORT BY 對數據進行排序。這樣可以爲特定應用提高性能。
表名和列名不區分大小寫，SerDe 和屬性名區分大小寫。表和列的註釋是字符串。
Drop Table
刪除一個內部表的同時會同時刪除表的元數據和數據。刪除一個外部表，只刪除元數據而保留數據。
Alter Table
Alter table 語句允許用戶改變現有表的結構。用戶可以增加列/分區，改變serde，增加表和 serde 熟悉，表本身重命名。
Add Partitions
ALTER TABLE table_name ADD partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ... partition_spec: : PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)
用戶可以用 ALTER TABLE ADD PARTITION 來向一個表中增加分區。當分區名是字符串時加引號。
ALTER TABLE page_view ADD PARTITION (dt='2008-08-08', country='us') location '/path/to/us/part080808' PARTITION (dt='2008-08-09', country='us') location '/path/to/us/part080809';
DROP PARTITION
ALTER TABLE table_name DROP partition_spec, partition_spec,...
用戶可以用 ALTER TABLE DROP PARTITION 來刪除分區。分區的元數據和數據將被一併刪除。
ALTER TABLE page_view DROP PARTITION (dt='2008-08-08', country='us');
RENAME TABLE
ALTER TABLE table_name RENAME TO new_table_name
這個命令可以讓用戶爲表更名。數據所在的位置和分區名並不改變。換而言之，老的表名並未“釋放”，對老表的更改會改變新表的數據。
Change Column Name/Type/Position/Comment
ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]
這個命令可以允許用戶修改一個列的名稱、數據類型、註釋或者位置。
比如：
CREATE TABLE test_change (a int, b int, c int);
ALTER TABLE test_change CHANGE a a1 INT; 將 a 列的名字改爲 a1.
ALTER TABLE test_change CHANGE a a1 STRING AFTER b; 將 a 列的名字改爲 a1，a 列的數據類型改爲 string，並將它放置在列 b 之後。新的表結構爲：
b int, a1 string, c int.
ALTER TABLE test_change CHANGE b b1 INT FIRST; 會將 b 列的名字修改爲 b1, 並將它放在第一列。新表的結構爲： b1 int, a string,
c int.
注意：對列的改變只會修改 Hive 的元數據，而不會改變實際數據。用戶應該確定保證元數據定義和實際數據結構的一致性。
Add/Replace Columns
ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
ADD COLUMNS 允許用戶在當前列的末尾增加新的列，但是在分區列之前。
REPLACE COLUMNS 刪除以後的列，加入新的列。只有在使用 native 的 SerDE（DynamicSerDe or MetadataTypeColumnsetSerDe）的時候纔可以這麼做。
Alter Table Properties
ALTER TABLE table_name SET TBLPROPERTIES table_properties table_properties: : (property_name = property_value, property_name = property_value, ... )
用戶可以用這個命令向表中增加 metadata，目前 last_modified_user，last_modified_time 屬性都是由 Hive 自動管理的。用戶可以向列表中增加自己的屬性。可以使用 DESCRIBE EXTENDED TABLE 來獲得這些信息。
Add Serde Properties
ALTER TABLE table_name SET SERDE serde_class_name [WITH SERDEPROPERTIES serde_properties] ALTER TABLE table_name SET SERDEPROPERTIES serde_properties serde_properties: : (property_name = property_value, property_name = property_value, ... )
這個命令允許用戶向 SerDe 對象增加用戶定義的元數據。Hive 爲了序列化和反序列化數據，將會初始化 SerDe 屬性，並將屬性傳給表的 SerDe。如此，用戶可以爲自定義的 SerDe 存儲屬性。
Alter Table File Format and Organization
ALTER TABLE table_name SET FILEFORMAT file_format ALTER TABLE table_name CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name, ...)] INTO num_buckets BUCKETS
這個命令修改了表的物理存儲屬性。
Loading files into table
當數據被加載至表中時，不會對數據進行任何轉換。Load 操作只是將數據複製/移動至 Hive 表對應的位置。
Syntax:
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
Synopsis:
Load 操作只是單純的複製/移動操作，將數據文件移動到 Hive 表對應的位置。
-
filepath 可以是：
- 相對路徑，例如：project/data1
- 絕對路徑，例如： /user/hive/project/data1
- 包含模式的完整 URI，例如：hdfs://namenode:9000/user/hive/project/data1
- 加載的目標可以是一個表或者分區。如果表包含分區，必須指定每一個分區的分區名。
- filepath 可以引用一個文件（這種情況下，Hive 會將文件移動到表所對應的目錄中）或者是一個目錄（在這種情況下，Hive 會將目錄中的所有文件移動至表所對應的目錄中）。
-
如果指定了 LOCAL，那麼：
- load 命令會去查找本地文件系統中的 filepath。如果發現是相對路徑，則路徑會被解釋爲相對於當前用戶的當前路徑。用戶也可以爲本地文件指定一個完整的 URI，比如：file:///user/hive/project/data1.
- load 命令會將 filepath 中的文件複製到目標文件系統中。目標文件系統由表的位置屬性決定。被複制的數據文件移動到表的數據對應的位置。
-
如果沒有指定 LOCAL 關鍵字，如果 filepath 指向的是一個完整的 URI，hive 會直接使用這個 URI。 否則：
- 如果沒有指定 schema 或者 authority，Hive 會使用在 hadoop 配置文件中定義的 schema 和 authority，fs.default.name 指定了 Namenode 的 URI。
- 如果路徑不是絕對的，Hive 相對於 /user/ 進行解釋。
- Hive 會將 filepath 中指定的文件內容移動到 table （或者 partition）所指定的路徑中。
- 如果使用了 OVERWRITE 關鍵字，則目標表（或者分區）中的內容（如果有）會被刪除，然後再將 filepath 指向的文件/目錄中的內容添加到表/分區中。
- 如果目標表（分區）已經有一個文件，並且文件名和 filepath 中的文件名衝突，那麼現有的文件會被新文件所替代。
SELECT
Syntax
SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY col_list] ] [LIMIT number]
- 一個SELECT語句可以是一個union查詢或一個子查詢的一部分。
- table_reference是查詢的輸入，可以是一個普通表、一個視圖、一個join或一個子查詢
- 簡單查詢。例如，下面這一語句從t1表中查詢所有列的信息。
SELECT * FROM t1
WHERE Clause
where condition 是一個布爾表達式。例如，下面的查詢語句只返回銷售記錄大於 10，且歸屬地屬於美國的銷售代表。Hive 不支持在WHERE 子句中的 IN，EXIST 或子查詢。
SELECT * FROM sales WHERE amount > 10 AND region = "US"
ALL and DISTINCT Clauses
使用ALL和DISTINCT選項區分對重複記錄的處理。默認是ALL，表示查詢所有記錄。DISTINCT表示去掉重複的記錄。
hive> SELECT col1, col2 FROM t1 1 3 1 3 1 4 2 5 hive> SELECT DISTINCT col1, col2 FROM t1 1 3 1 4 2 5 hive> SELECT DISTINCT col1 FROM t1 1 2
基於Partition的查詢
一般 SELECT 查詢會掃描整個表（除非是爲了抽樣查詢）。但是如果一個表使用 PARTITIONED BY 子句建表，查詢就可以利用分區剪枝（input pruning）的特性，只掃描一個表中它關心的那一部分。Hive 當前的實現是，只有分區斷言出現在離 FROM 子句最近的那個WHERE 子句中，纔會啓用分區剪枝。例如，如果 page_views 表使用 date 列分區，以下語句只會讀取分區爲‘2008-03-01’的數據。
SELECT page_views.* FROM page_views WHERE page_views.date >= '2008-03-01' AND page_views.date <= '2008-03-31';
HAVING Clause
Hive 現在不支持 HAVING 子句。可以將 HAVING 子句轉化爲一個字查詢，例如：
SELECT col1 FROM t1 GROUP BY col1 HAVING SUM(col2) > 10
可以用以下查詢來表達：
SELECT col1 FROM (SELECT col1, SUM(col2) AS col2sum FROM t1 GROUP BY col1) t2 WHERE t2.col2sum > 10
LIMIT Clause
Limit 可以限制查詢的記錄數。查詢的結果是隨機選擇的。下面的查詢語句從 t1 表中隨機查詢5條記錄：
SELECT * FROM t1 LIMIT 5
Top k 查詢。下面的查詢語句查詢銷售記錄最大的 5 個銷售代表。
SET mapred.reduce.tasks = 1 SELECT * FROM sales SORT BY amount DESC LIMIT 5
REGEX Column Specification
SELECT 語句可以使用正則表達式做列選擇，下面的語句查詢除了 ds 和 hr 之外的所有列：
SELECT `(ds|hr)?+.+` FROM sales
Join
Syntax
join_table: table_reference JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI JOIN table_reference join_condition table_reference: table_factor | join_table table_factor: tbl_name [alias] | table_subquery alias | ( table_references ) join_condition: ON equality_expression ( AND equality_expression )* equality_expression: expression = expression
Hive 只支持等值連接（equality joins）、外連接（outer joins）和（left semi joins???）。Hive 不支持所有非等值的連接，因爲非等值連接非常難轉化到 map/reduce 任務。另外，Hive 支持多於 2 個表的連接。
寫 join 查詢時，需要注意幾個關鍵點：
1. 只支持等值join，例如：
SELECT a.* FROM a JOIN b ON (a.id = b.id) SELECT a.* FROM a JOIN b ON (a.id = b.id AND a.department = b.department)
是正確的，然而:
SELECT a.* FROM a JOIN b ON (a.id b.id)
是錯誤的。
2. 可以 join 多於 2 個表，例如
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)
如果join中多個表的 join key 是同一個，則 join 會被轉化爲單個 map/reduce 任務，例如：
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)
被轉化爲單個 map/reduce 任務，因爲 join 中只使用了 b.key1 作爲 join key。
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)
而這一 join 被轉化爲 2 個 map/reduce 任務。因爲 b.key1 用於第一次 join 條件，而 b.key2 用於第二次 join。
join 時，每次 map/reduce 任務的邏輯是這樣的：reducer 會緩存 join 序列中除了最後一個表的所有表的記錄，再通過最後一個表將結果序列化到文件系統。這一實現有助於在 reduce 端減少內存的使用量。實踐中，應該把最大的那個表寫在最後（否則會因爲緩存浪費大量內存）。例如：
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)
所有表都使用同一個 join key（使用 1 次 map/reduce 任務計算）。Reduce 端會緩存 a 表和 b 表的記錄，然後每次取得一個 c 表的記錄就計算一次 join 結果，類似的還有：
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)
這裏用了 2 次 map/reduce 任務。第一次緩存 a 表，用 b 表序列化；第二次緩存第一次 map/reduce 任務的結果，然後用 c 表序列化。
LEFT，RIGHT 和 FULL OUTER 關鍵字用於處理 join 中空記錄的情況，例如：
SELECT a.val, b.val FROM a LEFT OUTER JOIN b ON (a.key=b.key)
對應所有 a 表中的記錄都有一條記錄輸出。輸出的結果應該是 a.val, b.val，當 a.key=b.key 時，而當 b.key 中找不到等值的 a.key 記錄時也會輸出 a.val, NULL。“FROM a LEFT OUTER JOIN b”這句一定要寫在同一行——意思是 a 表在 b 表的左邊，所以 a 表中的所有記錄都被保留了；“a RIGHT OUTER JOIN b”會保留所有 b 表的記錄。OUTER JOIN 語義應該是遵循標準 SQL spec的。
Join 發生在 WHERE 子句之前。如果你想限制 join 的輸出，應該在 WHERE 子句中寫過濾條件——或是在 join 子句中寫。這裏面一個容易混淆的問題是表分區的情況：
SELECT a.val, b.val FROM a LEFT OUTER JOIN b ON (a.key=b.key) WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'
會 join a 表到 b 表（OUTER JOIN），列出 a.val 和 b.val 的記錄。WHERE 從句中可以使用其他列作爲過濾條件。但是，如前所述，如果 b 表中找不到對應 a 表的記錄，b 表的所有列都會列出 NULL，包括 ds 列。也就是說，join 會過濾 b 表中不能找到匹配 a 表 join key 的所有記錄。這樣的話，LEFT OUTER 就使得查詢結果與 WHERE 子句無關了。解決的辦法是在 OUTER JOIN 時使用以下語法：
SELECT a.val, b.val FROM a LEFT OUTER JOIN b ON (a.key=b.key AND b.ds='2009-07-07' AND a.ds='2009-07-07')
這一查詢的結果是預先在 join 階段過濾過的，所以不會存在上述問題。這一邏輯也可以應用於 RIGHT 和 FULL 類型的 join 中。
Join 是不能交換位置的。無論是 LEFT 還是 RIGHT join，都是左連接的。
SELECT a.val1, a.val2, b.val, c.val FROM a JOIN b ON (a.key = b.key) LEFT OUTER JOIN c ON (a.key = c.key)
先 join a 表到 b 表，丟棄掉所有 join key 中不匹配的記錄，然後用這一中間結果和 c 表做 join。這一表述有一個不太明顯的問題，就是當一個 key 在 a 表和 c 表都存在，但是 b 表中不存在的時候：整個記錄在第一次 join，即 a JOIN b 的時候都被丟掉了（包括a.val1，a.val2和a.key），然後我們再和 c 表 join 的時候，如果 c.key 與 a.key 或 b.key 相等，就會得到這樣的結果：NULL, NULL, NULL, c.val。
LEFT SEMI JOIN 是 IN/EXISTS 子查詢的一種更高效的實現。Hive 當前沒有實現 IN/EXISTS 子查詢，所以你可以用 LEFT SEMI JOIN 重寫你的子查詢語句。LEFT SEMI JOIN 的限制是， JOIN 子句中右邊的表只能在 ON 子句中設置過濾條件，在 WHERE 子句、SELECT 子句或其他地方過濾都不行。
SELECT a.key, a.value FROM a WHERE a.key in (SELECT b.key FROM B);
可以被重寫爲：
SELECT a.key, a.val FROM a LEFT SEMI JOIN b on (a.key = b.key)