交流QQ: 824203453

歡迎訪問博主個人主頁：http://www.oldsheep.cn

Hive查詢

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select

[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0)

SELECT [ALL | DISTINCT] select_expr, select_expr, ...

FROM table_reference

[WHERE where_condition]

[GROUP BY col_list]

[ORDER BY col_list]

[CLUSTER BY col_list

| [DISTRIBUTE BY col_list] [SORT BY col_list]

]

[LIMIT number]

Hive查詢主要可以分爲三種模型：

逐行運算模型，分組模型，關聯查詢模型

基本查詢（Select…From）

全表和特定列查詢

全表查詢

hive (default)> select * from emp;

選擇特定列查詢

hive (default)> select empno, ename from emp;

注意：

SQL 語言大小寫不敏感。

SQL 可以寫在一行或者多行

關鍵字不能被縮寫也不能分行

各子句一般要分行寫。

使用縮進提高語句的可讀性。

列別名

重命名一個列。

便於計算。

緊跟列名，也可以在列名和別名之間加入關鍵字‘AS’

案例實操

查詢名稱和部門

hive (default)> select ename AS name, deptno dn from emp;

算術運算符

運算符	描述
A+B	A和B 相加
A-B	A減去B
A*B	A和B 相乘
A/B	A除以B
A%B	A對B取餘
A&B	A和B按位取與
A\|B	A和B按位取或
A^B	A和B按位取異或
~A	A按位取反

案例實操

查詢出所有員工的薪水後加1顯示。

hive (default)> select sal +1 from emp;

常用函數

求總行數（count）
hive (default)> select count(*) cnt from emp;

求工資的最大值（max）
hive (default)> select max(sal) max_sal from emp;

求工資的最小值（min）
hive (default)> select min(sal) min_sal from emp;

求工資的總和（sum）
hive (default)> select sum(sal) sum_sal from emp;

求工資的平均值（avg）
hive (default)> select avg(sal) avg_sal from emp;

Limit語句

典型的查詢會返回多行數據。LIMIT子句用於限制返回的行數。

hive (default)> select * from emp limit 5;

Where語句

使用WHERE子句，將不滿足條件的行過濾掉。

WHERE子句緊隨FROM子句。

案例實操

查詢出薪水大於1000的所有員工

hive (default)> select * from emp where sal >1000;

比較運算符（Between/In/ Is Null）

下面表中描述了謂詞操作符，這些操作符同樣可以用於JOIN…ON和HAVING語句中。

操作符	支持的數據類型	描述
A=B	基本數據類型	如果A等於B則返回TRUE，反之返回FALSE
A<=>B	基本數據類型	如果A和B都爲NULL，則返回TRUE，其他的和等號（=）操作符的結果一致，如果任一爲NULL則結果爲NULL
A<>B, A!=B	基本數據類型	A或者B爲NULL則返回NULL；如果A不等於B，則返回TRUE，反之返回FALSE
A<B	基本數據類型	A或者B爲NULL，則返回NULL；如果A小於B，則返回TRUE，反之返回FALSE
A<=B	基本數據類型	A或者B爲NULL，則返回NULL；如果A小於等於B，則返回TRUE，反之返回FALSE
A>B	基本數據類型	A或者B爲NULL，則返回NULL；如果A大於B，則返回TRUE，反之返回FALSE
A>=B	基本數據類型	A或者B爲NULL，則返回NULL；如果A大於等於B，則返回TRUE，反之返回FALSE
A [NOT] BETWEEN B AND C	基本數據類型	如果A，B或者C任一爲NULL，則結果爲NULL。如果A的值大於等於B而且小於或等於C，則結果爲TRUE，反之爲FALSE。如果使用NOT關鍵字則可達到相反的效果。
A IS NULL	所有數據類型	如果A等於NULL，則返回TRUE，反之返回FALSE
A IS NOT NULL	所有數據類型	如果A不等於NULL，則返回TRUE，反之返回FALSE
IN(數值1, 數值2)	所有數據類型	使用 IN運算顯示列表中的值
A [NOT] LIKE B	STRING 類型	B是一個SQL下的簡單正則表達式，如果A與其匹配的話，則返回TRUE；反之返回FALSE。B的表達式說明如下：‘x%’表示A必須以字母‘x’開頭，‘%x’表示A必須以字母’x’結尾，而‘%x%’表示A包含有字母’x’,可以位於開頭，結尾或者字符串中間。如果使用NOT關鍵字則可達到相反的效果。
A RLIKE B, A REGEXP B	STRING 類型	B是一個正則表達式，如果A與其匹配，則返回TRUE；反之返回FALSE。匹配使用的是JDK中的正則表達式接口實現的，因爲正則也依據其中的規則。例如，正則表達式必須和整個字符串A相匹配，而不是隻需與其字符串匹配。

2）案例實操

查詢出薪水等於5000的所有員工
hive (default)> select * from emp where sal =5000;

（2）查詢工資在500到1000的員工信息
hive (default)> select * from emp where sal between 500 and 1000;

（3）查詢comm爲空的所有員工信息
hive (default)> select * from emp where comm is null;

（4）查詢工資是1500和5000的員工信息
hive (default)> select * from emp where sal IN (1500, 5000);

Like和RLike

使用LIKE運算選擇類似的值

選擇條件可以包含字符或數字:

% 代表零個或多個字符(任意個字符)。

_ 代表一個字符。

3）RLIKE子句是Hive中這個功能的一個擴展，其可以通過Java的正則表達式這個更強大的語言來指定匹配條件。

4）案例實操

查找以2開頭薪水的員工信息
hive (default)> select * from emp where sal LIKE '2%';

（2）查找第二個數值爲2的薪水的員工信息
hive (default)> select * from emp where sal LIKE '_2%';

（3）查找薪水中含有2的員工信息
hive (default)> select * from emp where sal RLIKE '[2]';

邏輯運算符（And/Or/Not）

操作符	含義
AND	邏輯並
OR	邏輯或
NOT	邏輯否

案例實操

查詢薪水大於1000，部門是30
hive (default)> select * from emp where sal>1000 and deptno=30;

（2）查詢薪水大於1000，或者部門是30
hive (default)> select * from emp where sal>1000 or deptno=30;

（3）查詢除了20部門和30部門以外的員工信息
hive (default)> select * from emp where deptno not IN(30, 20);

分組

Group By語句

GROUP BY語句通常會和聚合函數一起使用，按照一個或者多個列隊結果進行分組，然後對每個組執行聚合操作。

案例實操：

計算emp表每個部門的平均工資
hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno;

（2）計算emp每個部門中每個崗位的最高薪水
hive (default)> select t.deptno, t.job, max(t.sal) max_sal from emp t group by t.deptno, t.job;

Having語句

having與where不同點

where針對表中的列發揮作用，查詢數據；having針對查詢結果中的列發揮作用，篩選數據。

where後面不能寫分組函數，而having後面可以使用分組函數。

having只用於group by分組統計語句。

案例實操：

求每個部門的平均薪水大於2000的部門

求每個部門的平均工資
hive (default)> select deptno, avg(sal) from emp group by deptno;

求每個部門的平均薪水大於2000的部門
hive (default)> select deptno, avg(sal) avg_sal from emp group by deptno having avg_sal > 2000;

注意：一旦有group by子句，那麼，在select子句中就不能有（分組字段，聚合函數）以外的字段

## 爲什麼where必須寫在group by的前面，爲什麼group by後面的條件只能用having

因爲，where是用於在真正執行查詢邏輯之前過濾數據用的

having是對group by聚合之後的結果進行再過濾；

上述語句的執行邏輯：

where過濾不滿足條件的數據
用聚合函數和group by進行數據運算聚合，得到聚合結果
用having條件過濾掉聚合結果中不滿足條件的數據

Join語句

等值Join

Hive支持通常的SQL JOIN語句，但是只支持等值連接，不支持非等值連接。

案例實操

根據員工表和部門表中的部門編號相等，查詢員工編號、員工名稱和部門編號；

hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;

表的別名

好處

使用別名可以簡化查詢。

使用表名前綴可以提高執行效率。

案例實操

合併員工表和部門表

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;

內連接

內連接：只有進行連接的兩個表中都存在與連接條件相匹配的數據纔會被保留下來。

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;

左外連接

左外連接：JOIN操作符左邊表中符合WHERE子句的所有記錄將會被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e left join dept d on e.deptno = d.deptno;

左半連接

左半連接：只返回join連接兩個表後產生的數據中的左半部分

hive舊版本中不支持exist/IN子查詢，可以用left semi join來實現同樣的效果。

hive (default)> select a.name as aname, a.numb as anumb from t_a a  left semi join t_b b on a.name=b.name;

右外連接

右外連接：JOIN操作符右邊表中符合WHERE子句的所有記錄將會被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e right join dept d on e.deptno = d.deptno;

全外連接

滿外連接：將會返回所有表中符合WHERE語句條件的所有記錄。如果任一表的指定字段沒有符合條件的值的話，那麼就使用NULL值替代。

hive (default)> select e.empno, e.ename, d.deptno from emp e full join dept d on e.deptno = d.deptno;

多表連接

注意：連接 n個表，至少需要n-1個連接條件。例如：連接三個表，至少需要兩個連接條件。

數據準備

1700 Beijing
1800 London
1900 Tokyo

創建表

create table if not exists default.location(
loc int,
loc_name string
)
row format delimited fields terminated by '\t';

導入數據

hive (default)> load data local inpath '/opt/module/datas/location.txt' into table default.location;

多表連接查詢

hive (default)>SELECT e.ename, d.deptno, l. loc_name
FROM   emp e
JOIN   dept d
ON     d.deptno = e.deptno
JOIN   location l
ON     d.loc = l.loc;

大多數情況下，Hive會對每對JOIN連接對象啓動一個MapReduce任務。本例中會首先啓動一個MapReduce job對錶e和表d進行連接操作，然後會再啓動一個MapReduce job將第一個MapReduce job的輸出和表l;進行連接操作。

注意：爲什麼不是表d和表l先進行連接操作呢？這是因爲Hive總是按照從左到右的順序執行的。

笛卡爾積

笛卡爾集會在下面條件下產生:

省略連接條件

連接條件無效

所有表中的所有行互相連接

案例實操

hive (default)> select empno, deptno from emp, dept;
FAILED: SemanticException Column deptno Found in more than One Tables/Subqueries

連接謂詞中不支持or

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno or e.ename=d.ename;   錯誤的

排序

全局排序（Order By）

Order By：全局排序，一個MapReduce

使用 ORDER BY 子句排序

ASC（ascend）: 升序（默認）

DESC（descend）: 降序

ORDER BY 子句在SELECT語句的結尾。

案例實操

   查詢員工信息按工資升序排列
hive (default)> select * from emp order by sal;

（2）查詢員工信息按工資降序排列
hive (default)> select * from emp order by sal desc;

按照別名排序

按照員工薪水的2倍排序

hive (default)> select ename, sal*2 twosal from emp order by twosal;

多個列排序

按照部門和工資升序排序

hive (default)> select ename, deptno, sal from emp order by deptno, sal ;

每個MapReduce內部排序（Sort By）

Sort By：每個MapReduce內部進行排序，對全局結果集來說不是排序。

設置reduce個數
hive (default)> set mapreduce.job.reduces=3;

2）查看設置reduce個數
hive (default)> set mapreduce.job.reduces;

3）根據部門編號降序查看員工信息
hive (default)> select * from emp sort by empno desc;

將查詢結果導入到文件中（按照部門編號降序排序）
hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result' select * from emp sort by deptno desc;

分區排序（Distribute By）

Distribute By：類似MR中partition，進行分區，結合sort by使用。

注意，Hive要求DISTRIBUTE BY語句要寫在SORT BY語句之前。

對於distribute by進行測試，一定要分配多reduce進行處理，否則無法看到distribute by的效果。

案例實操：

先按照部門編號分區，再按照員工編號降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

Cluster By

當distribute by和sorts by字段相同時，可以使用cluster by方式。

cluster by除了具有distribute by的功能外還兼具sort by的功能。但是排序只能是倒序排序，不能指定排序規則爲ASC或者DESC。

以下兩種寫法等價

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

注意：按照部門編號分區，不一定就是固定死的數值，可以是20號和30號部門分到一個分區裏面去。

分桶及抽樣查詢

分桶表數據存儲

分區針對的是數據的存儲路徑；分桶針對的是數據文件。

分區提供一個隔離數據和優化查詢的便利方式。不過，並非所有的數據集都可形成合理的分區，特別是之前所提到過的要確定合適的劃分大小這個疑慮。

分桶是將數據集分解成更容易管理的若干部分的另一個技術。

先創建分桶表，通過直接導入數據文件的方式

數據準備：

1001 ss1
1002 ss2
1003 ss3
1004 ss4
1005 ss5
…

創建分桶表

create table stu_buck(id int, name string)
clustered by(id)
into 4 buckets
row format delimited fields terminated by '\t';

查看錶結構

create table stu_buck(id int, name string)
clustered by(id)
into 4 buckets
row format delimited fields terminated by '\t';

Num Buckets: 4

導入數據到分桶表中

hive (default)> load data local inpath '/opt/module/datas/student.txt' into table stu_buck;

查看創建的分桶表中是否分成4個桶，發現並沒有分成4個桶。是什麼原因呢？

2）創建分桶表時，數據通過子查詢的方式導入

（1）先建一個普通的stu表

create table stu(id int, name string) row format delimited fields terminated by '\t';

（2）向普通的stu表中導入數據

load data local inpath '/opt/module/datas/student.txt' into table stu;

清空stu_buck表中數據

truncate table stu_buck;
select * from stu_buck;

導入數據到分桶表，通過子查詢的方式

insert into table stu_buck
select id, name from stu;

發現還是隻有一個分桶

注意：需要設置一個屬性 set hive.enforce.bucketing=true;

hive (default)> set hive.enforce.bucketing=true;
hive (default)> set mapreduce.job.reduces=-1;
hive (default)> insert into table stu_buck
select id, name from stu;

查詢分桶的數據

hive (default)> select * from stu_buck;
OK

stu_buck.id     stu_buck.name

1001    ss1
1005    ss5
1009    ss9
1012    ss12
1016    ss16
1002    ss2
1006    ss6
1013    ss13
1003    ss3
1007    ss7
1010    ss10
1014    ss14
1004    ss
1008    ss8
1011    ss11
1015    ss15

分桶抽樣查詢

對於非常大的數據集，有時用戶需要使用的是一個具有代表性的查詢結果而不是全部結果。Hive可以通過對錶進行抽樣來滿足這個需求。

查詢表stu_buck中的數據。

hive (default)> select * from stu_buck tablesample(bucket 1 out of 4 on id);

注：tablesample是抽樣語句，語法：TABLESAMPLE(BUCKET x OUT OF y) 。

y必須是table總bucket數的倍數或者因子。hive根據y的大小，決定抽樣的比例。例如，table總共分了4份，當y=2時，抽取(4/2=)2個bucket的數據，當y=8時，抽取(4/8=)1/2個bucket的數據。

x表示從哪個bucket開始抽取。例如，table總bucket數爲4，tablesample(bucket 4 out of 4)，表示總共抽取（4/4=）1個bucket的數據，抽取第4個bucket的數據。

注意：x的值必須小於等於y的值，否則

FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck

數據塊抽樣

Hive提供了另外一種按照百分比進行抽樣的方式，這種是基於行數的，按照輸入路徑下的數據塊百分比進行的抽樣。

hive (default)> select * from stu tablesample(0.1 percent) ;

提示：這種抽樣方式不一定適用於所有的文件格式。另外，這種抽樣的最小抽樣單元是一個HDFS數據塊。因此，如果表的數據大小小於普通的塊大小128M的話，那麼將會返回所有行。

交流QQ: 824203453

歡迎訪問博主個人主頁：http://www.oldsheep.cn

Hive專題七---Hive查詢

Hive查詢

Hive查詢主要可以分爲三種模型：

逐行運算模型 ，分組模型， 關聯查詢模型

基本查詢（Select…From）

全表和特定列查詢

列別名

算術運算符

常用函數

Limit語句

Where語句

比較運算符（Between/In/ Is Null）

Like和RLike

邏輯運算符（And/Or/Not）

分組

Group By語句

Having語句

Join語句

等值Join

表的別名

內連接

左外連接

左半連接

右外連接

全外連接

多表連接

笛卡爾積

連接謂詞中不支持or

排序

全局排序（Order By）

按照別名排序

多個列排序

每個MapReduce內部排序（Sort By）

分區排序（Distribute By）

Cluster By

分桶及抽樣查詢

分桶表數據存儲

分桶抽樣查詢

數據塊抽樣

逐行運算模型，分組模型，關聯查詢模型