目录
正文一、基本查询
全表和特定列查询
//1.全表查询 select * from emp //2.选择特点列查询 select empno, ename from emp
注意:
SQL语言大小写不敏感
SQL可以写在一行或者多行
关键字不能被缩写,也不能分行
各子句一般要分行写
使用缩进提高语句的可读性
列别名
- 重命名一个列
- 便于计算
- 紧跟列名,也可以在列名和别名之间加入关键字‘AS’
//1.查询名称和部门 select ename AS name, deptno dn from emp
算数运算符
运算符 描述 A+B A和B相加 A-B A和B相减 A*B A和B相乘 A/B A除以B A%B A对B取余 A&B A和B按位取与 A|B A和B按位取或 A^B A和B按位取异或 ~A A按位取反 select sal+1 from emp
常用函数
- 求总行数(count)
select count(*) cnt from emp
- 求工资的最大值(max)
select max(sal) max_sal from emp
- 求工资的最小值(min)
select min(sal) min_sal emp
- 求工资的总和(sum)
select sum(sal) sum_sal from emp
- 求工资的平均值(avg)
select avg(sal) avg_sal from emp
limit语句
select * from emp limit 5
二、where语句
- 使用where子句,将不满足条件的行过滤掉
- where子句紧随from子句
select * from emp where sal > 1000
比较运算符(between/in/is null)
- 下面表中描述了谓词操作符,这些操作符同样可以用于join...on和having语句中
操作符 支持的数据类型 描述 A=B 基本数据类型 如果A等于B,则返回TRUE,否则返回FALSE A<==>B 基本数据类型 如果A和B都为NULL,则返回TRUE,其他的和等号(=)操作符的结果一致,如果任一为NULL,则结果为NULL A<>B,A!=B 基本数据类型 A或者B为NULL,则返回NULL;如果A不等于B,则返回TRUE,否则,返回FALSE A<B 基本数据类型 A或者B为NULL,则返回NULL;如果A小于B,则返回TRUE,否则,返回FALSE A<=B 基本数据类型 A或者B为NULL,则返回NULL;如果A小于等于B,则返回TRUE,否则返回FALSE A>B 基本数据类型 A或者B为NULL,则返回NULL;如果A大于B,则返回TRUE,否则,返回FALSE A>=B 基本数据类型 A或者B为NULL,则返回NULL;如果A大于等于B,则返回TRUE,否则返回FALSE A [NOT] BETWEEN B AND C 基本数据类型 如果A,B,C中任意一个为NULL,则结果为NULL。如果A的值大于等于B且小于小于等于C,则结果为TRUE,否则为FALSE。如果使用NOT关键字则可达到相反的结果 A IS NULL 所有数据类型 如果A等于NULL,则返回TRUE,否则,返回FALSE A IS NOT NULL 所有数据类型 如果A不等于NULL,则返回TRUE,否则,返回FALSE IN(数值1,数值2) 所有数据类型 使用IN运算显示列表中的值 A [NOT] LIKE B STRING类型 B是一个SQL下的简单的正则表达式,如果A与其匹配的话,则返回TRUE,否则返回FALSE。B的表达式说明:'x%'表示A必须以字母'x'开头,'%x'表示A必须以字母'x'结尾;而'%x%'表示A包含有字母'x',可以位于开头,结尾或者字符串中间。如果使用NOT关键字则可达到相反的效果 A RLIKE B,A REGEXP B STRING类型 B是一个正则表达式,如果A与其匹配,则返回TRUE,否则返回FALSE。匹配使用的是JDK中的正则表达式接口实现的,应为正则也依据其中的规则。例如:正则表达式必须和整个字符串A相匹配,而不是只需与其字符串匹配
LIKE和RLIKE
- 使用LIKE运算选择类似的值
- 选择条件可以包含字符或者数字:%代表另个或者多个字符(任意个字符),_代表一个字符
- RLIKE子句是hive中的一个扩展,可以通过Java的正则表达式来指定匹配条件
//1.查找以2开头薪水的员工信息 select * from emp where sal LIKE '2%' //2.查找第二个数值为2的薪水的员工信息 select * from emp where sal LIKE '_2%' //3.查找薪水中含有2的员工信息 select * from emp where sal RLIKE '[2]' select * from emp where sal LIKE '%2%'
逻辑运算符(and/or/not)
操作符 含义 AND 逻辑并 OR 逻辑或 NOT 逻辑否 select * from emp where sal>1000 and deptno=30 select * from emp where sal>1000 or deptno=30 select * from emp where deptno not IN(30, 20) //说明:sal表示薪水,deptno表示部门
三、分组
group by语句
通常回合聚合函数一起使用,按照一个或者多个队列结果进行分组,然后对每个组执行聚合操作
//1.计算emp表每个部门的平均工资 select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno //2.计算emp每个部门中每个岗位的最高薪水 select t.deptno, t.job, max(t.sal) max_sal from emp t group by t.deptno, t.job
having语句
- where针对表中的列发挥作用,查询数据;having针对查询结果中的列发挥作用,筛选数据
- where后面不能写分组函数,having后面可以使用分组函数
- having只用于group by 分组统计语句
//1.求每个部门的平均薪水大于2000的部门 //a.求每个部门的平均工资 select deptno, avg(sal) from emp group by deptno //b.求每个部门的平均薪水大于2000的部门 select deptno, avg(sal) avg_sal from emp group by deptno having avg_sal > 2000
四、jion语句
等值join
hive支持通常的SQL JOIN语句,但只支持等值连接,不支持非等值连接
//1.根据员工表和部门表中的部门编号相等,查询员工编号,员工名称和部门名称 select e.ampno, e.ename, d.deptno, d.dname from emp e jion dept d on e.deptno = d.deptno
表的别名
使用别名可以简化查询;使用表名前缀可以提高执行效率
select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno
内连接
只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来
select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno
左外连接
JOIN操作符左边表中符合WHERE子句的所有记录将会被返回
select e.empno, e.ename, d.deptno from emp e left join dept d on e.deptno = d.deptno
右外连接
JOIN操作符右边表中符合WHERE子句的所有记录将会被返回
select e.empno, e.ename, d.deptno from emp e right join dept d on e.deptno = d.deptno
满外连接
将会返回所有表中符合WHERE语句条件的所有记录。如果任一表的指定字段没有符合条件的值的话,那么就使用NULL值替代
select e.ename, d.deptno from emp e full join dept d on e.deptno = d.deptno
多表连接
连接n个表,至少需要n-1个连接条件
//1.创建位置表 create table if not exists default.location( loc int, loc_name string ) row format delimited fields terminated by '\t' //2.导入数据 load data local inpath '/opt/module/data/location.txt' into table default.location //3.多表连接查询 SELECT e.ename, d.deptno, l.loc_name FROM emp e JOIN dept d ON d.deptno = e.deptno JOIN location l ON d.loc = l.loc
hive是按照从左到右的顺序执行的,会对每对JOIN连接对象启动一个MapReduce任务,本例中会首先启动一个MapReduce job对表e和表d进行连接操作,然后再会启动一个MapReduce job将第一个MapReduce job的输出和表l进行连接操作
笛卡尔积
- 省略连接条件
- 连接条件无效
- 所有表中的所有行互相连接
select empno, dname from emp, dept
连接谓词中不支持or
select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno
五、 排序
全局排序(Order By)
Order By:全局排序,一个Reducer
- 使用ORDER BY 子句排序:ASC(ascend)升序【默认】;DESC(descend)降序
- ORDER BY子句在SELECT语句的结尾
//1.查询员工信息按工资升序排列 select * from emp order by sql //2.查询员工工资按降序排列 select * from emp order by sql desc
按照别名排序
//按照员工薪水的2倍排序 select ename, sql*2 twosal from emp order by twosal
多个列排序
//按照部门和工资升序排列 select ename, deptno, sal from emp order by deptno, sal
每个MapReduce内部排序(Sort By)
Sort By:每个Reducer内部进行排序,对全局结果集来说不是排序
- 设置reduce个数
set mapreduce.job.reduces=3
- 查看设置reduce个数
set mapreduce.job.reduces=3
- 根据部门编号降序查看员工信息
select * from emp sort by empno desc
- 将查询结果导入到文件中(按照部门编号降序排列)
insert overwrite local directory '/opt/module/datas/sortby-result' select * from emp sort by empno desc
分区排序(Distribute By)
Distribute By:类似MR中partition,进行分区,结合sort by使用。注意:hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。对于Distribute By进行测试,一定要分配多reduce进行处理,否则无法看到效果
set mapreduce.job.reduce=3; insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc
ClusterBy
当distribute by和sorts by字段相同时,可以使用cluster by方式,排序只能是升序排序
//法一: select * from emp cluster by deptno //法二: select * from emp distribute by deptno sort by deptno
六、分桶及抽样查询
分桶表数据存储
分区针对的是数据的存储路径;分桶针对的是数据文件。
分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可以形成合理的分区,特别是之前所提到过的要确定合适的划分大小这个疑虑。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。
//1.先创建分桶表,通过直接导入数据文件的方式 //a.创建分桶表 create table stu_buck(id int, name string) clustered by(id) into 4 buckets row format delimited fields terminated by '\t' //b.查看表结构 desc formatted stu_buck //c.导入数据到分桶表中 load data local inpath '/opt/module/datas/student.txt' into table stu_buck //发现并没有4个桶 //2.创建分桶表时,数据通过子查询的方式导入 //a.先建一个普通的stu表 create table stu(id int, name string) row format delimited fields terminated by '\t' //b.向普通的stu表中导入数据 load data local inpath '/opt/module/datas/student.txt' into table stu //c.清空stu_buck表中数据 truncate table stu_buck select * from stu_buck //d.导入数据到分桶表,通过子查询的方式 insert into table stu_buck select id, name from stu //发现还是只有一个分桶 //3.需要设置一个属性 set hive.enforce.bucketing=true set mapreduce.job.reduces=-1 //4.再次插入分通表 insert into table stu_buck select id, name from stu
分桶抽样查询
对于非常大的数据集,有时用户需要使用的是一个具有代表性的查询结果,而不是全部结果。hive可以通过对表进行抽样来满足这个需求
select * from stu_buck tablesample(bucket 1 out of 4 on id)
语法:TABLESAMPLE(BUCKET x OUT OF y)
说明:
y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。如:table总共分了4份,当y=2时,抽取4/2=2个bucket的数据;当y=8时,抽取4/8=1/2个bucket的数据。
x表示从哪个bucket开始抽取,如果需要取多个分区,以后的分区号为当前分区号加上y。如:table总共分了4份,当y=2时,抽取2个bucket的数据,抽取第1=x个和第3=x+y个bucket的数据。
注意:x的值必须小于等于y的值
七、其他常用查询函数
空字段赋值
NVL:给值为NULL的数据复制,格式是NVL(string1,replace_with)。如果string1为NULL,则NVL函数返回replace_with的值,否则则返回string1的值。如果两个值都为NULL,则返回NULL
select nvl(comm,-1) from emp
时间类
- data_format:格式化时间
select date_format('2020-04-01','yyyy-MM--dd')
- date_add:时间跟天数相加
select date_add('2020-04-01',5); select date_add('2020-04-01',-5);
- date_sub时间跟天数相减
select date_sub('2020-04-07',5)
- datediff:两个时间相减
select datediff('2020-04-12','2020-04-01')
- 替换时间分隔符
select regexp_replace('2020/04/01','/','-')
CASE WHEN
//法一: select dept_id, sum(case sex when '男' then 1 else 0 end) mal_count, sum(case sex when '女' then 1 else 0 end) female_count from emp_sex group by dept_id //法二: select dept_id, sum(if(sex='男',1,0)) mal_count, sum(if(sex='女',1,0)) female_count from emp_sex group by dept_id
行转列
- 相关函数说明
函数 说明 CONCAT(string A/col,string B/col...) 返回输入字符串连接后的结果,支持任意个输入字符串 CONCAT_WS(separator,str1,str2...) 第一个参数剩余参数间的分割符。分隔符可以是与剩余参数一样的字符串。如果分隔符是NULL,返回值也将是NULL。这个函数会跳过分割符参数后的任何NULL和空字符串。分隔符将被加到被连接的字符串之间
COLLECT_SET(col) 函数只接受基本数据类型,主要作用是将某字段的值进行去重汇总,产生array类型字段,多行变一行 select concat_ws("-", collect_set(col))
将一个col字段下的value通过“-”连接起来拼成一列数据
列转行
- 函数说明
函数 说明 EXPLODE(col) 将hive一列中复杂的array或者map结构拆分成多行 LATERAL VIEW 用于和split,explode等UDTF一起使用,将一行数据拆分成多行数据,在此基础上可以对拆分后的数据进行聚合。用法:LATERAL VIEW udft(expression) tableAlias AS columnAlias //1.建表 create table movie_info( movie string, category array<string>) row format delimited fields terminated by "\t" collection items terminated by ","; //2.插入数据 load data inpath '/opt/module/data/movie.txt' into table movie_info //3.将category拆分成多行 select explode(category) from movie_info; //4.侧写 select movie, category_name from movie_info lateral view explode(category) table_tmp as category_name; //说明:as后的字段和原字段做了关联
《疑犯追踪》 ["悬疑","动作","科幻","剧情"] 《Lie to me》 ["悬疑","警匪","动作","心理","剧情"] <战狼2> ["战争","动作","灾难"]
窗口函数
- 相关函数说明
函数 说明 OVER() 指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变而变化 CURRENT ROW 当前行 n PRECEDING 往前n行数据 n FOLLOWING 往后n行数据 UNBOUNDED 起点,UNBOUNDED PRECEDING表示从前面的起点,UNBOUNDED FOLLOW表示到后面的终点 LAG(col,n) 往前第n行数据 LEND(col,n) 往后第n行数据 NTILE(n) 把有序分区中的行分发到指定数据的组中,各个组有编号,编号从1开始,对于每一行,NTILE返回此行所属的组的编号。n为整型 - 实例
//1.创建表 create table business(name string, orderdate string, cost int) row format delimited fields terminated by ','; load data local inpath '/opt/module/data/business.txt' into table buniness; //2.需求 //a.查询在2020年4月份购买过的顾客及总人数 //b.上述的场景
数据准备
jack,2020-04-04,10 tony,2020-04-05,15 jack,2020-04-06,23 mart,2020-03-25,51 neil,2020-03-05,12 jack,2020-03-15,24 neil,2020-03-27,78 tony,2020-04-08,67
Rank