1、历史背景
-
产生原因
-
内因
-
hadoop之mapreduce/hdfs/hive等适合做批量数据处理，且只能以顺序方式访问数据。
-
-
外因
-
现实开发应用场景中，经常需要海量数据场景下的实时数据随机访问的需求，hadoop作为大数据的承载和计算平台应该予以满足。
-
-
2、hbase概述
-
hbase介绍
-
hadoop database的简称
-
hbase是一个数据模型，属于hadoop生态系统的一部分，提供对海量数据的随机实时读/写访问。
-
构建在hadoop之hdfs之上，分布式面向列的数据库
-
参考谷歌的bigtable数据库设计，拥有hdfs的分块存储、冗余、容错的优良特性。
-
完全开源、优秀的横向扩展性。
-
-
hbase与hdfs对比说明
|
HDFS |
HBase |
|
适于存储大文件的分布式文件系统 |
建立在HDFS之上的数据库 |
|
不支持快速单独记录查找，即顺序访问 |
提供在较大的表快速查找，即随机访问，也可以顺序访问 |
|
批量任务处理，吞吐量高时延高、实时性差 |
提供了亿级记录低延迟访问任意行记录，即随机存取 (原因：内部使用哈希表和提供随机接入，并且其存储索引，可将在HDFS文件中的数据进行快速查找。) |
-
应用场景
-
高并发、简单条件、随机查询
-
不善长join类操作，新版本正在陆续支持与升级中
-
-
半结构化、非结构化数据存储
-
-
应用案例
-
数据采集结果存储、海量数据实时查询等项目开发当中使用非常广泛。
-
国外的facebook、google、yahoo!，国内的互联网中大型公司、BAT内部均有广泛使用。
-
-
hbase数据模型
-
重要概念
-
命名空间(namespace)
-
类比于关系型数据库中的不同的Database数据库。
-
利用命名空间，在多租户场景下可做到更好的资源和数据隔离。
-
-
表(table)
-
类比于rdb中的表
-
以"表"为单位组织数据，表由多行组成
-
-
行(row)
-
行由一个RowKey和多个列族组成，一个行有一个RowKey作为行的唯一标识。
-
-
列族(column family,简称CF)
-
每一行由若干列族组成，每个列族下可包含多个列。
-
列族是列共性的一些体现，如baseInfo列族和addressInfo列族，baseInfo可以包括name(名字),age(年龄),gender(性别)属性列，而addressInfo可以包括province(省份)，city(市), email(邮箱)等属性列。
-
物理上，同一列族的数据存储在一起的。
-
-
列限定符(column qualifier)
-
列由列族和列限定符唯一指定，像如上的name、age即是baseInfo列族的列限定符。
-
-
单元格(cell)
-
单元格由RowKey、列族、列限定符唯一定位，单元格之中存放一个值（Value）和一个版本号。
-
-
时间戳(timestamp)
-
即为版本号，来标识一个单元格的数据的最新的插入或是修改时间
-
单元格内不同版本的值按时间倒序排列，最新的数据排在最前面
-
-
-
核心设计
-
面向列(列族）定义、列(列族）存储的数据库，其数据库也称为空间namespace。
-
表的基本组成单元是行，每行有个唯一标识称为rowKey，表中数据按rowKey进行字典序排序存储。
-
一个表有多个列族以及每一个列族可以有任意数量的列，后续新增列的值连续地存储在磁盘上。
-
表中的每个单元格值都具有时间戳，来标识该单元格的最后插入或更新时间。
-
-
简易逻辑说明
-
表是行的集合
-
行是列族的集合
-
列族是列的集合
-
列是键值对的集合
-
-
hbase数据表模板
-
|
Rowid |
Column Family |
Column Family |
|||
|
|
column1 |
column2 |
column3 |
column1 |
column2 |
|
rowkey1 |
|
|
|
|
|
|
rowkey2 |
|
|
|
|
|
|
rowkey3 |
|
|
|
|
|
-
hbase数据表样例(学生信息表)
|
Rowid |
baseInfo |
addressInfo |
|||
|
|
name |
age |
gender |
province |
city |
|
20190901 |
张一 |
21 |
男 |
河北省 |
石家庄市 |
|
20190902 |
张二 |
22 |
女 |
河南省 |
郑州市 |
|
20190903 |
张三 |
21 |
男 |
内蒙古 |
赤峰市 |