MySQL-2-MySQL逻辑设计

整体来讲MySQL可以看成是二层架构,第一层我们通常叫做SQL Layer,在MySQL数据库系统处理底层数据之前的所有工作都是在这一层完成的,包括但不限于:权限判断、sql解析、执行计划优化、query cache的处理等等;第二层就是存储引擎层,我们通常叫做Storage Engine Layer即底层数据存取操作实现部分,由多种存储引擎共同组成。

SQL Layer

1、初始化模块

初始化模块就是在MySQL Server启动的时候,对整个系统做各种各样的初始化操作,各种系统变量的初始化设定,各种存储引擎的初始化设置等。

2、核心API

核心API模块主要是为了提供一些需要非常高效的底层操作功能的优化实现,包括:各种底层数据结构的实现、特殊算法的实现、字符串处理、数字处理、小文件I/O、格式化输出、最重要的内存管理等。

3、网络交互模块

网络交互模块抽象出底层网络交互所使用的接口API,实现底层网络数据的接收与发送来方便其他各个模块调用,以及对这一部分的维护。

4、Client & Server交互协议模块

任何C/S结构的软件系统,都肯定会有自己独有的信息交互协议,MySQL的Client & Server交互协议模块部分,实现了客户端与MySQL交互过程中的所有协议。这些协议都是建立在现有的OS和网络协议之上的,如TCP/IP以及Unix Socket。

5、用户模块

用户模块所实现的功能,主要包括用户的登录连接、权限控制、用户授权管理等,决定是否给来访者“开门”。

6、访问控制模块

访问控制模块实时监控客人的每一个动作,给不同的客人以不同的权限。访问控制模块实现的功能就是根据用户模块中各用户的授权信息,以及数据库自身特有的各种约束,来控制用户对数据的访问。用户模块和访问控制模块两者结合起来,组成了MySQL 整个数据库系统的权限安全管理的功能。

7、连接管理、连接线程和线程管理

连接管理模块负责监听对MySQL Server的各种请求,接收连接请求,转发所有连接请求到线程管理模块。每一个连接上MySQL Server的客户端请求都会被分配(或创建)一个连接线程为其单独服务。而连接线程的主要工作就是负责MySQL Server与客户端的通信,接受客户端的命令请求,传递Server端的结果信息等。线程管理模块则负责管理维护这些连接线程,包括:线程创建、线程cache 等。

8、Query解析和转发模块

在MySQL中我们习惯将所有Client端发送给Server端的命令都称为query,在MySQL Server里面,连接线程接收到客户端的一个Query后,会直接将该query传递给专门负责将各种Query进行分类然后转发给各个对应的处理模块,这个模块就是query解析和转发模块。其主要工作就是将query语句进行语义和语法的分析,然后按照不同的操作类型进行分类,然后做出针对性的转发。

9、Query Cache模块

Query Cache模块在MySQL中是一个非常重要的模块,他的主要功能是将客户端提交给MySQL的Select类query请求的返回结果集cache到内存中,与该query的一个hash值做一个对应。该Query所取数据的基表发生任何数据的变化之后,MySQL会自动使该query 的Cache失效。在读写比例非常高的应用系统中,Query Cache对性能的提高是非常显著的。当然它对内存的消耗也是非常大的。

10、Query优化器模块

Query优化器,就是优化客户端请求的query,根据客户端请求的query语句,和数据库中的一些统计信息,在一系列算法的基础上进行分析,得出一个最优的策略,告诉后面的程序如何取得这个query 语句的结果。

11、表变更管理模块

表变更管理模块主要是负责完成一些DML和DDL的query,如:update,delte,insert,create table,alter table 等语句的处理。

12、表维护模块

表的状态检查、错误修复、以及优化和分析等工作都是表维护模块需要做的事情。

13、系统状态管理模块

系统状态管理模块负责在客户端请求系统状态的时候,将各种状态数据返回给用户,像DBA常用的各种show status命令,show variables命令等,所得到的结果都是由这个模块返回的。

14、表管理器

其功能与变更及维护模块却完全不同。每一个MySQL表都有一个表的定义文件,也就是*.frm文件。表管理器的工作主要就是维护这些文件,以及一个cache,该cache中的主要内容是各个表的结构信息。此外它还维护table级别的锁管理。

15、日志记录模块

日志记录模块主要负责整个系统级别的逻辑层的日志的记录,包括error log,binary log,slow query log等。

16、复制模块

复制模块又可分为Master模块和Slave模块两部分, Master模块主要负责在Replication环境中读取Master端的binary日志,以及与Slave 端的I/O线程交互等工作。

Slave模块比Master 模块所要做的事情稍多一些,在系统中主要体现在两个线程上面。一个是负责从Master 请求和接受binary 日志并写入本地relay log中的I/O 线程。另外一个是负责从relay log中读取相关日志事件,然后解析成可以在Slave 端正确执行并得到和Master端完全相同的结果的命令并再交给Slave执行的SQL线程。

17、存储引擎接口模块

存储引擎接口模块可以说是MySQL数据库中最有特色的一点了。目前各种数据库产品中,基本上只有MySQL可以实现其底层数据存储引擎的插件式管理。这个模块实际上只是一个抽象类,但正是因为它成功地将各种数据处理高度抽象化,才成就了今天MySQL 可插拔存储引擎的特色。

逻辑模块运行流程

第一步:当执行启动MySQL命令之后,“初始化模块”开始工作,从系统配置文件中读取系统参数、命令行参数,并按照参数来初始化整个系统。同时各个存储引擎也被启动,并进行各自的初始化工作。

第二步:“连接管理模块”启动处理客户端连接请求的监听程序,包括tcp/ip网络监听、unix的socket。此时MySQL Server基本启动完成,准备好接受客户端请求了。

第三步:当“连接管理模块”通过“网络交互模块”监听到客户端的连接请求,双方通过“Client & Server交互协议模块”交互后,“连接管理模块”将连接请求转发给“线程管理模块”,“线程管理模块”又会将控制交给“连接线程模块”。“连接线程模块”在接到Client连接请求后,首先会检查当前连接线程池中是否有被cache 的空闲连接线程,如果有,就取出一个和客户端请求连接上,如果没有空闲的连接线程,则建立一个新的连接线程与客户端请求连接。

第四步:“连接线程模块”首先通过调用“用户模块”进行授权检查,只有客户端请求通过了授权检查后,他才会将客户端请求、负责请求的连接线程连上。

第五步:与Client建立连接之后,把Client发送过来的请求分为2大类:query、command。这里的query就是特指SQL语句,必须通过“Query解析和转发模块”才能够被执行;Command是MySQL指令,可以直接被执行。

“Query解析和转发模块”先对Query进行基本的语义和语法解析,然后根据命令类型的不同,有些会直接处理,有些会分发给其他模块来处理。

如果开启了Full Query Logging功能,那么“Query解析和转发模块”会调用“日志记录模块”将请求计入日志,不管是一个Query类型的请求还是一个command类型的请求,都会被记录进入日志,所以出于性能考虑,一般很少打开Full Query Logging功能。

第六步:

如果是一个Query类型的请求,会将控制权交给“Query解析和转发模块(特指解析模块)”。“Query解析和转发模块(特指解析模块)”首先分析看是不是一个select 类型的query,如果是,则调用查询缓存模块,让它检查该query在“Query Cache模块”中是否已经存在。如果有,则直接将cache 中的数据返回给连接线程模块,然后通过与客户端的连接的线程将数据传输给客户端。如果不是一个可以被cache的query类型,或者cache 中没有该query的数据,那么query将被继续传回“Query解析和转发模块(特指解析模块)”,让“Query解析和转发模块(特指解析模块)”进行相应处理,再通过“Query解析和转发模块(特指转发模块)”分发给相关处理模块。

如果“Query解析和转发模块(特指解析模块)”解析结果是一条未被cache的select语句,则将控制权交给Optimizer“Query优化器模块”。

如果是DML或者是DDL语句,则会交给“表变更管理模块”。

如果是一些更新统计信息、检测、修复和整理类的query则会交给“表维护模块”去处理。其中的复制相关的query则转交给“复制模块”去进行相应的处理,请求状态的query 则转交给了“系统状态管理模块”。实际上“表变更管理模块”根据所对应的处理请求的不同,是分别由insert处理器、delete处理器、update处理器、create 处理器、alter 处理器来负责不同的DML和DDL的。

第七步:insert处理器、delete处理器、update处理器、create 处理器、alter 处理器收到“Query解析和转发模块”分发过来的请求后,首先会通过“访问控制模块”检查连接用户是否有访问目标表以及目标字段的权限,如果有,就会调用“表管理器模块”请求相应的表,并获取对应的锁。“表管理器模块”首先会查看该表是否已经存在于table cache 中,如果已经打开则直接进行锁相关的处理,如果没有在cache中,则需要再打开表文件获取锁,然后将打开的表交给“表变更管理模块”。(注意这里的:表变更管理模块、表管理器模块)

第八步:当“表变更管理模块”打开表之后,就会根据该表的相关meta信息,判断表的存储引擎类型和其他相关信息。根据表的存储引擎类型,提交请求给“存储引擎接口模块”,调用对应的存储引擎实现模块,进行相应处理。

对于“表变更管理模块”而言,可见的仅是“存储引擎接口模块”所提供的一系列标准接口,底层存储引擎实现模块的具体实现,对于“表变更管理模块”来说是透明的。他只需要调用对应的接口,并指明表类型,“存储引擎接口模块”会根据表类型调用正确的存储引擎来进行相应的处理。

第九步:当一条query或者一个command处理完成之后,控制权都会交还给“连接线程模块”。如果处理成功,则将处理结果通过“连接线程模块”反馈给客户端。如果处理过程中发生错误,也会将相应的错误信息发送给客户端,然后连接线程模块会进行相应的清理工作,并继续等待后面的请求,重复上面提到的过程,或者完成客户端断开连接的请求。

最后:如果在上面的过程中,相关模块使数据库中的数据发生了变化,而且MySQL打开了binlog功能,则对应的处理模块还会调用“日志记录模块”将相应的变更语句以更新事件的形式记录到相关参数指定的二进制日志文件中。

在上面各个模块的处理过程中,各自的核心运算处理功能部分都会高度依赖整个MySQL的“核心API”,比如内存管理、文件I/O、数字和字符串处理等等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章