mysql底层怎么执行 mysql底层执行原理

mysql是怎样运行的从根儿上理解mysql电子书

《MySQL是怎样运行的：从根儿上理解 MySQL》采用诙谐幽默的表达方式，对MySQL的底层运行原理进行了介绍，内容涵盖了使用MySQL的同学在求职面试和工作中常见的一些核心概念。总计22 章，划分为4个部分。第1部分介绍了MySQL入门的一些知识，比如MySQL的服务器程序和客户端程序有哪些、MySQL的启动选项和系统变量，以及使用的字符集等。第2部分是本书后续章节的基础，介绍了MySQL的一些基础知识，比如记录、页面、索引、表空间的结构和用法等。第3部分则与大家在工作中经常遇到的查询优化问题紧密相关，介绍了单表查询、连接查询的执行原理，MySQL基于成本和规则的优化具体指什么，并详细分析了Explain语句的执行结果。第4部分则是与MySQL中的事务和锁相关，介绍了事务概念的来源，MySQL是如何实现事务的，包括redo日志、undo日志、MVCC、各种锁的细节等。

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：申请域名、虚拟主机、营销软件、网站建设、石棉网站维护、网站推广。

尽管《MySQL是怎样运行的：从根儿上理解 MySQL》在写作时参考的MySQL源代码版本是5.7.22，但是大部分内容与具体的版本号并没有多大关系。无论是很早之前就已身居MySQL专家的人员，还是希望进一步提升技能的DBA，甚至是三五年后才会入行的“萌新”，本书都是他们彻底了解MySQL运行原理的优秀书

MySQL底层原理

二叉树：当不平衡时，单边增长，可能退化为线性

红黑树：数据量大时，深度不可控

AVL树：相比较与红黑树，严格平衡，但是增删情况下，通过旋转再平衡的开销过大，适合查找场景多的应用

Hash： 不支持范围查找

平衡的多路查找树，一个结点存放多个元素。

与红黑树相比，在相同的的节点的情况下，一颗B/B+树的高度远远小于红黑树的高度(在下面B/B+树的性能分析中会提到)。B/B+树上操作的时间通常由存取磁盘的时间和CPU计算时间这两部分构成，而CPU的速度非常快，所以B树的操作效率取决于访问磁盘的次数，关键字总数相同的情况下B树的高度越小，磁盘I/O所花的时间越少。

m阶：节点中，子节点数的最大值（子节点数，不是结点存放元素）

1. 树中每个结点最多m个子树（最多m-1个关键字，两个子树夹一个关键字）

2. 根节点最少有1个关键字

3. 非根结点最少m/2个子树（m/2 - 1个关键字）

4. 每个关键字排序

5. 所有的叶子结点位于同一层

6. 每个结点都存有索引和数据

（1）简介

B+树是应文件系统所需而产生的一种B树的变形树（文件的目录一级一级索引，只有最底层的叶子节点（文件）保存数据）非叶子节点只保存索引，不保存实际的数据，数据都保存在叶子节点中。所有的非叶子节点都可以看成索引部分！

（2）B+树的性质(下面提到的都是和B树不相同的性质)

1. b+树有两种类型的结点：

1.1 内部结点（索引结点，非叶结点）： 只存索引，不存数据

1.2 叶子结点 （存数据）

2. 内部结点 和 叶子结点的 key递增排序

3. 每个叶结点存有相邻叶结点的指针

4. 父结点存有右孩子第一个元素索引

1.磁盘io代价低：b+树的非叶结点只存储索引，不存储数据，单一结点能存放的索引数更多，树更矮胖

2. b+树查询效率稳定：所有查询必须到叶节点

3. b+树叶子节点为有序表，效率更高，支持范围查询。

一条select语句中,mysql内部的底层运行机制是怎样的?

以select * from students where age20为例,mysql内部运行机制是这样的:

第一步:读取from后面的表(数据源),将整个表从硬盘存入到内存中,得到一个临时表,因为还没有附上条件,此时查询结果集还没有得出。

第二步:读取where后面的条件。逐行扫描内存临时表中所有"行",符合where条件的"行"才能继续呆在内存中.此时是对临时表执行过滤,查询结果集还没有得出(就像在跑步,还拿不到跑步成绩)

第三步:读取select后面内容。临时表+执行完where条件后,最终得到一个结果集在内存中.select后面的内容作用于结果集,决定到底哪些列可以输出到数据库客户端(让人看到)

这个机制如果了解，对于sql查询语句的拍错是非常有利的。具体的可以去黑马程序员搜一下免费的视频，干货比较全。

MySql中Sql的执行过程

如果查询缓存没有命中，那么SQL请求会进入分析器，分析器是用来分辨SQL语句的执行目的，其执行过程大致分为两步：

表1 语法分析关键字然后再通过语法规则解析，判断输入的SQL 语句是否满足MySQL语法，并且生成图5的语法树。由SQL语句生成的四个单词中，识别出两个关键字，分别是select 和from。根据MySQL的语法Select 和 from之间对应的是fields 字段，下面应该挂接username；在from后面跟随的是Tables字段，其下挂接的是userinfo。

优化器的作用是对SQL进行优化，生成最有的执行方案。如图6所示，前面提到的SQL解析器通过语法分析和语法规则生成了SQL语法树。这个语法树作为优化器的输入，而优化器（黄色的部分）包含了逻辑变换和代价优化两部分的内容。在优化完成以后会生成SQL执行计划作为整个优化过程的输出，交给执行器在存储引擎上执行。

所处的位置如上图所示，这节的重点在优化器中的逻辑变换和代价优化上。

逻辑变换也就是在关系代数基础上进行变换，其目的是为了化简，同时保证SQL变化前后的结果一致，也就是逻辑变化并不会带来结果集的变化。其主要包括以下几个方面：

这样讲概念或许有些抽象，通过图7 来看看逻辑变化如何在SQL中执行的吧。

如图7所示，从上往下共有4个步骤：

1. 针对存在的SQL语句，首先通过“否定消除”，去掉条件判断中的“NOT”。语句由原来的“or”转换成“and”，并且大于小于符号进行变号。蓝色部分为修改前的SQL，红色是修改以后的SQL。2. 等值传递，这一步很好理解分别降”t2.a=9” 和”t2.b=5”分别替换掉SQL中对应的值。3. 接下来就是常量表达式计算，将“5+7”计算得到“12”。4. 最后是常量表达式计算后的化简，将”9=10”化简为”true”带入到最终的SQL表达式中完成优化。

代价优化是用来确定每个表，根据条件是否应用索引，应用哪个索引和确定多表连接的顺序等问题。为了完成代价优化，需要找到一个代价最小的方案。因此，优化器是通过基于代价的计算方法来决定如何执行查询的（Cost-based Optimization）。简化的过程如下：

这里将配置操作的代价分为MySQL 服务层和MySQL 引擎层，MySQL 服务层主要是定义CPU的代价，而MySQL 引擎层主要定义IO代价。MySQL 5.7 引入了两个系统表mysql.server_cost和mysql.engine_cost来分别配置这两个层的代价。如下：MySQL 服务层代价保存在表server_cost中，其具体内容如下：

由上可以看出创建临时表的代价是很高的，尤其是内部的myisam或innodb临时表。MySQL 引擎层代价保存在表engine_cost中，其具体内容如下：

目前io_block_read_cost和memory_block_read_cost默认值均为1，实际生产中建议酌情调大memory_block_read_cost，特别是对普通硬盘的场景。MySQL会根据SQL查询生成的查询计划中对应的操作从上面两张代价表中查找对应的代价值，并且进行累加形成最终执行SQL计划的代价。再将多种可能的执行计划进行比较，选取最小代价的计划执行。

当分析器生成查询计划，并且经过优化器以后，就到了执行器。执行器会选择执行计划开始执行，但在执行之前会校验请求用户是否拥有查询的权限，如果没有权限，就会返回错误信息，否则将会去调用MySQL引擎层的接口，执行对应的SQL语句并且返回结果。例如SQL：“SELECT * FROM userinfo WHERE username = 'Tom';“假设 “username“ 字段没有设置索引，就会调用存储引擎从第一条开始查，如果碰到了用户名字是” Tom“， 就将结果集返回，没有查找到就查看下一行，重复上一步的操作，直到读完整个表或者找到对应的记录。需要注意SQL语句的执行顺序并不是按照书写顺序来的，顺序的定义会在分析器中做好，一般是按照如下顺序：

如果命中的记录比较多，应用会从MySql Server一批批获取数据

本文从MySQL中SQL语句的执行过程作为切入点，首先介绍了查询请求的执行流程，其中将MySQL的处理分为MySQL Server层和MySQL存储引擎层。通过介绍SQL语句的流转，引出了后面要介绍的5大组件，他们分别是：连接器、查询缓存、分析器、优化器、执行器。后面的内容中对每个组件进行了详细的介绍。连接器，负责身份认证和权限鉴别；查询缓存，将查询的结果集进行缓存，提高查询效率；分析器，对SQL语句执行语法分析和语法规则，生成语法树和执行计划；优化器，包括逻辑变换和代价优化；执行器，在检查用户权限以后对数据进行逐条查询，整个过程遵守SQL语句的执行顺序。