mysql多字段怎么优化,mysql数据库优化的几种方式

mysql 一张有近一百个字段的表，通过主键查询数据非常慢,查询一条数据需要2秒左右。怎么作优化

1张表100个字段。。。。分表，然后用表外连接查询可以调高查询效率，也可以用复合查询，不过复合查询效率没有外连接查询效率高，但是sql语句写起来方便。如果数据量不是上百万级别的，推荐用复合查询。

创新互联服务项目包括肃宁网站建设、肃宁网站制作、肃宁网页制作以及肃宁网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，肃宁网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到肃宁省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

mysql---索引优化

索引就是为特定的mysql字段进行一些特定的算法排序，比如二叉树的算法和哈希算法，哈希算法是通过建立特征值，然后根据特征值来快速查找。

1.普通索引:(index)最基本的索引，没有任何限制  目的:加快数据的查询速度

2.唯一索引:(unique)  与"普通索引"类似，不同的就是：索引列的值必须唯一，但允许有空值。

3.主键索引(primary key) 它 是一种特殊的唯一索引，不允许有空值。

4.复合索引:index(a,b,c)  为了更多的提高mysql效率可建立组合索引，遵循”最左前缀“原则。

5.全文索引:fulltext  仅可用于 MyISAM 表，针对较大的数据，生成全文索引很耗时耗空间。

第一类是myisam存储引擎使用的叫做b-tree结构，

第二类是innodb存储引擎使用的叫做聚簇结构（也是一种 b-tree）。 如下图：

注意：

1.myisam不需要回行处理 

2.innodb不需要回行处理,直接可以获取数据,因为innodb的储存引擎是包含了数据和索引文件的,其主键索引包含了数据,(唯一索引及普通索是没有直接包含数据的)

1、索引列不能参与计算

有索引列参与计算的查询条件对索引不友好（甚至无法使用索引），如from_unixtime(create_time) = '2014-05-29'。

原因很简单，如何在节点中查找到对应key？如果线性扫描，则每次都需要重新计算，成本太高；如果二分查找，则需要针对from_unixtime方法确定大小关系。

因此，索引列不能参与计算。上述from_unixtime(create_time) = '2014-05-29'语句应该写成create_time = unix_timestamp('2014-05-29')。

2、最左前缀匹配

如有索引(a, b, c, d)，查询条件a = 1 and b = 2 and c 3 and d = 4，则会在每个节点依次命中a、b、c，无法命中d。也就是最左前缀匹配原则。

3、冗余和重复索引

冗余索引是指在相同的列上按照相同的顺序创建的相同类型的索引，应当尽量避免这种索引，发现后立即删除。比如有一个索引(A,B)，再创建索引(A)就是冗余索引。冗余索引经常发生在为表添加新索引时，比如有人新建了索引(A,B)，但这个索引不是扩展已有的索引(A)

4、避免多个范围条件

    select user.* from user where login_time '2017-04-01' and age between 18 and 30;

比如想查询某个时间段内登录过的用户：它有两个范围条件，login_time列和age列，MySQL可以使用login_time列的索引或者age列的索引，但无法同时使用它们 .

5、覆盖索引 (能扩展就不新建)

如果一个索引包含或者说覆盖所有需要查询的字段的值，那么就没有必要再回表查询，这就称为覆盖索引。覆盖索引是非常有用的工具，可以极大的提高性能，因为查询只需要扫描索引会带来许多好处：

1.索引条目远小于数据行大小，如果只读取索引，极大减少数据访问量2.索引是有按照列值顺序存储的，对于I/O密集型的范围查询要比随机从磁盘读取每一行数据的IO要少的多

6、选择区分度高的列作索引

如，用性别作索引，那么索引仅能将1000w行数据划分为两部分（如500w男，500w女），索引几乎无效。

区分度的公式是count(distinct ) / count(*)，表示字段不重复的比例，比例越大区分度越好。唯一键的区分度是1，而一些状态、性别字段可能在大数据面前的区分度趋近于0。

7、删除长期未使用的索引

场景一(覆盖索引 5)

索引应该建在选择性高的字段上（键值唯一的记录数/总记录条数），选择性越高索引的效果越好、价值越大，唯一索引的选择性最高；

组合索引中字段的顺序，选择性越高的字段排在最前面；

where条件中包含两个选择性高的字段时，可以考虑分别创建索引，引擎会同时使用两个索引（在OR条件下，应该说必须分开建索引）；

不要重复创建彼此有包含关系的索引，如index1(a,b,c) 、index2(a,b)、index3(a)；

组合索引的字段不要过多，如果超过4个字段，一般需要考虑拆分成多个单列索引或更为简单的组合索引；

不要滥用索引。因为过多的索引不仅仅会增加物理存储的开销，对于插入、删除、更新操作也会增加处理上的开销，而且会增加优化器在选择索引时的计算代价。

因此太多的索引与不充分、不正确的索引对性能都是毫无益处的。一言以蔽之，索引的建立必须慎重，对每个索引的必要性都应该经过仔细分析，要有建立的依据。

MySql中LongText类型大字段查询优化

1.mysql在操作数据的时候，以page为单位

  不管是更新，插入，删除一行数据，都需要将那行数据所在的page读到内存中，然后在进行操作，这样就存在一个命中率的问题，如果一个page中能够相对的存放足够多的行，那么命中率就会相对高一些，性能就会有提升

2.innodb的page大小默认为16kb

  innodb存储引擎表为索引组织表，树底层的叶子节点为一双向链表，因此每个页中至少应该有两行记录，这就决定了innodb在存储一行数据的时候不能够超过8k，但事实上应该更小，有一些InnoDB内部数据结构要存储以及预留操作空间，

3.blob，text大字段

  innodb只会存放前768字节在数据页中，而剩余的数据则会存储在溢出段中（发生溢出情况的时候适用），最大768字节的作用是便于创建前缀索引/prefix index，其余更多的内容存储在额外的page里，哪怕只是多了一个字节。因此，所有列长度越短越好

4.扩展存储禁用了自适应哈希

  因为需要完整的比较列的整个长度，才能发现是不是正确的数据（哈希帮助InnoDB非常快速的找到“猜测的位置”，但是必须检查“猜测的位置”是不是正确）。因为自适应哈希是完全的内存结构，并且直接指向Buffer Pool中访问“最”频繁的页面，但对于扩展存储空间却无法使用Adaptive Hash

变长大字段类型包括blob,text,varchar，其中varchar列值长度大于某数N时也会存溢出页，在latin1字符集下N值可以这样计算：innodb的块大小默认为16kb，由于innodb存储引擎表为索引组织表，树底层的叶子节点为一双向链表，因此每个页中至少应该有两行记录，这就决定了innodb在存储一行数据的时候不能够超过8k，减去其它列值所占字节数，约等于N。对于InnoDB，内存是极为珍贵的，如果把768字节长度的blob都放在数据页，虽然可以节省部分IO，但是能缓存行数就变少，也就是能缓存的索引值变少了，降低了索引效率

Mysql把每个BLOB和TEXT值当作一个独立的对象处理。存储引擎在存储时通常会做特殊处理。当BLOB和TEXT值太大时，InnoDB会使用专门的“外部”储存区域来进行存储，此时每个值在行内需要1~4个字节存储一个指针，然后在内部存储区域存储实际的值。

Mysql不能将BLOB和TEXT列全部长度的字符串进行索引

mysql的 io 以page为单位，因此不必要的数据（大字段）也会随着需要操作的数据一同被读取到内存中来，这样带来的问题由于大字段会占用较大的内存（相比其他小字段），使得内存利用率较差，造成更多的随机读取。从上面的分析来看，我们已经看到性能的瓶颈在于由于大字段存放在数据页中，造成了内存利用较差，带来过多的随机读，那怎么来优化掉这个大字段的影响

5.6版本以后，新增选项 innodb_page_size 可以修改innodb的page默认大小，但并不推荐修改这个配置

5.6版本之后mysql新增索引FULLTEXT可用来增加大文本搜索速度

MySQL性能优化之索引设计

上一篇给小伙伴们讲了关于SQL查询性能优化的相关技巧，一个好的查询SQL离不开合理的索引设计。这篇小二就来唠一唠怎么合理的设计一个索引来优化我们的查询速度，要是有不合理的地方...嗯..

当然啦，开个玩笑，欢迎小伙伴们指正！

通常情况下，字段类型的选择是需要根据业务来判断的，通常需要遵循以下几点。

下列各种类型表格内容来自菜鸟教程，权当备忘。

优化建议：

注意： INT(2)设置的为显示宽度，而不是整数的长度，需要配合 ZEROFILL 使用 。

例如 id 设置为 TINYINT(2) UNSIGNED ，表示无符号，可以存储的最大数值为255，其中 TINYINT(2) 没有配合 ZEROFILL 实际没有任何意义，例如插入数字200，长度虽然超过了两位，但是这个时候是可以插入成功的，查询结果同样为200；插入数字5时，同样查询结果为5。

而 TINYINT(2) 配合 ZEROFILL 后，当插入数字5时，实际存储的还是5，不过在查询是MySQL会在前面补上一个0，即查询出来的实际为 05 。

优化建议：

优化建议：

通常来说，考虑好表中每个字段应该使用什么类型和长度，建完表需要做的事情不是马上建立索引，而是先把相关主体业务开发完毕，然后把涉及该表的SQL都拿出来分析之后再建立索引。

尽量少建立单值索引( 唯一索引除外 )，应当设计一个或者两三个联合索引，让每一个联合索引都尽量去包含SQL语句中的 where、order by、group by 的字段，同时确保联合索引的字段顺序尽量满足SQL查询的最左前缀原则。

索引基数是指这个字段在表里总共有多少个不同的值，比如一张表总共100万行记录，其中有个性别字段，性别一共有三个值：男、女、保密，那么该字段的基数就是3。

如果对这种小基数字段建立索引的话，因为索引树中只有男、女、保密三个值，根本没法进行快速的二分查找，同时还需要回表查询，还不如全表扫描嘞。

一般建立索引，尽量使用那些基数比较大的字段，那么才能发挥出B+树快速二分查找的优势来。

在 where 和 order by 出现索引设计冲突时，是优先针对where去设计索引？还是优先针对order by设计索引？

通常情况下都是优先针对 where 来设计索引，因为通常情况下都是先 where 条件使用索引快速筛选出来符合条件的数据，然后对进行筛选出来的数据进行排序和分组，而 where 条件快速筛选出来的的数据往往不会很多。

对生产实际运行过程中，或者测试环境大数据量测试过程中发现的慢查询SQL进行特定的索引优化、代码优化等策略。

终于轮到实战了，小二最喜欢实战了。

写到这里不得不吐槽一下，这个金三银四的跳槽季节，年前提离职了，结果离职还没办完就封村整整两个礼拜了，呜呜呜...

上节小二就提到会有个很有意思的小案例，那么在疫情当下，门都出不去的日子，感觉这个例子更有意思了，咱们来讨论一下各种社交平台怎么做的用户信息搜索呢。

社交平台有一个小伙伴们都喜欢的功能，搜索好友信息，比如小二熟练的点开省份...城市..性别..年龄..身高...

咳咳咳...小二怎么可能干这种事情，小二的心里只有代码，嗯...没错，就是这样。

这个就可以说是对于用户信息的查询筛选了，通常这种表都是非常大数据量的，在不考虑分库分表的情况下，怎么通过索引配合SQL来优化呢？

通常我们在编写SQL是会写出类似如下的SQL来执行，有 where、order by、limit 等条件来查询。

那么接下来小二一个一个慢慢增加字段来分析分析，怎么根据业务场景来设计索引。

针对这种情况，很简单，设计一个联合索引 (provice, city, sex) 就完事了。

那么这时候有小伙伴就会说了，很简单啊，范围字段放最后咱还是知道的，联合索引改成 (provice, city, sex, age) 不就可以了。

嗯，是的，这么干没毛病，但是小伙伴们有没有想过有些人万一既喜欢帅哥又喜欢美女，别想歪了哈...，挺多小姐姐就既喜欢帅哥又喜欢美女的。

那么这个时候小姐姐就不搜索性别了，那么这个时候联合索引只能用到前两个字段了，那么不符合咱们的专业标准啊，咋办呢？这时候还是有办法的，咱们只需要动动小脑袋改改SQL就行了，在没有选择性别时判断一下，改成下面这样就可以了。

咋办嘞，同样往联合索引里面塞，例如 (provice, city, sex, hobby, xx, age) 。

针对这种多个范围查询的话，为了比较好的利用索引，在业务允许的情况下可以使用固定范围，然后数据库字段存储范围标识就可以了，这样就转化为了等值匹配，就可以很好地利用索引了。

例如最后登录时间字段不记录最后登录时间，而是记录设置字段 is_login_within_seven_days 在7天内有登录则为1，否则为0，最后索引设计成 (provice, city, sex, hobby, xx, is_login_within_seven_days, age) 。

那么根据场景最后设计出来的这个索引可能已经可以覆盖大部分的查询流量了，那么如果还有其他一部分热度比较高的查询怎么办呢，办法也很简单啊，再加一两个索引即可。

例如通常会查询这个城市比较受欢迎(评分：score)的小姐姐，这时候添加一个联合索引 (provice, city, sex, score) 那么就可以了。

可以看出，索引时必须结合场景来设计的，思路就是尽量用不超过3个复杂的联合索引来抗住大部分的80%以上的常用查询流量，然后再用一两个二级索引来抗下一些非常用查询流量。

以上就是小二要给大家分享的索引设计，如果能动动你发财的小手给小二点个免费的赞就更好啦~

下篇小二就来讲讲MySQL事务和锁机制。

mysql 优化包括哪些内容？

mysql的优化大的有两方面：

1、配置优化

配置的优化其实包含两个方面的：操作系统内核的优化和mysql配置文件的优化

1)系统内核的优化对专用的mysql服务器来说，无非是内存实用、连接数、超时处理、TCP处理等方面的优化，根据自己的硬件配置来进行优化，这里不多讲；

2)mysql配置的优化，一般来说包含：IO处理的常用参数、最大连接数设置、缓存使用参数的设置、慢日志的参数的设置、innodb相关参数的设置等，如果有主从关系在设置主从同步的相关参数即可，网上的相关配置文件很多，大同小异，常用的设置大多修改这些差不多就够用了。

2、sql语句的优化

1）  尽量稍作计算

Mysql的作用是用来存取数据的，不是做计算的，做计算的话可以用其他方法去实现，mysql做计算是很耗资源的。

2）尽量少 join

MySQL 的优势在于简单，但这在某些方面其实也是其劣势。MySQL 优化器效率高，但是由于其统计信息的量有限，优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 Join，一方面由于其优化器受限，再者在 Join 这方面所下的功夫还不够，所以性能表现离 Oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询，这一差距就会极小甚至在有些场景下要优于这些数据库前辈

3）尽量少排序

排序操作会消耗较多的 CPU 资源，所以减少排序可以在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL的响应时间。

对于MySQL来说，减少排序有多种办法，比如：

通过利用索引来排序的方式进行优化

减少参与排序的记录条数

非必要不对数据进行排序

4）尽量避免 select *

在数据量少并且访问量不大的情况下，select * 没有什么影响，但是量级达到一定级别的时候，在执行效率和IO资源的使用上，还是有很大关系的，用什么字段取什么字段，减少不必要的资源浪费。

5）尽量用 join 代替子查询

虽然 Join 性能并不佳，但是和 MySQL 的子查询比起来还是有非常大的性能优势。MySQL 的子查询执行计划一直存在较大的问题，虽然这个问题已经存在多年，但是到目前已经发布的所有稳定版本中都普遍存在，一直没有太大改善。虽然官方也在很早就承认这一问题，并且承诺尽快解决，但是至少到目前为止我们还没有看到哪一个版本较好的解决了这一问题。

MySQL RANGE优化

范围访问方法使用一个索引来检索包含一个或多个索引间隔中的表行的子集。它可以使用索引中的一列或者多列，以下各节描述了优化器使用范围访问的条件

对于一个单列索引，索引值间隔可以方便地由 WHERE 条件中的相应条件表示，表示为范围条件而不是 intervals 。

上述的 常量 指以下情况之一：

以下是在 WHERE 子句中具有范围条件的查询示例

一些非常量可能会在优化器传播阶段转换为常量

MySQL对于每个可能使用的索引，尝试从 WHERE 子句中提取范围条件。在提取过程中，不能用于构建条件范围的条件被删除，产生重复范围的条件被合并，产生空范围的条件被删除。

假设有以下语句， key1 是一个被索引的列，而 nonkey 没有索引

提取 key1 索引的过程如下：

通常，范围扫描使用的条件比 WHERE 子句中的限制要少()。MySQL执行额外的检查来过滤满足范围条件但是不完全满足 WHERE 子句的行。

范围条件提取算法可以处理任意深度嵌套的 AND/OR 构造，并且它的输出不取决于条件在 WHERE 子句中出现的顺序

MySQL不支持为空间索引的 range 访问合并多个范围。要解决此限制，可以在相同的 SELECT 语句中使用 UNION 语句，将每个空间谓词放在不同的 SELECT 中。

多列索引的范围条件是单列索引的扩展，多列索引的范围条件将索引行限制在一个或多个索引元组的间隔中。索引元组间隔是一个按照索引顺序的，索引元组的集合。

假设有一个多列索引 key1(key_part1,key_part2,key_part3) ,按照索引顺序，具有以下键值元组列表

key_part1 = 1 定义了一个间隔： (1,-inf,-inf) = (key_part1,key_part2,key_part3) (1,+inf,+inf) ，这个间隔包括上面的第4、5、6个元组并且可以被用来进行范围访问。

但是， key_part3 = 'abc' 没有定义间隔并且不能被范围访问方法使用。

就是索引的最左前缀原则，B树索引是有序的，多列索引是首先按照第一列进行排序，然后在第一列排序的基础上，再对第二列数据进行排序，所以后面的列的顺序独立来看不是有序的，就不能单独用后面的列来进行排序或者范围访问的操作。

对于 HASH 索引，只能使用包含相同值的每个间隔。这意味着只能针对以下形式的条件生成间隔：

这里， const1,const2... 是常量， cmp 是比较表达式： =,=,IS NULL ,并且条件覆盖所有的索引部分（就是说，如果有 N 个条件，那么每个条件都需要是一个 N列 索引的一部分）。例如：以下是一个三列 HASH 索引的一个范围条件

对于 BTREE 索引，一个间隔可以是使用 AND 组成的多个范围条件的集合，每个条件都将索引的一部分和一个常量使用 =,=,IS NULL,,,=,=,!=,,BETWEENT,LIKE 'pattern'(pattern不以通配符开始) 进行比较。只要可以确定与条件匹配的一个索引元组，就可以使用一个间隔（ !=, 使用两个间隔）

当比较运算符是 =,=,IS NULL 时，优化器尝试使用索引的其他部分来确定间隔。如果比较运算符是 , , =, =, !=, , BETWEEN, LIKE ,优化器使用索引，但不考虑索引中的其他列。

对于以下表达式，优化器使用第一个 = ，也会使用第二个 = ,但是忽略其他索引部分，并且不将第三部分用作间隔构造。

key_part1 = 'foo' AND key_part2 = 10 AND key_part3 10

单个间隔为：

创建的间隔中可能包括比原始条件更多的行，比如，前面这个间隔可能会包括 ('foo',11,0) 这个值， 010 ,这个值不满足原始条件

如果覆盖间隔中的行集合的条件使用 OR 进行组合，则他们会形成间隔的并集。

如果条件使用 AND 进行组合，他们形成一个包括间隔交集的行集合。

示例：

这个在两列索引上的条件：

(key_part1 = 1 AND key_part2 2) OR (key_part1 5)

间隔是：

可以查看 EXPLAIN 输出中的 key_len 部分查看使用的索引前缀的最大长度。

在某些情况下， key_len 包括已使用的索引列，但是这个列可能不是你期望的，假设 key_part1 和 key_part2 可以为 NULL ,然后， key_len 显示以下条件的两个索引部分长度：

key_part1 = 1 AND key_part2 2

但是实际上，这个条件被转换为：

key_part1 = 1 AND key_part2 IS NOT NULL

假设以下表达式, col_name 是一个索引的列

只要 col_name 等同于这些值中的任意一个，这个表达式结果就是 true 。这种比较是等值范围比较（其中的“范围”是一个单独的值）。

优化器按照以下方法，估算读取相等的值来进行等值范围比较的成本：

当使用 index dive 时，优化器在每个范围的末端进行 dive 并且使用该范围中的行数作为估算值。例如： col_name IN (10, 20, 30) 具有三个等值范围，优化器对每个范围进行两次 dive 以生成估算值。每次 dive 都会得出具有给定值的行数的估算值。

使用 index dive 提供了准确的行数估算值，但是随着表达式中要比较的值的数量增加，优化器需要使用更长的时间来生成行数的估算值。而使用索引统计信息的准确性不如直接使用索引，但是可以对大表进行更快的估算。

eq_range_index_dive_limit 选项可以控制优化器选择评估策略的值。要对 N 个等值范围使用 index dive ，将 eq_range_index_dive_limit 设置为 N+1 ,要禁用统计信息，总是使用 index dive ，将 eq_range_index_dive_limit 设置为0。

在MySQL8.0以前，除了使用 eq_range_index_dive_limit ，没有其他方法可以跳过 index dive 。在MySQL8.0中，当满足以下条件时，跳过 index dive :

对于 EXPLAIN FOR CONNECTION ,如果跳过了 index dive ，输出结果有所变更：

不包括 FOR CONNECTION 的 EXPLAIN 输出没有变化

在执行跳过 index dive 的查询后， INFORMATION_SCHEMA.OPTIMIZER_TRACE 表包含一个值为 skipped_due_to_force_index 的 index_dives_for_range_access 行

优化器可以对这种形式的查询进行范围扫描：

SELECT ... FROM t1 WHERE ( col_1, col_2 ) IN (( 'a', 'b' ), ( 'c', 'd' ));

要使用范围扫描，查询必须满足以下条件：

要控制有多少内存可以用来进行范围优化，使用 range_optimizer_max_mem_size 变量

使用以下原则估算范围扫描使用的内存：

IN() 中的每个值被当做使用 OR 结合的一个谓词。如果有两个 IN() 列表，每个列表中都是列表中的值的数量个谓词通过 OR 结合。在这种情况下，视作 M × N 个 谓词通过OR 结合。