mysql数据大怎么处理 mysql数据库

mysql表数据量太大，达到了1亿多条数据，除了分库分表之外，还有没有其他的解决方式？

mysql在常规配置下，一般只能承受2000万的数据量(同时读写，且表中有大文本字段，单台服务器)。现在超过1亿，并不断增加的情况下，建议如下处理：

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名注册、网站空间、营销软件、网站建设、沙坪坝网站维护、网站推广。

1分表。可以按时间，或按一定的规则拆分，做到查询某一条数据库，尽量在一个子表中即可。这是最有效的方法

2读写分离。尤其是写入，放在新表中，定期进行同步。如果其中记录不断有update，最好将写的数据放在redis中，定期同步

3表的大文本字段分离出来，成为独立的新表。大文本字段，可以使用NOSQL数据库

4优化架构，或优化SQL查询，避免联表查询，尽量不要用count(*),in，递归等消耗性能的语句

5用内存缓存，或在前端读的时候，增加缓存数据库。重复读取时，直接从缓存中读取。

上面是低成本的管理方法，基本几台服务器即可搞定，但是管理起来麻烦一些。

当然，如果整体数据量特别大的话，也不在乎投入费用的话，用集群吧，用TIDB吧

mysql 数据量超过百万后怎么处理

我们经常会遇到操作一张大表，发现操作时间过长或影响在线业务了，想要回退大表操作的场景。在我们停止大表操作之后，等待回滚是一个很漫长的过程，尽管你可能对知道一些缩短时间的方法，处于对生产环境数据完整性的敬畏，也会选择不做介入。最终选择不作为的原因大多源于对操作影响的不确定性。实践出真知，下面针对两种主要提升事务回滚速度的方式进行验证，一种是提升操作可用内存空间，一种是通过停实例，禁用 redo 回滚方式进行进行验证。

仔细阅读过官方手册的同学，一定留意到了对于提升大事务回滚效率，官方提供了两种方法：一是增加 innodb_buffer_pool_size 参数大小，二是合理利用 innodb_force_recovery=3 参数，跳过事务回滚过程。第一种方式比较温和，innodb_buffer_pool_size 参数是可以动态调整的，可行性也较高。第二种方式相较之下较暴力，但效果较好。

两种方式各有自己的优点，第一种方式对线上业务系统影响较小，不会中断在线业务。第二种方式效果更显著，会短暂影响业务连续，回滚所有没有提交的事务。

mysql 如何处理亿级数据

1、数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。　

2、最后collect 为 10万条记录，数据库表占用硬盘1.6G。OK ,看下面这条sql语句：select id,title from collect limit 1000,10; 很快；基本上0.01秒就OK，再看下面的select id,title from collect limit 90000,10; 从9万条开始分页。

3、8-9秒完成。

4、看下面一条语句:select id from collect order by id limit 90000,10; 很快，0.04秒就OK。因为用了id主键做索引当然快。