mysql怎么压缩数据 mysql 数据压缩

如何对Mysql 数据表压缩

633M -rw-rw---- 1 mysql mysql 632M Oct 25 17:51 url_comment_0.ibd

网站建设哪家好，找成都创新互联！专注于网页设计、网站建设、微信开发、小程序制作、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了克什克腾免费建站欢迎大家使用！

12K -rw-rw---- 1 mysql mysql 8.7K Oct 25 18:16 url_comment_0.frm

178M -rw-rw---- 1 mysql mysql 178M Oct 25 18:53 url_comment_0.MYD

99M -rw-rw---- 1 mysql mysql 98M Oct 25 18:53 url_comment_0.MYI结论:由上面数据可知innodb plugin能有效压缩innodb数据文件,近50%,另外相同的情况下使用MyISAM表也可较大的减少数据大小(178+99633M).

当然实际的压缩比例和表的结构等有关,如字段为varchar会有较大的压缩比,而int类型压缩率会低些~

其它的压缩技术还可以使用myisampack,ARCHIVE,infobright等技术,但是这些技术常是用于数据表归档操作,令数据表有较大压缩比,但有不能进行update,insert操作等缺点,不在本文讨论范围~

MySQL的备份与还原，非常规备份，全量备份，增量备份

1：官方百万级别的测试数据库：

官方测试数据库github网址：

下载到目录，解压即可，运行命令：

2：自己创建简单测试数据库：

快速随机生成测试语言的网站：

选择sql和想生成的字段，点击生成Generate!生成即可。

在MySQL输入生成的语句即可。

3：测试备份还原时用到的命令

删库跑路测试（先备份好）

还原后查询库的表数据是否完整。

采用复制整个数据存放目录

1：查看数据库数据存放位置

有两种方法：

1)：在数据库中用命令 show variables like 'datadir'; 查看

2)：在配置文件中查看，配置了 datadir 目录的可查看。没有配置的默认为 /var/lib/mysql/ 位置

Linux中查看配置文件

2：复制目录或者目录下某个数据库名

3：还原时直接复制文件夹到数据库目录即可

mysqldump又可叫做全量备份。

参数 --databases 同 -B ，单独一个库，也可省略。

1、备份命令mysqldump格式

格式：mysqldump -h主机名 -P端口 -u用户名 -p密码 database 数据库名 文件名.sql

备份testDatabase数据库

2、备份MySQL数据库为带删除表的格式

备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。

3、直接将MySQL数据库压缩备份

备份并压缩

4、备份MySQL数据库某个(些)表

备份testDatabase中的myTable表，不需要用参数 --databases 或者 -B

5、同时备份多个MySQL数据库

同时备份testDatabase和 employees两个库

6、备份服务器上所有数据库

参数 --all-databases 同 -A

7、还原MySQL数据库的命令

1) 不指定数据名还原，默认生成原数据库名称，还原所有数据库。

2) 指定数据名还原，还原指定单个数据库，需在数据库种预先创建一个testDatabase名称。

3) 还原压缩的MySQL数据库

4) 进入数据库用source导入

增量备份是针对于数据库的bin-log日志进行备份的，增量备份是在全量的基础上进行操作的。增量备份主要是靠mysql记录的bin-log日志。

1：查看是否开启bin-log日志

进入mysql输入命令可查看。

显示如下为开启状态，日志文件在/var/lib/mysql/以binlog.00001的格式保存。

如未开启，需要在配置文件种配置

2：查看目前使用的bin-log日志文件

进入mysql查看命令。

显示如下，目前使用的是binlog.000022文件，所有操作都记录在此文件。

查看当前testDatabase的表myTable数据如下，

3：刷新日志，使用新的日志文件（备份）

在命令端执行命令

日志文件从 binlog.000022 变为 binlog.000023

这时相当与已经备份成功，备份文件即为上次的binlog.000022日志文件。

4：删除数量，从日志还原数据

1) 删除ABC行

查询以及没有ABC行列。

2) 恢复数据ABC行

退出mysql，在命令端用mysqlbinlog命令恢复到binlog.000022日志状态。

进入数据库再次查看数据，ABC已经恢复。

增量备份完成。

如何压缩Mysql数据库

压缩表从名字上来看，简单理解为压缩后的表，也就是把原始表根据一定的压缩算法按照一定的压缩比率压缩后生成的表。

1.1 压缩能力强的产品

表压缩后从磁盘占用上看要比原始表要小很多。如果你熟悉列式数据库，那对这个概念一定不陌生。比如，基于 PostgreSQL 的列式数据库 Greenplum；早期基于 MySQL 的列式数据库 inforbright；或者 Percona 的产品 tokudb 等，都是有压缩能力非常强的数据库产品。

1.2 为什么要用压缩表？

情景一：磁盘大小为 1T，不算其他的空间占用，只能存放 10 张 100G 大小的表。如果这些表以一定的比率压缩后，比如每张表从 100G 压缩到 10G，那同样的磁盘可以存放 100 张表，表的容量是原来的 10 倍。情景二：默认 MySQL 页大小 16K，而 OS 文件系统一般块大小为 4K，所以在 MySQL 在刷脏页的过程中，有一定的概率出现页没写全而导致数据坏掉的情形。比如 16K 的页写了 12K，剩下 4K 没写成功，导致 MySQL 页数据损坏。这个时候就算通过 Redo Log 也恢复不了，因为几乎有所有的关系数据库采用的 Redo Log 都记录了数据页的偏移量，此时就算通过 Redo Log 恢复后，数据也是错误的。所以 MySQL 在刷脏数据之前，会把这部分数据先写入共享表空间里的 DOUBLE WRITE BUFFER 区域来避免这种异常。此时如果 MySQL 采用压缩表，并且每张表页大小和磁盘块大小一致，比如也是 4K，那 DOUBLE WRITE BUFFER 就可以不需要，这部分开销就可以规避掉了。查看文件系统的块大小：

root@ytt-pc:/home/ytt#  tune2fs -l /dev/mapper/ytt--pc--vg-root  | grep -i 'block size'Block size:               4096

1.3 压缩表的优势

压缩表的优点非常明显，占用磁盘空间小！由于占用空间小，从磁盘置换到内存以及之后经过网络传输都非常节省资源。

简单来讲：节省磁盘 IO，减少网络 IO。

1.4 压缩表的缺陷

当然压缩表也有缺点，压缩表的写入（INSERT,UPDATE,DELETE）比普通表要消耗更多的 CPU 资源。

压缩表的写入涉及到解压数据，更新数据，再压缩数据，比普通表多了解压和再压缩两个步骤，压缩和解压缩需要消耗一定的 CPU 资源。所以需要选择一个比较优化的压缩算法。

1.5 MySQL 支持的压缩算法

这块是 MySQL 所有涉及到压缩的基础，不仅仅用于压缩表，也用于其它地方。比如客户端请求到 MySQL 服务端的数据压缩；主从之间的压缩传输；利用克隆插件来复制数据库操作的压缩传输等等。

从下面结果可以看到 MySQL 支持的压缩算法为 zlib 和 zstd，MySQL 默认压缩算法为 zlib，当然你也可以选择非 zlib 算法，比如 zstd。至于哪种压缩算法最优，暂时没办法简单量化，依赖表中的数据分布或者业务请求。

MYSQL表压缩和整理

MYSQL表压缩和整理如下：

633M

-rw-rw----

1

mysql

mysql

632M

Oct

25

17:51

url_comment_0.ibd

12K

-rw-rw----

1

mysql

mysql

8.7K

Oct

25

18:16

url_comment_0.frm

178M

-rw-rw----

1

mysql

mysql

178M

Oct

25

18:53

url_comment_0.MYD

99M

-rw-rw----

1

mysql

mysql

98M

Oct

25

18:53

url_comment_0.MYI

结论:由上面数据可知innodb

plugin能有效压缩innodb数据文件,近50%,另外相同的情况下使用MyISAM表也可较大的减少数据大小(178+99633M).

当然实际的压缩比例和表的结构等有关,如字段为varchar会有较大的压缩比,而int类型压缩率会低些。