mysqldump 备份数据库 数据库内容大小不对

作者&投稿:安泳 (若有异议请与网页底部的电邮联系)
用mysqldump备份同样数据库, 连续备份三次每次备份出来的sql大小都不一样,是什么原因~

mysqldump备份同样大小的数据库的sql大小会比原文件大一些,如果一直有问题,你可以试试用第三方工具如“多备份”来备份MySQL数据库试一下,自动压缩打包个人感觉比mysqldump好用很多,你可以试试

这种情况可能就是数据库没有完全备份下来,数据不完整;如果小一点,差别不大也是正常范围;最好是在本地恢复下看看数据完整度;另外数据库在备份过程中有压缩的话,也会小很多,像国内的多备份工具,也是利用mysqldump,同时有加密压缩功能,还节省存储空间

背景

有人问mysqldump出来的insert语句,是否可以按每 10 row 一条insert语句的形式组织。

思考1:参数--extended-insert回忆过去所学:

我只知道有一对参数

--extended-insert(默认值)

表示使用长 INSERT ,多 row 在合并一起批量 INSERT,提高导入效率

--skip-extended-insert一行一个的短INSERT

均不满足群友需求,无法控制按每 10 row 一条 insert 语句的形式组织。


思考2:“避免大事务”之前一直没有考虑过这个问题。这个问题的提出,相信主要是为了“避免大事务”。所以满足 insert 均为小事务即可。下面,我们来探讨一下以下问题:1. 什么是大事务?

2. 那么 mysqldump 出来的 insert 语句可能是大事务吗?

什么是大事务?

  • 定义:运行时间比较长,操作的数据比较多的事务我们称之为大事务。

  • 大事务风险:

    ∘ 锁定太多的数据,造成大量的阻塞和锁超时,回滚所需要的时间比较长。

    ∘ 执行时间长,容易造成主从延迟。

    ∘ undo log膨胀

  • 避免大事务:我这里按公司实际场景,规定了,每次操作/获取数据量应该少于5000条,结果集应该小于2M

  • mysqldump出来的SQL文件有大事务吗?

  • 前提,MySQL 默认是自提交的,所以如果没有明确地开启事务,一条 SQL 语句就是一条事务。在 mysqldump 里,就是一条 SQL 语句为一条事务。

  • 按照我的“避免大事务”自定义规定,答案是没有的。原来,mysqldump 会按照参数--net-buffer-length,来自动切分 SQL 语句。默认值是 1M。按照我们前面定义的标准,没有达到我们的 2M 的大事务标准。--net-buffer-length 最大可设置为 16777216,人手设置大于这个值,会自动调整为 16777216,即 16M。设置 16M,可以提升导出导入性能。如果为了避免大事务,那就不建议调整这个参数,使用默认值即可。[root@192-168-199-198 ~]# mysqldump --net-buffer-length=104652800 -uroot -proot -P3306 -h192.168.199.198 test t >16M.sqlmysqldump: [Warning] option 'net_buffer_length': unsigned value 104652800 adjusted to 16777216#设置大于16M,参数被自动调整为16M


  • 注意,指的是 mysqldump 的参数,而不是 mysqld 的参数。官方文档提到: If you increase this variable, ensure that the MySQL server net_buffer_length system variable has a value at least this large.

    意思是 mysqldump 增大这个值,mysqld 也得增大这个值,测试结论是不需要的。怀疑官方文档有误。

  • 不过,在导入的时候,受到服务器参数 max_allowed_packet 影响,它控制了服务器能接受的数据包的最大大小,默认值是 4194304,即 4M。所以导入数据库时需要调整参数 max_allowed_packet 的值。set global max_allowed_packet=16*1024*1024*1024;


  • 不调整的话,会出现以下报错:[root@192-168-199-198 ~]# mysql -uroot -proot -P3306 -h192.168.199.198 test <16M.sqlmysql: [Warning] Using a password on the command line interface can be insecure.ERROR 2006 (HY000) at line 46: MySQL server has gone away


  • 相关测试最后,我放出我的相关测试步骤mysql> select version();+------------+| version()  |+------------+| 5.7.26-log |+------------+1 row in set (0.00 sec)


  • 造100万行数据

  • create database test;

  • use test;

  • CREATE TABLE `t` (

  • `a` int(11) DEFAULT NULL,

  • `b` int(11) DEFAULT NULL,

  • `c` varchar(255) DEFAULT NULL

  • ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

  • insert into t values (1,1,'abcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyztuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyz');

  • insert into t select * from t; #重复执行20次

  • # 直到出现Records: 524288  Duplicates: 0  Warnings: 0

  • # 说明数据量达到100多万条了。

  • mysql> select count(*) from t;

  • +----------+

  • | count(*) |

  • +----------+

  • |  1048576 |

  • +----------+

  • 1 row in set (1.04 sec)

  • 数据大小如下,有 284MB[root@192-168-199-198 test]# pwd/data/mysql/mysql3306/data/test[root@192-168-199-198 test]# du -sh t.ibd284M    t.ibd


  • --net-buffer-length=1M[root@192-168-199-198 ~]# mysqldump -uroot -proot -S /tmp/mysql3306.sock test t >1M.sql[root@192-168-199-198 ~]# du -sh 1M.sql225M    1M.sql[root@192-168-199-198 ~]# cat 1M.sql |grep -i insert |wc -l226


  • 默认 --net-buffer-length=1M 的情况下,225M 的SQL文件里有 226 条 insert ,平均下来确实就是每条 insert 的 SQL 大小为 1M。

  • --net-buffer-length=16M

  • [root@192-168-199-198 ~]# mysqldump --net-buffer-length=16M -uroot -proot -S /tmp/mysql3306.sock test t >16M.sql[root@192-168-199-198 ~]# du -sh 16M.sql225M    16M.sql[root@192-168-199-198 ~]# cat 16M.sql |grep -i insert |wc -l15


  • 默认--net-buffer-length=16M 的情况下,225M 的 SQL 文件里有 15 条 insert,平均下来确实就是每条 insert 的 SQL 大小为 16M。所以,这里证明了 --net-buffer-length 确实可用于拆分 mysqldump 备份文件的SQL大小的。

  • 性能测试insert 次数越多,交互次数就越多,性能越低。 但鉴于上面例子的 insert 数量差距不大,只有 16 倍,性能差距不会很大(实际测试也是如此)。我们直接对比 --net-buffer-length=16K 和 --net-buffer-length=16M 的情况,他们insert次数相差了 1024 倍。

  • [root@192-168-199-198 ~]# time mysql -uroot -proot -S /tmp/mysql3306.sock test <16K.sql

  • mysql: [Warning] Using a password on the command line interface can be insecure.

  • real    0m10.911s  #11秒

  • user    0m1.273s

  • sys    0m0.677s

  • [root@192-168-199-198 ~]# mysql -uroot -proot -S /tmp/mysql3306.sock -e "reset master";

  • mysql: [Warning] Using a password on the command line interface can be insecure.

  • [root@192-168-199-198 ~]# time mysql -uroot -proot -S /tmp/mysql3306.sock test <16M.sql

  • mysql: [Warning] Using a password on the command line interface can be insecure.

  • real    0m8.083s  #8秒

  • user    0m1.669s

  • sys    0m0.066s

  • 结果明显。--net-buffer-length 设置越大,客户端与数据库交互次数越少,导入越快。


  • 结论mysqldump 默认设置下导出的备份文件,符合导入需求,不会造成大事务。性能方面也符合要求,不需要调整参数。

  • 请点击输入图片描述



你写的没错的,你打开来两个文件对比看一下就知道了。
以下是我遇到的情况:
navicat 备份的会写完整的语句,包括列名都写进去。另外navicat还会增加换行,比如 insert into 后就加了换行,而 dump 的就不加。


富裕县13473594443: 备份或导出数据库命令mysqldump怎么使用 -
潘陶可益: 、各种用法说明A. 最简单的用法: mysqldump -uroot -pPassword [database name] > [dump file] 上述命令将指定数据库备份到某dump文件(转储文件)中,比如: mysqldump -uroot -p123 test > test.dump 生成的test.dump文件中包含建表语...

富裕县13473594443: 如何使用mysqldump命令备份mysql数据库 -
潘陶可益: 命令格式如下:mysqldump -u 用户名 数据库名 > bakfile.dump

富裕县13473594443: 如何利用mysqldump备份MySQL数据库 -
潘陶可益: 一、数据备份的重要性工作中,如果意外删除了重要的文件或者目录的话,那结果可就惨了.尤其是当误删除的数据涉及重要的客户或者关键项目,并且这些数据无法轻易重新创建的时候,那滋味,不用我说你也能想象得到.不巧的是,像这...

富裕县13473594443: mysql怎么通过备份还原数据库文件 -
潘陶可益: 一、数据备份 1、使用mysqldump命令备份 mysqldump命令将数据库中的数据备份成一个文本文件.表的结构和表中的数据将存储在生成的文本文件中. mysqldump命令的工作原理很简单.它先查出需要备份的表的结构,再在文本文件中生...

富裕县13473594443: mysql 备份命令在什么地方执行 -
潘陶可益: 使用mysqldump 命令备份1.备份一个数据库下的某些表 mysqldump -u 用户名 -p 密码 数据库名 表名1 表名2 ... >保存路径 使用该命令备份test数据库下的student表 eg:mysqldump -u root -p 123 test student >D:\student.sql2.备份多个数据库 ...

富裕县13473594443: 如何备份MYSQL数据? -
潘陶可益: 在删除mysql之前先备份自己的数据库,开始——》运行——》输入cmd 输入下面代码 mysqldump -uroot -p密码 数据库名字 > 路径+导出备份文件名字.sql 比如mysqldump -uroot -pmima mydatabase > C:/beifen.sql 这样就把你的数据库导出在C盘...

富裕县13473594443: 如何使用MySQLDumper备份MySQL数据库 -
潘陶可益: 下面是如何使用MySQLDumper备份数据库:从数据库下拉 菜单,选择要备份的数据库.从左侧导航 点击备份.在评论字段 输入注释(如果必要)( 图D ).点击开始新的备份.

富裕县13473594443: mysql怎样利用对所有数据库进行备份的备份 -
潘陶可益: Mysql数据库的常用备份方法是使用使用实用程序mysqldump, 其命令格式如下# mysqldump [options] database [tables] 其参数的含义为:options:代表mysqldump的选项,通过mysqldump –help可以查到.database: 代表将要备份的数据库 ...

富裕县13473594443: 如何用命令行备份mysql下所有数据库
潘陶可益: 关键字: mysql 还原或者导入数据库命令: mysql -u root --password=root 备份数据库命令: mysqldump -u root --password=root --database helloworld >helloworld_backup.sql 其他用法: 1.导出整个数据库 mysqldump -u 用户名 -p 数据库名 > 导出...

富裕县13473594443: 使用mysqldump备份数据库 -
潘陶可益: 运行cmd 在mysql安装目录的bin文件夹下 mysqldump -u 用户名 --password 密码 myftw>d:\myftw.sql 这样就行了

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 星空见康网