首页 / MYSQL / MySQL逻辑备份利器-mydumper

MySQL逻辑备份利器-mydumper

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MySQL逻辑备份利器-mydumper，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4670字，纯文字阅读大概需要7分钟。

内容图文

开始我去尝试mysqldump，看到参数：-B [table1,table2......table n] ,多么厚颜无耻的说咱支持多个指定表备份，5个以下完全接受，但是我要备份1000个表，你要让我在那列1000个吗？我始终不相信，mysqldump怎么能不支持表名模糊匹配呢？于是我就使用下面的写法：

mysqldump  -uxx -p -B xx  table_* > backup.sql

执行没有报错，惊喜，我就说嘛，怎么能不支持表的模糊匹配呢！！当我打开backup.sql文件时，膀胱都气炸了，尼玛直接备份了某个数据库下所有的表了。忽视我的模糊匹配嘛。从此对mysqldump没有好印象了，(当然也可能是我能力有限，还没有找到mysqldump的多表备份方式)。

转投mydumper，当我看到-x参数时，又是一喜！看看人家，写的多么清晰，于是开始使用：

一、mydumper安装：

# yum install glib2-devel mysql-devel zlib-devel pcre-devel
# wget http://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
# tar zxvf mydumper-0.9.1.tar.gz -C ../software/
# cmake .
# make
# make install

二、使用mydumper

1、刚用时报错：

/usr/local/bin/myloader: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory

解决方法：

# locate libmysqlclient.so.18
     /usr/local/mysql/lib/libmysqlclient.so.18
     /usr/local/mysql/lib/libmysqlclient.so.18.1.0
# echo "/usr/local/mysql/lib" >> /etc/ld.so.conf
# ldconfig

2、重要参数介绍：

-B, --database 需要备份的库
 
-T, --tables-list 需要备份的表，用，分隔
 
-o, --outputdir 输出目录
 
-s, --statement-size Attempted size of INSERT statement in bytes, default 1000000
 
-r, --rows 试图分裂成很多行块表
 
-c, --compress 压缩输出文件
 
-e, --build-empty-files 即使表没有数据，还是产生一个空文件
 
-x, --regex 支持正则表达式
 
-i, --ignore-engines 忽略的存储引擎，用，分隔
 
-m, --no-schemas 不导出表结构
 
-k, --no-locks 不执行临时共享读锁 警告：这将导致不一致的备份
 
-l, --long-query-guard 长查询，默认60s
 
--kill-long-queries kill掉长时间执行的查询(instead of aborting)
 
-b, --binlogs 导出binlog
 
-D, --daemon 启用守护进程模式
 
-I, --snapshot-interval dump快照间隔时间，默认60s，需要在daemon模式下
 
-L, --logfile 日志文件
 
-h, --host
 
-u, --user
 
-p, --password
 
-P, --port
 
-S, --socket
 
-t, --threads 使用的线程数，默认4
 
-C, --compress-protocol 在mysql连接上使用压缩
 
-V, --version
 
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
 
myloader参数介绍：
 
-d, --directory 导入备份目录
 
-q, --queries-per-transaction 每次执行的查询数量, 默认1000
 
-o, --overwrite-tables 如果表存在删除表
 
-B, --database 需要还原的库
 
-e, --enable-binlog 启用二进制恢复数据
 
-h, --host
 
-u, --user
 
-p, --password
 
-P, --port
 
-S, --socket
 
-t, --threads 使用的线程数量，默认4
 
-C, --compress-protocol 连接上使用压缩
 
-V, --version
 
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
 
mydumper输出文件介绍：

metadata:元数据 记录备份开始和结束时间，以及binlog日志文件位置。
table data:每个表一个文件
table schemas:表结构文件
binary logs: 启用--binlogs选项后，二进制文件存放在binlog_snapshot目录下
daemon mode:在这个模式下，有五个目录0，1，binlogs，binlog_snapshot，last_dump。
备份目录是0和1，间隔备份，如果mydumper因某种原因失败而仍然有一个好的快照，
当快照完成后，last_dump指向该备份。

3、用例

# 将某个库下日表备份
mydumper -x "new_broker.broker_action_log_*"  -o /data/dbbackup/tmp/   --host=‘xxxx‘ --user=‘xxxx‘ --password=‘xxx‘ --port=‘3306‘ --logfile=‘/data/dbbackup/tmp/mydumper.log‘  --threads=6 -v 3

#将备份数据恢复到新数据库broker_biz_log中
myloader  -t 6 -v 3 --host=‘xxxx‘ --user=‘xxxx‘ --password=‘xxxx‘ --port=‘3306‘  -B broker_biz_log  --directory=‘/data/dbbackup/tmp‘

4、使用误区

需求1：备份多个数据库下所有表

【错误案例，有部分库导出失败】

nohup mydumper -x "(test_db.*)|(test.*)|(mysql.*)" -o /data/dbbackup/mydumper/ --host=‘192.168.1.20‘ --user=‘secret‘ --password=‘xx‘ --port=‘3306‘ --logfile=‘/data/dbbackup/mydumper/mydumper.log‘ --threads=6 -v 3 &

【正确的写法】

nohup mydumper -x "(test_db|test|mysql).*" -o /data/dbbackup/mydumper/ --host=‘192.168.1.20‘ --user=‘secret‘ --password=‘xx‘ --port=‘3306‘ --logfile=‘/data/dbbackup/mydumper/mydumper.log‘ --threads=6 -v 3 &

需求2：备份所有数据库下所有表

mydumper -o /data/dbbackup/mydumper/ --host=‘ip‘ --user=‘secret‘ --password=‘xx‘ --port=‘3306‘ --logfile=‘/data/dbbackup/mydumper/mydumper.log‘ --threads=6 -v 3

[myloader]

--将/data/dbbackup/mydumper上的所有库都恢复

【正确的写法】

nohup myloader -t 6 -v 3 -u secret -p xxx -S /tmp/mysql.sock --directory=‘/data/dbbackup/mydumper‘ &

【值得注意的是： myloader是以.为分隔符来截取库名的，所以如果本身库的名字中包含.的，那么会失败】

MySQL逻辑备份利器-mydumper

标签：erro tab 存储引擎需要 bsp port 存储 files 为什么

本文系统来源：http://www.cnblogs.com/mysql-dba/p/6475822.html

内容总结

以上是互联网集市为您收集整理的MySQL逻辑备份利器-mydumper全部内容，希望文章能够帮你解决MySQL逻辑备份利器-mydumper所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/475587.html

来源：【匿名】

【上一篇】170221、浅谈mysql的SQL的四种连接【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【MySQL逻辑备份利器-mydumper】教程文章相关的互联网学习教程文章

MYSQL代码定期备份Mysql数据库

相信很多个人网站的站长，或者是独立Blog的博主，都有着备份数据库这样一个需求。当然WordPress这样插件非常丰富的Blog系统有好多能帮你完成这项任务的插件。如果您需要自己亲手来备份数据库的话，我贴一个Mysql自动备份脚本供大家参考，在国外网站上看到的，还是不错，实现了定期备份Mysql数据库，并且可以选在在每周的一天做指定目录下文件的全面备份，备份文件自动上传到你指定的FTP上，保证了备份的可靠性。如果只是把数据库备...

mysql多种备份与恢复方式一【代码】

基于mysql社区版5.7,严重声明：本文中图方便直接写入了-p数据库密码，在生产环境中如果指定了一定要使用history -C清空历史命令记录哦，所有博客作者原创纯手打，转载一定要注明本博客链接，感谢！通过mysqldump方式进行备份和恢复物理备份：拷贝mysql下的数据目录将其备份即为物理备份。逻辑备份：使用mysqldump进行备份可以进行逻辑备份。完全备份：备份所有数据。增量备份：备份上次备份后，所有新产生的数据。差异备份：备份完...

MYSQL数据导出备份、导入的几种方式

第一种 mysqldump:这是mysql自带的备份命令,提供了很多扩展参数可供选择,工作中常用此方式常用语法: mysqldump[options] database [tables,多个表用空格隔开] --databases [options] BD1 [DB2..多个库用空格隔开] --all-databases [options]导出(备份): 导出库 > SQL文件(本地导入导出不需要-P3306 -h 192.168.1.25)(-q –e写法可以合并)mysqldump -P 3306 -h 192.168.1.25...

mysql备份的三种方式详解

一、备份的目的做灾难恢复：对损坏的数据进行恢复和还原需求改变：因需求改变而需要把数据还原到改变以前测试：测试新功能是否可用二、备份需要考虑的问题可以容忍丢失多长时间的数据；恢复数据要在多长时间内完；恢复的时候是否需要持续提供服务；恢复的对象，是整个库，多个表，还是单个库，单个表。三、备份的类型 1、根据是否需要数据库离线冷备（cold backup）：需要关mysql服务，读写请求均不允许状态下进行；温备（warm ba...

mysql恢复备份数据时，部分表数据丢失的问题

原因：是由于默认的通信缓冲区的最大长度为50M（max_allowed_packed）。处理办法：//查看当前max_allowed_packet的大小show global variables like ‘max_allowed_packet‘;//修改max_allowed_packet的大小 set global max_allowed_packet=1024*1024*50;原文：https://www.cnblogs.com/GaoAnLee/p/10683422.html

mysql主从热备份【代码】

master主服务器：ip:192.168.5.112 sudo vi /etc/mysql/my.cnf[mysqld] server-id=1 log-bin=mysql-bin #一定要把下面的一句话注销，否则无法远程登录服务器 #bind-address = 127.0.0.1 #这里可以设置哪些库需要备份，哪些不需要，我在这里没有设置 #binlog_do_db = include_database_name #binlog_ignore_db = include_database_name修改完成之后，运行mysql -uroot -proot新建查询用户：mysql> CREATE USER...

linux下自动备份MySQL数据并上传到FTP上的shell脚本

复制代码代码如下:#!/bin/bash #Mysql autobackup shell # # #----------------set the mysql login parameters dbuser=root dbpasswd= dbserver=localhost dbname=fwserver2008 dbopt=--opt backupdir=/dbbackup/ #-----------------set the FTP paramters , 0 no send to a ftp server,1 send to a ftp server copytoftp=1 ftpserver=172.16.25.2 ftpuser=linux ftppasswd=123456 #----------------set the backpfile paramters...

Linux命令：MySQL系列之十二--MySQL备份与还原（重要章节）【代码】【图】

一、数据备份备份类型：热备份、温备份和冷备份热备份：读、写不受影响；温备份：仅可以执行读操作；冷备份：离线备份，读、写操作均中止；备份方式：物理备份和逻辑备份：物理备份：复制数据文件，速度快，保存数据库的所有数据结构，如果数据跟数据库关联性强，导致物理备份可移植性能力不强；逻辑备份：将数据导出至文本文件中，速度慢、丢失浮点数精度；方便使用文本处理工具直接对其处理，...

mysql 数据库的主从复制及备份、恢复【代码】

##远程登录MySql mysql -h62.234.124.229 -P31306 -ucrab -p123456mysql --host=62.234.124.229 --user=yq --password=123456##给远程登录的用户授权: grant all on *.* to crab@‘114.248.166.196‘ identified by ‘123456‘; grant select,update,delete on *.* to crab@‘114.248.166.196‘ identified by ‘123456‘;crab@‘114.248.166.196‘:权限一定是用户名+ip地址; crab@‘114.248.166.%‘ crab@‘114.248.%‘ crab@‘%‘...

mysql 备份还原数据库

备份和还原都在bin目录下操作1.备份mysqldump -u 用户名 -p 密码 --default-character-set=utf8 数据库名称 >d:/temp.sql2.还原先建立mysql空数据库mysql -h host -u 用户名 -p 密码 --default-character-set=utf8 空数据库名称 <d:/temp.sql 原文：http://www.cnblogs.com/daviddong/p/6264708.html

mysql-数据备份与还原【代码】【图】

一、数据备份1、使用mysqldump命令备份　　mysqldump命令将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。　　mysqldump命令的工作原理很简单。它先查出需要备份的表的结构，再在文本文件中生成一个CREATE语句。然后，将表中的所有记录转换成一条INSERT语句。然后通过这些语句，就能够创建表并插入数据。　　1、备份一个数据库　　mysqldump基本语法：mysqldump -u username -p dbname table1...

自动删除Mysql备份（数组+for）【代码】

#!/bin/bash #author:V #Dispaly:auto delete mysql backup.BACKDIR=(/home/11/mysqlbackup/ /home/full/) DAYS=2 FILENAME="full*" LOGNAME=/var/log/autodel.log DATA=`date +%Y%m%d` echo ${BACKDIR[*]} for i in ${BACKDIR[*]} dofind $i -name "$FILENAME" -type f -mtime +$DAYS -exec rm {} \; >> $LOGNAME 2>&1 if [ $? -eq 0 ];thenecho "$DATA $i OK">>$LOGNAME elseecho "$DATA $i FAIL">>$LOGNAMEexit 0 fidone 原文：...

（4.11）mysql备份还原——mysql闪回技术（基于binlog）

0、闪回技术与工具简介mysql闪回工具比较流行三大类：【0.1】官方的mysqlbinlog：支持数据库在线/离线，用脚本处理binlog的输出，转化成对应SQL再执行。通用性不好，对正则、sed等需要较高熟练度。【0.2】第三方的mysqlbinlog工具，比官方的工具多了一个闪回功能 -B【0.3】开源的binlog2sql：兼容性比较好，使用难度小，使用简单，前提是mysql必须开启。最佳实践：线上使用binlog2sql，线下用mysqlbinlog以及mysqlbinlog_flashbac...

MySQL备份锁

无论逻辑备份还是物理备份，为了获取一致性位点，都强依赖于FTWRL(Flush Table With Read Lock)。这个锁杀伤力非常大，因为持有锁的这段时间，整个数据库实质上不能对外提供写服务的。此外，由于FTWRL需要关闭表，如有大查询，会导致FTWRL等待，进而导致DML堵塞的时间变长。即使是备库，也有SQL线程在复制来源于主库的更新，上全局锁时，会导致主备库延迟。FTWRL这把锁持有的时间主要与非innodb表的数据量有关，如果非innodb表数据...

利用shell脚本实现对mysql数据库的备份

1234567891011121314151617181920212223242526272829303132333435#!/bin/bash #保存备份个数 number=3 #备份保存路径 backup_dir=/root/mysqlbackup #日期 dd=`date +%Y%m%d` #备份工具 tool=mysqldump #用户名 username=mracale #密码 password=456852 #将要备份的数据库 database_name=test #简单写法 mysqldump -u root -p123456 users > /root/mysqlbackup/users-$filename.dump$tool -u $username -p$password $databa...

首页 / MYSQL / MySQL逻辑备份利器-mydumper

MySQL逻辑备份利器-mydumper

内容导读

内容图文

内容总结

内容备注

内容手机端

【MySQL逻辑备份利器-mydumper】教程文章相关的互联网学习教程文章

MYSQL代码定期备份Mysql数据库

mysql多种备份与恢复方式一【代码】

MYSQL数据导出备份、导入的几种方式

mysql备份的三种方式详解

mysql恢复备份数据时，部分表数据丢失的问题

mysql主从热备份【代码】

linux下自动备份MySQL数据并上传到FTP上的shell脚本

Linux命令：MySQL系列之十二--MySQL备份与还原（重要章节）【代码】【图】

mysql 数据库的主从复制及备份、恢复【代码】

mysql 备份还原数据库

mysql-数据备份与还原【代码】【图】

自动删除Mysql备份（数组+for）【代码】

（4.11）mysql备份还原——mysql闪回技术（基于binlog）

MySQL备份锁

利用shell脚本实现对mysql数据库的备份

MYSQL - 相关标签

备份 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程