首页 / MYSQL / 使用mydumper多线程备份MySQL数据库

使用mydumper多线程备份MySQL数据库

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用mydumper多线程备份MySQL数据库，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9147字，纯文字阅读大概需要14分钟。

内容图文

mysqldump：其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工作时段执行备份工作，那么会引起DML阻塞。但一般现在的MySQL都有主从，备份也大部分在从上进行，所以锁的问题可以不用考虑。这样，mydumper能更好的完成备份任务。
Mydumper主要特性：是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具，开发人员主要来自MySQL,Facebook,SkySQL公司。

复制代码代码如下:

1：轻量级C语言写的
    2：执行速度比mysqldump快10倍
    3：事务性和非事务性表一致的快照(适用于0.2.2以上版本)
    4：快速的文件压缩
    5：支持导出binlog
    6：多线程恢复(适用于0.2.1以上版本)
    7：以守护进程的工作方式，定时快照和连续二进制日志(适用于0.5.0以上版本)
    8：开源 (GNU GPLv3)

下载安装：环境：Ubuntu 12.04

复制代码代码如下:

wget https://launchpad.net/mydumper/0.5/0.5.2/+download/mydumper-0.5.2.tar.gz

安装：解压后，有安装说明

复制代码代码如下:

apt-get install libglib2.0-dev libmysqlclient15-dev zlib1g-dev libpcre3-dev g++
cmake .
make

复制代码代码如下:

root@dd:~/mydumper-0.5.2# cmake .
-- The CXX compiler identification is GNU
-- Check for working CXX compiler: /usr/bin/c++
-- Check for working CXX compiler: /usr/bin/c++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Using mysql-config: /usr/bin/mysql_config
-- Found MySQL: /usr/include/mysql, /usr/lib/x86_64-linux-gnu/libmysqlclient_r.so;/usr/lib/x86_64-linux-gnu/libpthread.so;/usr/lib/x86_64-linux-gnu/libz.so;/usr/lib/x86_64-linux-gnu/libm.so;/usr/lib/x86_64-linux-gnu/librt.so;/usr/lib/x86_64-linux-gnu/libdl.so

CMake Warning at docs/CMakeLists.txt:9 (message):
Unable to find Sphinx documentation generator

-- ------------------------------------------------
-- MYSQL_CONFIG = /usr/bin/mysql_config
-- CMAKE_INSTALL_PREFIX = /usr/local
-- BUILD_DOCS = ON
-- RUN_CPPCHECK = OFF
-- Change a values with: cmake -D<Variable>=<Value>
-- ------------------------------------------------
--
-- Configuring done
-- Generating done
-- Build files have been written to: /root/mydumper-0.5.2
root@dd:~/mydumper-0.5.2# make
Scanning dependencies of target mydumper
[ 20%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o
[ 40%] Building C object CMakeFiles/mydumper.dir/binlog.c.o
[ 60%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o
[ 80%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.o
Linking C executable mydumper
[ 80%] Built target mydumper
Scanning dependencies of target myloader
[100%] Building C object CMakeFiles/myloader.dir/myloader.c.o
Linking C executable myloader
[100%] Built target myloader

生成2个工具：mydumper（备份），myloader（导入）

参数：
mydumper：

复制代码代码如下:

root@dd:~/mydumper-0.5.2# ./mydumper --help
Usage:
mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:
-?, --help Show help options

Application Options:
-B, --database              需要备份的库
-T, --tables-list           需要备份的表，用逗号分隔
-o, --outputdir             输出文件的目录
-s, --statement-size        生成插入语句的字节数, 默认 1000000
-r, --rows                  分裂成很多行块表
-c, --compress              压缩输出文件
-e, --build-empty-files     即使表没有数据，还是产生一个空文件
-x, --regex                 正则表达式: ‘db.table‘
-i, --ignore-engines        忽略的存储引擎，用逗号分隔
-m, --no-schemas            不导出表结构
-k, --no-locks              不执行共享读锁警告：这将导致不一致的备份
-l, --long-query-guard      设置长查询时间,默认60秒
--kill-long-queries         kill掉长时间执行的查询
-b, --binlogs               导出binlog
-D, --daemon                启用守护进程模式
-I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下
-L, --logfile               日志文件
-h, --host                  The host to connect to
-u, --user                  Username with privileges to run the dump
-p, --password              User password
-P, --port                  TCP/IP port to connect to
-S, --socket                UNIX domain socket file to use for connection
-t, --threads               使用的线程数，默认4
-C, --compress-protocol     在mysql连接上使用压缩协议
-V, --version               Show the program version and exit
-v, --verbose               更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

myloader：

复制代码代码如下:

root@dd:~/mydumper-0.5.2# ./myloader --help
Usage:
myloader [OPTION...] multi-threaded MySQL loader

Help Options:
-?, --help Show help options

Application Options:
-d, --directory                   备份文件所在的目录
-q, --queries-per-transaction     每次执行查询数量, 默认1000
-o, --overwrite-tables            如果表存在则先删除。这里注意下，使用该参数，需要备份时候要备份表结构，不然会出问题
-B, --database                    需要还原的数据库
-e, --enable-binlog               启用二进制恢复数据
-h, --host                        The host to connect to
-u, --user                        Username with privileges to run the dump
-p, --password                    User password
-P, --port                        TCP/IP port to connect to
-S, --socket                      UNIX domain socket file to use for connection
-t, --threads                     使用的线程数量，默认4
-C, --compress-protocol           连接上使用压缩协议
-V, --version                     Show the program version and exit
-v, --verbose                     更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

测试：测试基本用法

1:备份

复制代码代码如下:

./mydumper -u zjy -p ##### -h 192.168.220.245 -P 3306 -B chushihua -o /home/zhoujy/bak/

备份analyzedxy数据库到/home/zhoujy/bak/ 目录中，查看是否多线程：

复制代码代码如下:

| 4937639 | zjy | 192.168.200.25:34781 | NULL| Query   |      0 | NULL              | show processlist |
| 4937677 | zjy | 192.168.200.25:34791 | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */|
| 4937678 | zjy | 192.168.200.25:34792 | NULL| Query   |      5 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */ |
| 4937679 | zjy | 192.168.200.25:34793 | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */ |
| 4937680 | zjy | 192.168.200.25:34794 | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */ |

上面显示确实是4个线程（默认）在备份，查看备份文件：

复制代码代码如下:

root@zhoujy:/home/zhoujy/bak# ls -lh
-rw-r--r-- 1 root root 322 2013-11-14 17:59 chushihua.dba_hospital_all_name-schema.sql
-rw-r--r-- 1 root root 16M 2013-11-14 17:59 chushihua.dba_hospital_all_name.sql
-rw-r--r-- 1 root root 221 2013-11-14 17:59 chushihua.dba_hospital-schema.sql
-rw-r--r-- 1 root root 658 2013-11-14 17:59 chushihua.dba_hospital.sql
-rw-r--r-- 1 root root 198 2013-11-14 17:59 chushihua.dba_jobTitle-schema.sql
-rw-r--r-- 1 root root 300 2013-11-14 17:59 chushihua.dba_jobTitle.sql
-rw-r--r-- 1 root root 261 2013-11-14 17:59 chushihua.dba_locatedCity-schema.sql
-rw-r--r-- 1 root root 202K 2013-11-14 17:59 chushihua.dba_locatedCity.sql

分析：mydumper把数据和表结构分开备份，并且把二进制日志备份出来单独放到一个文件中。

复制代码代码如下:

metadata:元数据记录备份开始和结束时间，以及binlog日志文件位置。
table data:每个表一个文件
table schemas:表结构文件
binary logs: 启用--binlogs选项后，二进制文件存放在binlog_snapshot目录下
daemon mode:在这个模式下，有五个目录0，1，binlogs，binlog_snapshot，last_dump。
备份目录是0和1，间隔备份，如果mydumper因某种原因失败而仍然有一个好的快照，当快照完成后，last_dump指向该备份。

2：还原：还原到另一台服务器，先建立要还原的数据库(chushihua)

复制代码代码如下:

./myloader -u root -p 123456 -h 192.168.200.25 -P 3307 -B chushihua -d /home/zhoujy/bak/

和备份一样查看是否多线程：

复制代码代码如下:

上面显示确实是4个线程（默认）在还原。
进一步测试：测试一些常用的参数
1）：备份指定表（-T），并且不要导出表结构（-m）

复制代码代码如下:

./mydumper -u root-p 123456 -h 192.168.220.252 -P 3306 -m -B test -T b,a,c,d,e,g,f,h,i -o /home/zhoujy/bak/

zhoujy@zhoujy:~/bak$ ls -lh
-rw-rw-r-- 1 zhoujy zhoujy 3.4K 2013-11-14 20:57 test.a.sql
-rw-rw-r-- 1 zhoujy zhoujy 1.6M 2013-11-14 20:57 test.b.sql
-rw-rw-r-- 1 zhoujy zhoujy 7.8M 2013-11-14 20:57 test.c.sql
-rw-rw-r-- 1 zhoujy zhoujy 1.7M 2013-11-14 20:57 test.d.sql
-rw-rw-r-- 1 zhoujy zhoujy 303K 2013-11-14 20:57 test.e.sql
-rw-rw-r-- 1 zhoujy zhoujy 517K 2013-11-14 20:57 test.f.sql
-rw-rw-r-- 1 zhoujy zhoujy 646K 2013-11-14 20:57 test.g.sql
-rw-rw-r-- 1 zhoujy zhoujy 394K 2013-11-14 20:57 test.h.sql
-rw-rw-r-- 1 zhoujy zhoujy 34K 2013-11-14 20:57 test.i.sql
-rw-rw-r-- 1 zhoujy zhoujy 75 2013-11-14 20:57 metadata

2）压缩备份文件（-c），备份binlog（-b），正则表达式备份表（-x）

复制代码代码如下:

./mydumper -u root -p 123456 -h 192.168.200.25 -P 3306 -m -c -b --regex=tmp.* -B test -o /home/zhoujy/bak/

drwx------ 2 zhoujy zhoujy 4.0K 2013-11-14 21:16 binlog_snapshot
-rw-rw-r-- 1 zhoujy zhoujy 133 2013-11-14 21:16 metadata
-rw-rw-r-- 1 zhoujy zhoujy 94K 2013-11-14 21:16 test.tmp_0808.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 75K 2013-11-14 21:16 test.tmp_0809.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 25K 2013-11-14 21:16 test.tmp_0813.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 208K 2013-11-14 21:16 test.tmp_0826.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 915 2013-11-14 21:16 test.tmp_0827.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 901 2013-11-14 21:16 test.tmp_0912.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 2.1K 2013-11-14 21:16 test.tmp_0916.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 622K 2013-11-14 21:16 test.tmp_0918_a.sql.gz
-rw-rw-r-- 1 zhoujy zhoujy 28M 2013-11-14 21:16 test.tmp_0918_ff.sql.gz

如上所示，备份文件已经是压缩的了（用gzip -d 解压），并且备份出了tmp.*匹配出来的所有表，二进制日志也被备份到了binlog_snapshot文件中，并且也是被压缩的。
3）还原，表存在先删除（-o）：这里需要注意，使用该参数，备份目录里面需要有表结构的备份文件。

复制代码代码如下:

./myloader -u root -p 123456 -h 192.168.200.25 -P 3306 -o -B test -d /home/zhoujy/bak/

更多的参数效果，请自己测试。
最后测试：用mysqldump和mydumper进行对比测试。

复制代码代码如下:

#!/usr/bin/env python
#coding=utf-8
import MySQLdb
import os
import sys
import time

backup = os.system(‘‘)

def mysqldump_data():
    t1 = time.time()
    backup = os.system(‘mysqldump --no-defaults -uroot -p123456 -h192.168.200.25 --default-character-set=utf8 test > /home/zhoujy/test.bak‘)
    t2 = time.time()
    t = round(t2-t1)
    print "mysqldump Cost Time %s" %t

def mydumper_data():
    t1 = time.time()
    backup = os.system(‘mydumper -u root -p 123456 -h 192.168.200.25 -P 3306 -B test -o /home/zhoujy/bak/‘)
    t2 = time.time()
    t = round(t2-t1)
    print "mydumper Cost Time %s" %t

if __name__ ==‘__main__‘:
mysqldump_data()
mydumper_data()

测试了2个数据库：

1：

mysqldump Cost Time ：162s
mydumper Cost Time ：61s

2：

mysqldump Cost Time ：483s
mydumper Cost Time ：337s

从上面的时间来看，mydumper 确实提升了备份数据，还原也同理。

总结：
从上面的测试分析中看出mydumper可以提升备份还原的效率，提升多少受限于磁盘的IO能力，在使用前做好磁盘IO的评估，大家可以尝试使用该工具。

原文：http://www.jb51.net/article/43280.htm

内容总结

以上是互联网集市为您收集整理的使用mydumper多线程备份MySQL数据库全部内容，希望文章能够帮你解决使用mydumper多线程备份MySQL数据库所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1311890.html

来源：【匿名】

【上一篇】MySQL备份与还原【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【使用mydumper多线程备份MySQL数据库】教程文章相关的互联网学习教程文章

使用mydumper多线程备份MySQL数据库

mysqldump：其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工作时段执行备份工作，那么会引起DML阻塞。但一般现在的MySQL都有主从，备份也大部分在从上进行，所以锁的问题可以不用考虑。这样，mydumper能更好的完成备份任务。Mydumper主要特性：是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具，开发人员主要来自MySQL,Facebook,SkySQL公司。复制代码代码如下:1：轻量级C语言写的 2：执行速度比mysql...

设置mysql数据库自动备份【图】

由于项目需要，在windows下的mysql实现数据库自动备份。经资料查询和尝试，得出方法有两种：1、使用windows自带的任务计划，然后定时执行一个数据库备份的脚本。2、使用mysql管理工具navicat配置数据库的备份这里，由于第二种方法比较简单实用，我就简单描述下第二种方法（因为简单）。工具：navicat for mysqlmysql 5.5 步骤：1、打开navicat客户端，连上mysql后，双击左边你想要备份的数据库。点击“计划”，再点击“新建批处理...

【编程语言Scala之连接Mysql数据库】

import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statement;import java.sql.ResultSet;/**?* 一、变量和函数?* Scala 为定义变量提供了两种语法。使用 val定义常量，一经定义后，该变量名不能被重新赋值。?* 使用 var定义变量，可被重新赋值。在 Scala 中，鼓励使用 val，除非你有明确的需求使用 var。对于 Java 程序员来说，刚开始可能会觉得有违直觉，?* 但习惯后你会发现，大多数场合下我们都不需要...

mac 系统下安装MYSQL数据库【代码】【图】

一、安装到MySQL官网上http://dev.mysql.com/downloads/mysql/，下载mysql可安装dmg版本比如：Mac OS X ver. 10.7 (x86, 64-bit), DMG Archive下载完的文件为：mysql-5.6.10-osx10.7-x86_64.dmg1.点击，安装包里的2.点击安装安装好后，再系统偏好设置的其他里，会出现如下图标：3.点击此图标，跳出对话框点击Start MySQL Server按钮，启动mysql二、打开终端，定义mysql别名输入alias命令alias mysql=/usr/local/mysql/bin/mysql回车...

Python爬虫爬取房天下数据-入MySql数据库【代码】【图】

Python爬取房天下某城市数据随着互联网时代的兴起，技术日新月异，掌握一门新技术对职业发展有着很深远的意义，做的第一个demo，以后会在爬虫和数据分析方便做更深的研究，本人不会做详细的文档，有哪里不足的地方，希望大牛们指点讲解。废话不多说，上代码。你需要的技能：（1）对前端知识熟悉会调试浏览器（2）熟练python基础知识，对一些常用的库熟练掌握（3）掌握一般关系型数据库import requests as req import time import p...

mysql数据库第一弹【代码】

mysql（一） sql语句sql是Structured Query Language(结构化查询语言)的缩写。SQL是专为数据库而建立的操作命令集，是一种功能齐全的数据库语言。在使用它时，只需要发出“做什么”的命令，“怎么做”是不用使用者考虑的。SQL功能强大、简单易学、使用方便，已经成为了数据库操作的基础，并且现在几乎所有的数据库均支持sql。sql规范<1> 在数据库系统中，SQL语句不区分大小写(建议用大写) 。但字符串常量区分大小写。建议命令大写，...

PHP操作MYSQL数据库【代码】

一、连接及断开数据库　　1、使用mysqli 扩展（推荐），只针对mysql数据库　　　　面向对象的方式$con = new mysqli(ip,user,password);if($con->connect_error){dir("连接失败".$con->connect_error);} else{echo "连接成功";}　　　　　　$con->cloase();　　　　直接方法（面向过程）$con = mysqli_connect(ip,user,password);if($con){echomysqli_connect_error();} else {echo "连接成功";}　　　　　　mysqli_close($con) 　...

MySQL数据库：运算符【代码】

运算符比较运算符：> 大于 < 小于 >= 大于等于 <= 小于等于 = 等于 != 不等于范围运算符：between...and...(包含边界值) 类似于 >= and <= not between...and...(不包含边界值，表示不在指定范围内)集合运算符in(满足集合中任意一个值，即满足条件，就是多个or表达式)类似于 = or = not in(取值不在这个集合中)外部大于内部，建议使用in 内部大于外部，建议使用exists exists 判断是否存在如果内部查询有数据，则外部执行...

SpringMVC框架简单实现上传Excel文件,并将Excel中的数据导入mySQL数据库【图】

第一步配置DispathcherServlet文件第二步配置applicationContext文件第三步在index.jsp中第四步在HelloSpringmvc.java中写入方法第五步：与数据库进行连接第六步 mySQL实体类第七步操作excel表第八步 Dao文件第九步测试原文：http://www.cnblogs.com/Dionexin/p/6021052.html

使用Django连接mysql数据库并显示在网页上【代码】【图】

由于使用Django框架来做网站，需要动态显示数据库内的信息，所以读取数据库必须要做接下来分两步来做这个事，添加网页，读取数据库；一、添加网页首先需要在工程中新建一个apppython manage.py startapp appdata获得一个名为appdata的应用首先按添加网页的步骤添加网页，我的网页名为table.html, app名为appdatatable.html放到\newpro\templates目录下forms.py文件提前写好放在\newpro\appdatafrom django import forms class For...

在MySQL数据库中保存布尔型数据

?? 在存储数据时，经常会用到“是”、“否”或者“有”、“无”这种数据，这种时候就要应用布尔型这种数据类型了。那如何在MySQL数据库中保存呢？MySQL中保存布尔型值时，用 1 代表 TRUE，0 代表 FALSE，boolean 在 MySQL 里的类型为 tinyint(1)。??切记，MySQL 里布尔型必须是tinyint(1)，tinyint(2)是整数型了。原文：https://www.cnblogs.com/east7/p/14972095.html

成功实现Navicat访问Linux中安装的MySQL数据库【代码】【图】

成功实现Navicat访问Linux中安装的MySQL数据库 1、安装好MySQL，检查是否正常登录2、进入mysql数据库配置远程连接#将所有数据库的所有表（*.*）的所有权限（all privileges），授予通过任何ip（%）访问的root用户，密码为123123，如果要限制只有某台机器可以访问，将其换成相应的IP即可 mysql> grant all privileges on *.* to ‘root‘@‘%‘ identified by ‘ ‘;mysql> flush privileges #刷新3、退出mysql重启mysql4、开启330...

idea中通过JDBC使用MySQL数据库与常见报错情况

在IDEA中使用数据库使用官方提供的MySQL数据库，需要将数据库的驱动包添加到项目的构建路径即Project Structure->Modules->Dependencies->选择JARs，将驱动包导入。然而在web程序中，即使是这样，直接运行程序还是会出现ClassNotFoundException: com.mysql.jdbc.Driver问题。原因在于，必须将jar文件放入tomcat的lib文件夹下运行。但是如果是采用一般java程序的话，有时候会报错javax.net.ssl.SSLExceptionMESSAGE: closing inboun...

MySQL——数据库基础操作【代码】

[mysql][【优化集合】mysql数据库优化集合【代码】

三个层面：1.系统层面2.mysql配置参数3.sql语句优化===========================================================一。系统层面 ===========================================================二。mysql参数层面http://www.oicto.com/mysql-explain-show/2.1slowlog配置slowlog 配置文件： log-slow-queries=/path/to/save/slowlog long_time_query=2 变量设置： show variables like ‘%slow%‘setglobal log_slow_queries = ON...

首页 / MYSQL / 使用mydumper多线程备份MySQL数据库

使用mydumper多线程备份MySQL数据库

内容导读

内容图文

内容总结

内容备注

内容手机端

【使用mydumper多线程备份MySQL数据库】教程文章相关的互联网学习教程文章

使用mydumper多线程备份MySQL数据库

设置mysql数据库自动备份【图】

【编程语言Scala之连接Mysql数据库】

mac 系统下安装MYSQL数据库【代码】【图】

Python爬虫爬取房天下数据-入MySql数据库【代码】【图】

mysql数据库第一弹【代码】

PHP操作MYSQL数据库【代码】

MySQL数据库：运算符【代码】

SpringMVC框架简单实现上传Excel文件,并将Excel中的数据导入mySQL数据库【图】

使用Django连接mysql数据库并显示在网页上【代码】【图】

在MySQL数据库中保存布尔型数据

成功实现Navicat访问Linux中安装的MySQL数据库【代码】【图】

idea中通过JDBC使用MySQL数据库与常见报错情况

MySQL——数据库基础操作【代码】

[mysql][【优化集合】mysql数据库优化集合【代码】

MYSQL数据库 - 相关标签

SQL数据库 - 相关标签

多线程 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程