首页 / MYSQL / MySQL Backup--Xtrabackup备份限速问题

MySQL Backup--Xtrabackup备份限速问题

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了MySQL Backup--Xtrabackup备份限速问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3374字，纯文字阅读大概需要5分钟。

内容图文

在innobackupex 2.4版本中，有两个参数用来限制备份速度：

--throttle=#        
This option specifies a number of I/O operations (pairs
of read+write) per second.  It accepts an integer
argument.  It is passed directly to xtrabackup's
--throttle option.

--parallel=#       
On backup, this option specifies the number of threads
the xtrabackup child process should use to back up files
concurrently.  The option accepts an integer argument. It
is passed directly to xtrabackup's --parallel option. See
the xtrabackup documentation for details.

在percoan官方网站上对throttle参数有如下解释：

Although xtrabackup does not block your database’s operation, 
any backup can add load to the system being backed up. On systems 
that do not have much spare I/O capacity, it might be helpful to 
throttle the rate at which xtrabackup reads and writes data. 
You can do this with the xtrabackup --throttle option. This option 
limits the number of chunks copied per second. The chunk size is 10 MB.
https://www.percona.com/doc/percona-xtrabackup/2.4/advanced/throttling_backups.html

如果想将备份速度控制在50MB/s以下的话，那么throttle参数需要设置为5，使用该参数备份开始后IO使用情况为：

MySQL Backup--Xtrabackup备份限速问题 - 文章图片

备份进程一直在写xtrabackup_logfile文件，如果备份实例的数据操作较多时，会导致备份进程一直处于该状态无法继续后面操作。

PS： 备份目录下xtrabackup_logfile文件的增长速度和参数throttle密切相关。

在备份实例停止全部操作情况，使用throttle=5进行备份，备份进行执行10分钟还在处理xtrabackup_logfile文件，备份效率无法保证。

调整为throttle=10后，备份过程中期IO使用情况为：

MySQL Backup--Xtrabackup备份限速问题 - 文章图片

10*10MB/S=100MB/S=102400KB/S，证明throttle=10的确有效。

参数parallel使用多个进程来备份数据文件，在磁盘速度够快情况下，parallel能有效提升备份效率，但无法进行限速操作。

 

======================================================================================

由于参数throttle设置较低会导致无法正常备份，而设置较高又无法起到限速目的，因此考虑使用pv方式来限速。

PV 由Andrew Wood 开发，是 Pipe Viewer 的简称，经过管道显现数据处理进展的信息，控制管道数据的流入流出速度，就到控制备份的速度。

为验证pv限速和对比stream备份和普通备份的差距，设计下面三种测试方案：

方案1：使用stream=tar流时备份+使用tar -x解压到本地+使用PV限制速度200M(下图红色框标识)
方案2：不使用stream流式备份+备份本地+不限制速度(下图绿色框标识)
方案3：使用stream=tar流时备份+使用tar -x解压到本地+不限制速度(下图黄色框标识)

测试脚本为：

## 使用stream=tar流时备份
## 使用tar -x解压到本地
## 使用PV限制速度200M
innobackupex --defaults-file="/export/servers/mysql/etc/my.cnf" --host="localhost" --port=3358 --user='root' --password='root_password' --stream=tar "/export/bak/tmp/" |pv -q -L200m | tar -x

## 不使用stream流式备份
## 不限制速度
innobackupex --defaults-file="/export/servers/mysql/etc/my.cnf" --host="localhost" --port=3358 --user='root' --password='root_password' "/export/bak/full/"

## 使用stream=tar流时备份
## 使用tar -x解压到本地
## 不限制速度
innobackupex --defaults-file="/export/servers/mysql/etc/my.cnf" --host="localhost" --port=3358 --user='root' --password='root_password' --stream=tar "/export/bak/tmp/" | tar -x

 

备份对CPU的影响：

MySQL Backup--Xtrabackup备份限速问题 - 文章图片

备份对IO读写次数的影响：

MySQL Backup--Xtrabackup备份限速问题 - 文章图片

备份对IO读写速度的影响：

MySQL Backup--Xtrabackup备份限速问题 - 文章图片

 

对比发现：

1、使用pv命令可以有效限制备份读写速度，但不能精确限制读写速度(限速200MB/S，实际速度170MB/S)

2、使用stream压缩+解压进行备份时，CPU有轻微增长，但影响并不明显。

3、在不限速情况下，使用stream压缩+解压的备份效率远低于普通备份(上面测试环境下接近差一倍)

4、使用stream压缩+解压进行备份时，可以增减备份线程parallel来提高备份效率。

 

内容总结

以上是互联网集市为您收集整理的MySQL Backup--Xtrabackup备份限速问题全部内容，希望文章能够帮你解决MySQL Backup--Xtrabackup备份限速问题所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/909077.html

来源：【匿名】