首页 / MYSQL / mysqldump缺失-q参数导致MySQL被oom干掉

mysqldump缺失-q参数导致MySQL被oom干掉

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了mysqldump缺失-q参数导致MySQL被oom干掉，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3610字，纯文字阅读大概需要6分钟。

内容图文

某日凌晨收到db故障告警，上机器检查，mysql已经被myqld守护进程重新启动。检查/var/log/messages和最近的dmesg发现mysql进程是被

某日凌晨收到db故障告警，上机器检查，mysql已经被myqld守护进程重新启动。检查/var/log/messages和最近的dmesg发现mysql进程是被oom干掉了。

信息大概摘录如下：
[13045702.638964] kthread invoked oom-killer: gfp_mask=0xd0, order=1, oomkilladj=0
[13045702.638969]
[13045702.638969] Call Trace: {oom_kill_process+87}
[13045702.638977] {out_of_memory+271} {autoremove_wake_function+0}
ERROR: Fatal error found, match ERROR-KEYWORD 'out_of_memory'
...

[13045702.716335] Out of Memory: Kill process 25795 (mysqld) score 1591671 and children.
ERROR: Fatal error found, match ERROR-KEYWORD 'Out of Memory'

[13045702.716359] Out of memory: Killed process 25795 (mysqld).
.....
[13045702.802080] Out of Memory: Kill process 1907 (mysqld) score 955002 and children.
ERROR: Fatal error found, match ERROR-KEYWORD 'Out of Memory'

[13045702.802102] Out of memory: Killed process 1907 (mysqld).
....
[13045762.203463] Out of Memory: Kill process 24544 (mysqld) score 341071 and children.
ERROR: Fatal error found, match ERROR-KEYWORD 'Out of Memory'
[13045762.203485] Out of memory: Killed process 24544 (mysqld).

[13045762.322333] sap1002 invoked oom-killer: gfp_mask=0x201d2, order=0, oomkilladj=0
.....
[13045762.479886] Out of Memory: Kill process 19530 (mysqldump) score 93607 and children.
ERROR: Fatal error found, match ERROR-KEYWORD 'Out of Memory'

[13045762.479907] Out of memory: Killed process 19530 (mysqldump).

由于内存不足，系统选择性的选择了耗用内存大的几个进程kill掉了。先kill了mysqld，最后才把mysqldump kill掉，这样有理由怀疑可能是因为mysqldump耗用了大量的内存导致的。

在这个db上，每天凌晨会使用mysqldump做单表备份并通过管道进行压缩。这个备份任务已经部署了超过1年多了。
查看了后台采集的OS性能数据，也可以发现在mysqldump启动直到备份结束，内存耗用会上升比较多，这样可以肯定是因为mysqldump耗用大量内存导致此次故障发生。

check备份使用的脚本，，备份的逻辑大概如下：
1：show tables like 'xxx%' 获取需要备份的表名
2：mysqldump --uxx -pyy --skip-opt >>

至此问题就比较清晰了，mysqldump由于未使用-q参数导致耗用内存过大而导致OOM现象发生。

对mysqldump -q参数的解释（取自man mysqldump）
? --quick, -q

This option is useful for dumping large tables. It forces mysqldump to retrieve rows for a table from the server a row at a time rather than retrieving the entire row set and buffering it in memory before writing it out.

这个选项被用来dump比较大的表。它强制mysqldump从服务器一行一行的获取数据而不是把获取所有行的数据在输出之前把它缓存到内存中。

以下是一个测试，可以看到-q 参数对内存耗用的影响：
1：不带-q参数
top输出如下：
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
20010 mysql 15 0 18.0g 17g 4496 S 10 56.6 2765:51 mysqld
27518 mysql 25 0 4227m 4.1g 1048 R 100 13.1 0:33.05 mysqldump
内存耗用超过4G
2：带-q参数
top输出如下：
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
20010 mysql 16 0 18.0g 17g 4496 S 84 56.6 2766:12 mysqld
27686 mysql 25 0 11628 1380 1052 R 98 0.0 0:23.20 mysqldump
内存耗用很小，只有几K

应对方案：
修改备份脚本，加上-q参数。

到此还没完，这个备份任务已经部署了超过1年了，为啥到最近才出现此故障呢?
对DB内的数据做了个统计，需要备份表从之前100M/day的数据量突然爆增到4G/day。知会研发跟进问题，最后发现是前端配置更改导致前端不断重试导致。

体会：
在很多时候，故障的发生是很多因素交织在一起才发生的。碰到问题需要更深一层考虑去探寻问题发生的根本原因。

内容总结

以上是互联网集市为您收集整理的mysqldump缺失-q参数导致MySQL被oom干掉全部内容，希望文章能够帮你解决mysqldump缺失-q参数导致MySQL被oom干掉所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/546676.html

来源：【匿名】

【上一篇】在优化SQL语句中使用虚拟索引【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【mysqldump缺失-q参数导致MySQL被oom干掉】教程文章相关的互联网学习教程文章

Mysql备份还原数据库之mysqldump实例及参数详细说明【代码】

我们在运营项目的过程中肯定会遇到备份数据库，还原数据库的情况，我们一般用一下两种方式来处理：1.使用into outfile 和 load data infile导入导出备份数据这种方法的好处是，导出的数据可以自己规定格式，并且导出的是纯数据，不存在建表信息，你可以直接导入另外一个同数据库的不同表中，相对于mysqldump比较灵活机动。我们来看下面的例子：（1）下面的mysql命令是把select的mytable表中的数据导出到/home/db_bak2012文件。sele...

mysqldump 备份直接至压缩文件，提高备份及压缩时间

https://www.cnblogs.com/dbcloud/p/6289577.html 1、备份及压缩分开1备份 mysqldump --single-transaction -hlocalhost --all-databases --triggers --routines --events -P3306 -uroot -pxxxx >/data/test.sql1tar czvf test.tar.gz /data/test.sql --remove-files1 还原 tar xzvf test.tar.gz 1mysql -hlocalhost -uroot -pxxxxx </data/test.sql2、备份后直接压缩写入磁盘1备份mysqldump...

Mysqldump 常用备份操作命令

1.1.1 备份操作create user ‘backup’@’localhost’ identifiedby ‘’;grant select, reload, lock tables,replication client, show view, event, view, process on *.* to‘backup’@’localhost’;mysqldump –ubackup –p –master-data=2–single-transaction –routines –triggers –events mc_orderdb >mc_orderdb.sql 备份一个库mysqldump –ubackup –p –master-data=2–single-transaction –routines –trigge...

auto_mysqldump_data.sh

#!/bin/bash#2019年10月31日22:57:25#auto back mysql‘s databaseIPADDR="10.0.0.7"BAK_TIME=date +%F-%TMYSQL_USER="backup"MYSQL_PASS="123456"MYSQL_COM1="mysqldump"MYSQL_COM2="mysql"SQL_DIR="/data/mysqlback/"SQL_DBS="$*"if [ $# -eq 0 ]; thenecho -e "\033[33m-----------------------------------\033[0m"echo -e "\033[31m-->{Usage:(eg:$0 jf1 | jf1 jf2 .. | all )}\033[0m"echo -e "\033[33m--------------------...

使用mysqldump迁移数据【代码】

1、先停止业务，使用MySQLdump的数据导出工具，将您线下原有数据库数据导出为数据文件mysqldump -hlocalhost -uroot --default-character-set=utf8 -R db_name -p*********** > ./tmp.sql2、查看原数据库上查看用户的授权信息，拷贝到新数据库select a.user,a.host from user a where a.user = ‘user_name;show grants for user_name@‘ip‘;3、在新数据库上执行GRANT USAGE ON *.* TO ‘user_name‘@‘ip‘ IDENTIFIED BY P...

使用mysqldump对数据库备份【代码】

mysqldump是一个简单而有效的数据库备份程序，它会将需要备份的数据库的结构转换为mysql语言组成的一个文本文件，这个文本文件包含了创建这个数据库所进行的所有mysql语句，所以当我们恢复时，便是程序读取这些语句重新创建数据库、创建表以及插入数据的过程，但因为其是单线程的，所以对于比较大的数据库操作会比较慢。mysqldump支持InnoDB热备，MyISAM的温备，可以基于二进制日志进行增量备份，根据二进制文件文件中记录的操作...

mysqldump命令详解【代码】

今天遇到一个需求就是需要导出MySQL数据库中的函数和存储过程，其他对象无需导出，上网查了一些资料，感觉mysqldump命令各种参数值的研究一下。1、只导出函数和存储过程，其他无需导出[root@multi-mysql ~]# mysqldump -uoldcatm -poldcat123 -S /data/3306/mysql.sock -R -ntd oasys > /home/oldcat/data/backup/tmp.sql 参数说明： -R --routines：Dump stored routines (functions and procedures) 导出存储过程和函数。原文：h...

MySQL备份-mysqldump【代码】

一先建立备份账号create user ‘backup‘@‘localhost‘ identified by ‘pass4word‘;二赋予权限grant select,reload,lock tables,replication client,show view,event,process on *.* to ‘backup‘@‘localhost‘;附加，查看创建表的语句show create table table_name; 三备份单个数据库 mysqldump -ubackup -ppass4word --master-data=2 --single-transaction --routines --triggers --events tk_test >tk.sql 原文：https://w...

mysql使用mysqldump 与 mysqlimport进行数据库迁移

1.导入数据库1）sourcesource /home/platvt/product/pc2_create_tables.sql2）mysqlimport使用mysqlimport导入数据：出现情况：（1）出现 Error: 1146[platvt@qa-qd-62-180 tmp]$ mysqlimport -uroot -p --fields-terminated-by=‘\t‘ test students Enter password: mysqlimport: Error: 1146, Table ‘test.students‘ doesn‘t exist, when using table: students在导入之前必须数据库里面有对应的表，所以必须先在数据库里面...

mysqldump使用分库备份的脚本

#!/bin/sh#Author:LuojqBAKTIME=$(date +%Y-%m-%d%H:%M:%S)USER_PSWD=123456USER_NAME=rootMYLOGIN="mysql -u${USER_NAME} -p${USER_PSWD}"DUMP_CMD="/usr/bin/mysqldump -u${USER_NAME} -p${USER_PSWD} -B --master-data=2 --single_transaction --flush-logs --skip-add-drop-table"DATABASE="$($MYLOGIN -e "show databases;"|egrep -vi "_schema|mysql")" for dbname in ${DATABASE}doMYDIR=/data/backup/${dbname}[ ! -d ${...

逻辑备份,mysqldump,SELECT…INTO OUTFILE,恢复

逻辑备份mysqldumpmysqldump备份工具最初由Igor Romanenko编写完成，通常用来完成转存（dump）数据库的备份以及不同数据库之间的移植，例如从低版本的MySQL数据库升级到高版本的MySQL数据库，或者从MySQL数据库移植到Oracle和SQL Server等数据库等。mysqldump的语法如下：mysqldump [arguments] ＞ file_name如果想要备份所有的数据库，可以使用--all-databaes选项：mysqldump --all -databases ＞ dump.sql如果想要备份指定的数据...

mysqldump如何针对某些数据库进行备份?针对某个数据库进行备份?【代码】

需求描述:　　通过mysqldump工具对mysql服务器中的某几个数据库进行备份.　　或者就对其中的一个数据库进行备份.操作过程:1.通过--databases参数后面加上数据库的名字进行备份[mysql@redhat6 MysqlDb_Backup]$ mysqldump -uroot -p --single-transaction --master-data --flush-logs --databases top_server test01 > Backup_2018-04-09.sql Enter password: [mysql@redhat6 MysqlDb_Backup]$ ls -ltr total 2111792 -rw-rw-r-- 1...

mysqldump完全备份shell脚本

#!/bin/bash #?Date:2017-10 #?Version:0.1 #?Description:db_user="root" myisam_db="mysql" db_passwd="123456" host="localhost" backup_dir="/opt/backup/mysql/sql" log_file="/opt/backup/mysql/sql/mysql_backup.log" keep_days=30 mysql="$(which?mysql)" mysqldump="$(which?mysqldump)" db_list=$(mysql?-h$host?-u$db_user?-p$db_passwd?-e?‘show?databases‘|egrep?-v?‘Database|information_schema|mysql|performan...

MySQL--当mysqldump --single-transaction遇到alter table【代码】【图】

部分生产环境采用mysqldump --single-transaction的方式在夜间进行数据库备份，而同事恰好在备份期间执行了alter table操作，操作部分成功部分失败，为啥呢？在mysqldump对single-transaction参数的解释为：Creates a consistent snapshot by dumping all tables in asingle transaction. Works ONLY for tables stored instorage engines which support multiversioning (currentlyonly InnoDB does); the dump is NOT guaranteed...

mysql mysqldump只导出表结构或只导出数据的实现方法

mysql mysqldump 只导出表结构不导出数据复制代码代码如下:mysqldump --opt -d 数据库名 -u root -p > xxx.sql 备份数据库复制代码代码如下:#mysqldump　数据库名　>数据库备份名 #mysqldump　-A　-u用户名　-p密码　数据库名>数据库备份名 #mysqldump　-d　-A　--add-drop-table　-uroot　-p　>xxx.sql 1.导出结构不导出数据复制代码代码如下:mysqldump　--opt　-d　数据库名　-u　root　-p　>　xxx.sql　　 2.导出数据不导出结...

首页 / MYSQL / mysqldump缺失-q参数导致MySQL被oom干掉

mysqldump缺失-q参数导致MySQL被oom干掉

内容导读

内容图文

内容总结

内容备注

内容手机端

【mysqldump缺失-q参数导致MySQL被oom干掉】教程文章相关的互联网学习教程文章

参数 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程