首页 / MYSQL / 谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的

谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3905字，纯文字阅读大概需要6分钟。

内容图文

一、binlog 的高速缓存
二、刷盘机制
三、推荐的策略
推荐阅读

问个问题吧！为什么你需要了解binlog的落盘机制呢？

我来回答一下：

? 上一篇文章提到了生产环境中你可以使用binlog做数据的恢复、审计、以及搭建主从架构的MySQL集群。那你使用这些特性优势的时候有没有问自己一下，你使用的binlog是安全的吗？会不会少记录了一部分数据呢？因为使用一个有问题的binlog去做数据恢复、审计、搭建主从MySQL集群的结果肯定是错误的！

? 下面，我们一起来看一下MySQL执行事物的过程中 binlog 的落盘机制。MySQL是如何保证你使用的binlog是安全的！

一、binlog 的高速缓存

首先为大家介绍一个概念：binlog的高速缓存

意思是：所有未commit的事物产生的binlog，都会被先记录到binlog的高速缓存中。等该事物被commit时，再将缓存中的数据写入binlog日志文件中。

高速缓存的大小可以由参数binlog_chache_size 默认大小为：32768 ，并且每个session都有自己的独立的缓存。多个会话指间彼此不影响。

binlog_chache_size不能设置太大，否则大量事物打来后肯定会造成宝贵的内存资源被浪费。但是也别太小，因为当一个事物产生的日志足够大超过该参数设置的值时，MySQL会将缓存中的binlog数据写到临时文件中去。

谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的 - 文章图片

看到这里我们已经知道了binlog会写入缓存中，并且我们可以通过上述参数动态调整该缓冲。别急，继续往看下，binlog何时被写入磁盘呢？

二、刷盘机制

其实binlog写入磁盘的机制由参数sync_binlog控制。

策略1:sync_binlog = 0

当设置sync_binlog = 0时，表示innodb不会主动控制将binlog落盘，innodb仅仅会将binlog写入到OS Cache中，至于什么时间将binlog刷入磁盘中完全依赖于操作系统。选这种策略，一旦操作系统宕机，OS Cache中的binlog就会丢失。
策略2:sync_binlog = 1

设置sync_binlog = 1时，表示事物commit时将binlog落盘！这样哪怕机器宕机了，也能确保binlog会被写入到磁盘中。

你有没有觉得当我说：“当事物commit时将binlog落盘” ，这句话很模糊？？？

是的！如果你仔细品一品，这句话真的很模糊！

当然了，虽然模糊，但是上面说的策略2并没有错误（MySQL官网也是这样描述的)

为了不偏离本篇文章的主线，本篇暂时不详细展开讲 sync_binlog=1 的细节。

我计划放在第 X 篇文章，“能谈谈MySQL的两阶段提交吗？” 详细展开，欢迎关注，敬请期待！

策略3:sync_binlog=N

这里的N不是0，也不是1。

当N大于1时，表示开启组提交，也就是group commit，如果你之前不层了解组提交的话，你可以这样理解它：比如N=5，那MySQL就会等收集5个binlog后再将这5个binlog一口气同步到磁盘上。好处很明显，一次IO可以往磁盘上刷入N个binlog，IO效率会有所提升。坏处也很明显，比如N=5，那当MySQL收集了4个binlog时，服务器宕机，这4个binlog就会丢失。

三、推荐的策略

线上环境中，推荐将日志的刷盘策略设置成下图这这样。

这是也官方推荐的配置策略。这两个参数前面都已经提到过了，想必为什么这么设置，你已经很清楚了！

谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的 - 文章图片

参考：

https://dev.mysql.com/doc/refman/5.7/en/replication-options-binary-log.html

https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_flush_log_at_trx_commit

内容总结

以上是互联网集市为您收集整理的谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的全部内容，希望文章能够帮你解决谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/445819.html

来源：【匿名】

【上一篇】《MySQL慢查询优化》之数据库表结构优化【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的】教程文章相关的互联网学习教程文章

MySQL in 和 like 使用#{} 进行参数引入出错

1.使用 in #{list} 是报错的所以使用 <if test="entity.deptIds!=null and entity.deptIds.size >0 "> and dept_id in <foreach collection="entity.deptIds" item="deptId" close=")" open="(" separator=","> #{deptId} </foreach> </if>不能使用$ 防止sql注入2.like #{} 也是不行的所以采用字符串拼接的方式进行变量的引入meter_type_message like concat(‘%‘,#{entity.meterTypeMessage},‘%‘)原文...

如何查看已经编译安装好的nginx、apache、php、mysql的编译参数？

一)、查看nginx的编译参数与版？[root@ryan~]#/application/nginx/sbin/nginx -Vnginx version: nginx/1.8.0built by gcc 4.4.720120313 (Red Hat 4.4.7-4) (GCC) built with OpenSSL1.0.1e-fips 11 Feb 2013TLS SNI support enabledconfigure arguments: --prefix=/application/nginx1.8.0 --user=nginx --group=nginx--with-http_stub_status_module --with-http_ssl_module 二)、查看apache的编译参数与版？ [root@ryan~]# cat/...

MYSQL、SQL在LIKE里传的参数没有赋进去的原因【代码】

SQL语句 = string.Format(" where name like ‘%@key%‘ "); para.Add(new MySqlParameter("@key", paraModel.key));这样是查不到数据的，要用下面的方式：SQL语句 = string.Format(" where name like @key "); para.Add(new MySqlParameter("@key", "%"+paraModel.key+ "%"));这样即可。原文：http://www.cnblogs.com/qiywtc/p/7469451.html

mysql5.5的几个新参数

mysql5.5的几个新参数分类： Mysql/postgreSQL2013-01-04 12:04:14 新参数项旧参数参数说明innodb_read_io_threads innodb_write_io_threadsinnodb_file_io_threads(默认为4)需要开启异步IO，不然没有什么意义。网上有测试分别设置为2为性能最好。不要超过4。所以对高速设备如ssd的影响特别大，传统的硬盘会没那么影响大。innodb_file_format 可以设置为Barracuda格式，可以设置为dynaic和compressed格式。只在独立表空间生效inno...

Mysql备份还原数据库之mysqldump实例及参数详细说明【代码】

我们在运营项目的过程中肯定会遇到备份数据库，还原数据库的情况，我们一般用一下两种方式来处理：1.使用into outfile 和 load data infile导入导出备份数据这种方法的好处是，导出的数据可以自己规定格式，并且导出的是纯数据，不存在建表信息，你可以直接导入另外一个同数据库的不同表中，相对于mysqldump比较灵活机动。我们来看下面的例子：（1）下面的mysql命令是把select的mytable表中的数据导出到/home/db_bak2012文件。sele...

mysql内存和IO优化一些重要参数

1、innodb_flush_log_at_trx_commit 0：日志缓冲每秒一次地被写到日志文件，并且对日志文件做到磁盘操作的刷新，但是在一个事务提交不做任何操作。1：在每个事务提交时，日志缓冲被写到日志文件，对日志文件做到磁盘操作的刷新。2：在每个提交，日志缓冲被写到文件，但不对日志文件做到磁盘操作的刷新。对日志文件每秒刷新一次。默认值是 1，也是最安全的设置，即每个事务提交的时候都会从 log buffer 写到日志文件(buffer log)，而...

MYSQL常用的配置参数优化

前言　　MySQL是优化难度最大的一个部分，不但需要理解一些MySQL专业知识，同时还需要长时间的观察统计并且根据经验进行判断，然后设置合理的参数。下面我们了解一下MySQL优化的一些基础。目录1）连接请求的变量1、max_connections2、back_log3、wait_timeout和interative_timeout2）缓冲区变量4、key_buffer_size5、query_cache_size（查询缓存简称QC)6、max_connect_errors：7、sort_buffer_size：8、max_allowed_packet=32M9、...

MYSQL-max_binlog_cache_size参数【代码】

max_binlog_cache_size 解释：这是设置最大二进制日志的缓存区大小的变量。若处理多语句事务时需要的内存大小比设置值大的话就会提示一个error：Multi-statement transaction required more than‘max_binlog_cache_size‘ bytes of storage 。这个变量最小值是4096（4K），最大值，在32位的系统中是4G，64位的是16P。作用域：全局原文：http://www.cnblogs.com/vijayfly/p/5778606.html

关于MySql链接url参数的设置

mysql JDBC URL格式如下： jdbc:mysql://[host:port],[host:port].../[database][?参数名1][=参数值1][&参数名2][=参数值2]... 常用的几个较为重要的参数：参数名称参数说明缺省值最低版本要求 user 数据库用户名（用于连接数据库）所有版本 passWord 用户密码（用于连接数据库）所有版本 useUnicode 是否使用Unicode字符集，如果参数characterEncoding设置为gb2312或gbk，本参数值必须设置为true false 1.1g characterEncod...

mysql 5.5之参数详解

[mysql]default-character-set=utf8[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sock# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0# Settings user and group are ignored when systemd is used.# If you need to run mysqld under a different user or group,# customize your systemd unit file for mariadb according to the# instructions in http://fedora...

MySQL 存储过程传参之in, out, inout 参数用法【图】

存储过程传参：存储过程的括号里，可以声明参数。语法是 create procedure p([in/out/inout] 参数名参数类型 ..)in ：给参数传入值，定义的参数就得到了值out：模式定义的参数只能在过程体内部赋值，表示该参数可以将某个值传递回调用他的过程（在存储过程内部，该参数初始值为 null，无论调用者是否给存储过程参数设置值）inout：调用者还可以通过 inout 参数传递值给存储过程，也可以从存储过程内部传值给调用者如果仅仅想把数...

Linux mysql shell脚本变量和环境变量位置参数预定义变量运算符判断流程控制 for循环与用户交互函数【代码】【图】

mysql1. 卸载旧版本rpm -qa | grep mysql 检查是否有旧版本查询结果:mysql-libs-5.1.73-7.el6.x86_64rpm -e mysql-libs 删除旧版本 rpm -e --nodeps mysql-libs 强行删除2. 安装mysql2.1 安装源码需要编译下载c的编译工具 yum -y install make gcc-c++ cmake bison-devel ncurses-devel2.2 xftp连接上传xftp连接上传到opt文件夹2.3 编译1. tar -zxvf mysql-5.6.14.tar.gz 解压 2. cd mysql-5.6.14 ...

MySQL 参数【代码】

I see a lot of people filtering replication with binlog-do-db, binlog-ignore-db, replicate-do-db, and replicate-ignore-db. Although there are uses for these, they are dangerous and in my opinion, they are overused. For many cases, there’s a safer alternative.我看到很多人用binlog-do-db, binlog-ignore-db, replicate-do-db, and replicate-ignore-db来过滤哪些库需要主从复制。虽然这4个参数确实能这样做，但...

Mysql Row_Format 参数讲解【代码】

今天更改数据引擎的时候,突然出现了Table storage engine for ‘#sql-3e9_132‘ doesn‘t have this option这样的提示:通过搜索,发现了一些端倪,下面是对于Row_Format参数的讲解:在MYSQL中，若一张表里面不存在varchar、text以及其变形、blob以及其变形的字段的话，那么张这个表其实也叫静态表[static/fixed ]，即该表的row_format是fixed，就是说每条记录所占用的字节一样。其优点读取快，缺点浪费额外一部分空间。那么实际开发中...

Linux下MySQL安装配置 MySQL配置参数详解

一、下载编译安装#cd /usr/local/src/ #wget http://mysql.byungsoo.net/Downloads/MySQL-5.1/mysql-5.1.38.tar.gz #tar –xzvf mysql-5.1.38.tar.gz ../software/ #./configure --prefix=/usr/local/mysql //MySQL安装目录 --datadir=/mydata //数据库存放目录 --with-charset=utf8 //使用UTF8格式 --with-extra-charsets=complex //安装所有的扩展字符集 --enable-thread-safe-client //启用客户端安全线程 --with-big-tables //...

首页 / MYSQL / 谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的

谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的

内容导读

内容图文

一、binlog 的高速缓存

二、刷盘机制

三、推荐的策略

推荐阅读

内容总结

内容备注

内容手机端

【谈谈MySQL bin log的写入机制、以及线上的参数是如何配置的】教程文章相关的互联网学习教程文章

MySQL in 和 like 使用#{} 进行参数引入出错

如何查看已经编译安装好的nginx、apache、php、mysql的编译参数？

MYSQL、SQL在LIKE里传的参数没有赋进去的原因【代码】

mysql5.5的几个新参数

Mysql备份还原数据库之mysqldump实例及参数详细说明【代码】

mysql内存和IO优化一些重要参数

MYSQL常用的配置参数优化

MYSQL-max_binlog_cache_size参数【代码】

关于MySql链接url参数的设置

mysql 5.5之参数详解

MySQL 存储过程传参之in, out, inout 参数用法【图】

Linux mysql shell脚本变量和环境变量位置参数预定义变量运算符判断流程控制 for循环与用户交互函数【代码】【图】

MySQL 参数【代码】

Mysql Row_Format 参数讲解【代码】

Linux下MySQL安装配置 MySQL配置参数详解

MYSQL - 相关标签

参数 - 相关标签

配置 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程