首页 / REDIS / Redis踩坑系列（二）Spark批量Load大量数据到Redis，主从同步问题

Redis踩坑系列（二）Spark批量Load大量数据到Redis，主从同步问题

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Redis踩坑系列（二）Spark批量Load大量数据到Redis，主从同步问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1982字，纯文字阅读大概需要3分钟。

内容图文

Redis踩坑系列（二）Spark批量Load大量数据到Redis，主从同步问题

需求

每天定时批量刷新大量数据进Redis
Redis集群是哨兵模式
主从同步时间不做要求

现象

Spark批量load数据到redis，主节点没问题，大概10分钟可以写入完成
网络IO负载较大，从节点报警is stop，主节点报主从同步异常
从节点重启后，从磁盘load数据入内存，十几分钟时间后redis集群恢复正常
只要有大量的写都会导致从节点stop，主节点没问题

定位分析

日志

316495:C 19 Mar 16:18:38.002 * RDB: 9198 MB of memory used by copy-on-write
107122:S 19 Mar 16:18:42.962 * Background saving terminated with success
107122:S 19 Mar 16:19:43.098 * 100000 changes in 60 seconds. Saving...
107122:S 19 Mar 16:19:45.920 * Background saving started by pid 328571
107122:S 19 Mar 16:29:00.487 * MASTER <-> SLAVE sync: receiving 50693570874 bytes from master
107122:S 19 Mar 16:30:13.042 * MASTER <-> SLAVE sync: Flushing old data
328571:C 19 Mar 16:30:49.893 * DB saved on disk
328571:C 19 Mar 16:30:52.653 * RDB: 32184 MB of memory used by copy-on-write
107122:S 19 Mar 16:33:06.687 * MASTER <-> SLAVE sync: Loading DB in memory
107122:S 19 Mar 16:41:11.525 * MASTER <-> SLAVE sync: Finished with success
107122:S 19 Mar 16:41:11.525 * Background saving terminated with success
107122:S 19 Mar 16:55:36.373 * 10000 changes in 300 seconds. Saving...
107122:S 19 Mar 16:55:39.103 * Background saving started by pid 361997
361997:C 19 Mar 17:07:55.325 * DB saved on disk
361997:C 19 Mar 17:07:57.084 * RDB: 15119 MB of memory used by copy-on-write
107122:S 19 Mar 17:08:01.229 * Background saving terminated with success
107122:S 19 Mar 17:09:02.050 * 100000 changes in 60 seconds. Saving...
107122:S 19 Mar 17:09:05.179 * Background saving started by pid 376019

配置

repl-timeout 600

问题分析
结合Redis主从同步原理，配置和日志分析，短时间内更新大量Key，网络IO比较紧张的情况下，同步的超时时间设置的10分钟（600s），从日志发现实际时间12分钟多，主节点认为主从同步异常了会将从节点杀死，接下来重启后会从本地磁盘load数据入内存。
解决方式

减慢同步的量，分批次多次刷redis。
结合具体业务，修改配置repl-timeout 600，加大主从同步时长。

参考链接

内容总结

以上是互联网集市为您收集整理的Redis踩坑系列（二）Spark批量Load大量数据到Redis，主从同步问题全部内容，希望文章能够帮你解决Redis踩坑系列（二）Spark批量Load大量数据到Redis，主从同步问题所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/861496.html

来源：【匿名】

【上一篇】Redis的主从复制原理【下一篇】redis可以做什么？

更多 ►

【Redis踩坑系列（二）Spark批量Load大量数据到Redis，主从同步问题】教程文章相关的互联网学习教程文章

Redis--主从同步【代码】【图】

前戏redis集群中的数据库复制是通过主从同步来实现的，主节点（master）把数据分发给从节点（slave），主从同步的好处在于高可用。redis主从同步的原理：1.从服务器向主服务器发送SYNC命令。2.接到SYNC的主服务器会调用BGSAVE命令，创建一个RDB文件，并使用缓冲区记录接下来执行的所有命令。3.当主服务器执行完BGSAVE命令时，它会向从服务器发送RDB文件，而从服务器则会接收并载入这个文件。4.主服务器将缓冲区存储的所有写命令发送...

redis主从同步【代码】【图】

redis主从同步原理：1. 从服务器向主服务器发送 SYNC 命令。2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。4. 主服务器将缓冲区储存的所有写命令发送给从服务器执行。-------------1、在开启主从复制的时候，使用的是RDB方式的，同步主从数据的2、同步开始之后...

Redis(二十二)：复制（二）——Psync命令的实现与主从同步复制的实现【代码】【图】

Psync命令的实现复制/同步的实现步骤1：设置主服务器的地址和端口步骤二：建立套接字连接步骤3：发送Ping命令步骤4：身份验证步骤5：发送端口信息步骤6：同步步骤7：命令传播Psync命令的实现前面我们提到过，现在Redis进行复制，从服务器是使用了Psync命令代替了Sync命令，下面介绍一下Psync命令的实现 Psync的调用方式有两种从服务器没有复制过主服务器，或者从服务器执行了slaveof no one命令，取消了从主关系，那么当从服务器...

Redis主从同步，读写分离设置的相关操作

本文介绍使用Redis的主从同步功能(master, slave)，使程序实现读写分离，避免io瓶颈，提高数据读写效率。Redis支持一个master服务器对多个slave服务器同步，同步使用发布/订阅机制。 1个master对多个slave，还可以进行分层，每个slave下可以再同步slave，扩展成树状结构。Redis 主从同步设置Redis默认的端口是6379，我们为了不影响原有Redis，使用新的端口master 配置 redis_master.confport 6300requirepass 123456masterauth 123...

详解Redis的主从同步

主从同步的字面意思就是以谁为主，以谁为副，同步进行，形成同步效应。那么Redis的主从同步知识大家了解多少呢？本文主要介绍Redis的主从同步解析，仅供参考，希望能帮助到大家。一、Redis主从同步原理1.1 Redis主从同步的过程配置好slave服务器连接的master后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连接，master都会启动一个后台进程，将数据库快照保存到文件中.同时mas...

mariadb、redis安装配置及MySQL主从同步

今日内容 https://www.cnblogs.com/pyyu/p/9467289.html mysql博客 mysql (分支 mariadb)1.安装mariadb -yum -源码编译安装 -下载rpm安装 yum和源码编译安装的区别？ 1.路径区别-yum安装的软件是他自定义的，源码安装的软件./configure --preifx=软件安装的绝对路径 2.yum仓库的软件，版本可能比较低，而源码编译安装，版本可控 3.编译安装的软件，支持第三方功能扩展./configure 这里可以加上很多参数，定制功能 yum仓库的区...

LAMP+redis搭建discuz论坛，基于mysql-proxy插件主从同步【代码】

-proxy src]# wgethttp://ftp.ntu.edu.tw/pub/MySQL/Downloads/MySQL-Proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz [root@SQL-proxy src]# ll -htotal 12M-rw-r--r-- 1 root root 12M Aug 19 2014 mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz[root@SQL-proxy src]# tar zxf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz -C /usr/local/[root@SQL-proxy src]# cd .. [root@SQL-proxy local]# mv mysql-proxy-0.8.5-li...

redis主从同步原理【图】

1.前言在redis中为了保证redis的高可用，一般会搭建一种集群模式就是主从模式。主从模式可以保证redis的高可用，那么redis是怎么保证主从服务器的数据一致性的，接下来我们浅谈下redis主(master)从(slave)同步的原理。2.初次全量同步当一个redis服务器初次向主服务器发送salveof命令时，redis从服务器会进行一次全量同步，同步的步骤如下图所示：slave服务器向master发送psync命令（此时发送的是psync ? -1），告诉master我需要同步...

第二章、redis主从同步原理【图】

一、主从复制的实现原理主从复制过程大体可以分为3个阶段：连接建立阶段（即准备阶段）、数据同步阶段、命令传播阶段；下面分别进行介绍。 1. 连接建立阶段该阶段的主要作用是在主从节点之间建立连接，为数据同步做好准备。步骤1：保存主节点信息从节点服务器内部维护了两个字段，即masterhost和masterport字段，用于存储主节点的ip和port信息。需要注意的是，slaveof是异步命令，从节点完成主节点ip和port的保存后，向发送sl...

redis主从同步【代码】【图】

Redis主从同步 Redis主从同步原理从服务器向主服务器发送 SYNC 命令。接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。主服务器将缓冲区储存的所有写命令发送给从服务器执行。在开启主从复制的时候，使用的是RDB方式同步主从数据同步开始之后，通过主库命令传播的方式，...

redis基于binlog的主从同步【代码】【图】

1. 背景上半年我们使用RocksDB做存储引擎，实施了Redis数据实时落地的项目，实现了在兼容redis协议的前提下，管理超出内存大小的数据集。在主从同步方面，我们沿用了Redis原有的方案，该方案在实际运营中应对不良的网络状况显得很无力，因此我们在数据落地的基础上，为Redis开发了一套新的主从同步机制。 2. Redis原生同步方式主从数据同步分一般两步走：同步已有的全量数据，和同步增量数据。同步的全量数据必须是master数据集...