首页 / REDIS / Redis实现之复制（二）

Redis实现之复制（二）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Redis实现之复制（二），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9461字，纯文字阅读大概需要14分钟。

内容图文

PSYNC命令的实现

在Redis实现之复制（一）这一章中，我们介绍了PSYNC命令和它的工作机制，但一直没有说明PSYNC命令的参数以及返回值。现在，我们了解了运行ID、复制偏移量、复制积压缓冲区以及部分重同步后，我们可以开始了解PSYNC命令的完整细节了.PSYNC命令的调用方法有两种：

如果从服务器以前没有复制过任何主服务器，或者之前执行过SLAVEOF no one命令，那么从服务器在开始一次新的复制时将向主服务器发送PSYNC ? -1命令，主动请求主服务器进行完整重同步（因为这时不可能执行部分重同步）
相反地，如果从服务器已经复制过某个主服务器，那么从服务器在开始一次新的复制时将向主服务器发送PSYNC <runid> <offset>命令：其中runid是上一次复制的主服务器的运行ID，而offset则是从服务器当前的复制偏移量，接收到这个命令的主服务器会通过这两个参数来判断应该对从服务器执行哪种同步操作

根据情况，接收到PSYNC命令的主服务器会向从服务器返回以下三种回复的其中一种：

如果主服务器返回+FULLRESYNC <runid> <offset>回复，那么表示主服务器将与从服务器执行完整重同步操作：其中runid是这个主服务器的运行ID，从服务器会将这个ID保存起来，在下一次发送PSYNC命令时使用；而offset则是主服务器当前的复制偏移量，从服务器会将这个值作为自己的初始化偏移量
如果主服务器返回+CONTINUE回复，那么表示主服务器将与从服务器执行部分重同步操作，从服务器只要等着主服务器将自己缺少的那部分数据发送过来就可以了
如果主服务器返回-ERR回复，那么表示主服务器的版本低于Redis 2.8，它识别不了PSYNC命令，从服务器将向主服务器发送SYNC命令，并与主服务器执行完整同步操作

图1-12总结了PSYNC命令执行完整重同步和部分重同步时可能遇上的情况

Redis实现之复制（二） - 文章图片

图1-12 PSYNC执行完整重同步和部分重同步时可能遇上的情况

复制的实现

通过向服务器发送SLAVEOF命令，我们可以让一个从服务器去复制一个主服务器：

SLAVEOF <master_ip> <master_port>

步骤1：设置主服务器的地址和端口

当客户端向从服务器发送以下命令时：

127.0.0.1:12345> SLAVEOF 127.0.0.1 6379
OK

从服务器首先要做的就是将客户端给定的主服务器IP地址127.0.0.1以及端口号6379保存保存到服务器状态的masterhost属性和masterport属性中：

redis.h

struct redisServer {
    ……
	//主服务器的地址
    char *masterhost;
	//主服务器的端口
    int masterport;                 
    ……
};

图1-13展示了SLAVEOF命令执行之后，从服务器的服务器状态：

Redis实现之复制（二） - 文章图片

图1-13 从服务器的服务器状态

SLAVEOF命令是一个异步命令，在完成masterhost属性和masterport属性的设置工作之后，从服务器将向发送SLAVEOF命令的客户端返回OK，表示复制指令已经被接收，而实际的复制工作将在OK返回之后才真正开始执行

步骤2：建立套接字连接

在SLAVEOF命令执行之后，从服务器将根据命令所设置的IP地址和端口，创建连向主服务器的套接字连接，如图1-14所示

Redis实现之复制（二） - 文章图片

图1-14 从服务器创建连向主服务器的套接字

如果从服务器创建的套接字能成功连接（connect）到主服务器，那么从服务器将为这个套接字关联一个专门用于处理复制工作的文件事件处理器，这个处理器将负责执行后续的复制工作，比如接收RDB文件，以及接收主服务器传播来的写命令，诸如此类

而主服务器在接受（accept）从服务器的套接字连接之后，将为该套接字创建相应的客户端状态，并将从服务器看作是一个连接到主服务器的客户端来对待，这时从服务器将同时具有服务器（server）和客户端（client）两个身份：从服务器可以向主服务器发送命令请求，而主服务器则会向从服务器返回命令回复，如图1-15所示

Redis实现之复制（二） - 文章图片

图1-15 主从服务器之间的关系

步骤3：发送PING命令

从服务器成为主服务器的客户端之后，做的第一件事就是向主服务器发送一个PING命令，如图1-16所示

Redis实现之复制（二） - 文章图片

图1-16 从服务器向主服务器发送PING

这个PING命令有两个作用：

虽然主从服务器成功建立起了套接字连接，但双方并未使用该套接字进行过任何通信，通过发送PING命令可以检查套接字的读写状态是否正常
因为复制工作接下来的几个步骤都必须在主服务器可以正常处理命令请求的状态下才能进行，通过发送PING命令可以检查主服务器能否正常处理命令请求

从服务器发送PING命令之后将遇到一下三种情况中的一种：

如果主服务器向从服务器发送了一个命令回复，但从服务器却不能在时限内（timeout)内读取命令回复的内容，那么表示主从服务器之间的网络连接状态不佳，不能继续执行复制工作的后续步骤。出现这种情况时，从服务器断开并重新创建连向主服务器的套接字
如果主服务器向从服务器返回一个错误，表示主服务器暂时没有办法处理从服务器的命令请求，不能继续执行复制工作的后续步骤。这种情况时，从服务器断开并重新创建连向主服务器的套接字。比如说，如果主服务器正在处理一个超时运行的脚本，那么当服务器向主服务器发送PING命令时，从服务器将收到主服务器返回的BUSY Redisis busy running a script.You can only call SCRIPT KILL or SHUTDOWN NOSAVE.错误
如果从服务器读取到“PONG”回复，表明主从服务器之间的网络连接状态正常，并且主服务器可以正常处理从服务器发送的命令请求，在这种情况下，从服务器可以继续执行复制工作的下一步

流程图1-17总结了从服务器在发送PING命令时可能遇到的情况，以及各个情况的处理方式

Redis实现之复制（二） - 文章图片

图1-17 从服务器在发送PING命令时可能遇上的情况

步骤4：身份验证

从服务器在接受到主服务器返回到PONG回复之后，下一步要做的就是决定是否进行身份验证：

如果从服务器设置了masterauth选项，那么进行身份验证
如果从服务器没有设置masterauth选项，不进行身份验证

如果需要进行身份验证，从服务器向主服务器发送AUTH命令，命令参数为从服务器masterauth选项的值。举个栗子，如果从服务器masterauth选项的值为10086，那么从服务器将向主服务器发送命令AUTH 10086，如图1-18所示

Redis实现之复制（二） - 文章图片

图1-18 从服务器向主服务器验证身份

从服务器在身份验证阶段可能遇到的情况有以下几种：

如果主服务器没有设置requirepass选项，且从服务器没有设置masterauth选项，不进行身份验证，主服务器继续执行从服务器发送的命令，复制工作继续进行
如果从服务器通过AUTH命令发送的密码和主服务器requirepass选项所设置的密码相同，那么主服务器继续执行从服务器发来的命令，复制工作继续进行。反之主服务器将返回一个invalid password错误
如果主服务器设置了requirepass选项，但从服务器却没有设置masterauth选项，那么主服务器将返回一个NOAUTH错误。如果主服务器没有设置requirepass, 但从服务器设置了masterauth选项，那么主服务器返回一个no password is set错误

所有错误情况都会令服务器终止目前的复制工作，并从创建套接字开始重新执行复制，知道身份验证通过，或者从服务器放弃执行复制为止

Redis实现之复制（二） - 文章图片

图1-19 从服务器在身份验证阶段可能遇上的情况

步骤5：发送端口信息

在身份验证步骤之后，从服务器将执行命令REPLCONF listening-port < port number>, 向主服务器发送从服务器的监听端口号。例如在我们的例子中，从服务器的监听端口号为12345，那么从服务器将向主服务器发送命令REPLCONF listening-port 12345，如图1-20所示

Redis实现之复制（二） - 文章图片

图1-20 从服务器向主服务器发送监听端口

主服务器在接收到这个命令之后，会将端口号记录在从服务器所对应的客户端状态的slave_listening_port属性中

redis.h

typedef struct redisClient {
    ……
	//从服务器的监听端口号
    int slave_listening_port; 
    ……
} redisClient;

图1-21展示了客户端状态设置slave_listening_port属性之后的样子

Redis实现之复制（二） - 文章图片

图1-21 用客户端状态记录从服务器的监听端口号

slave_listening_port属性目前唯一的作用就是在主服务器执行INFO replication命令时打印出从服务器的端口号

以下是客户端向例子中主服务器发送INFO replication命令时得到的回复，其中slave0型的port域显示的就是从服务器所对应客户端状态的slave_listening_port属性的值：

127.0.0.1:6379> INFO replication
# Replication
role:master
connected_slaves:1
slave0:ip=127.0.0.1,port=12345,state=online,offset=1289,lag=1  
master_repl_offset:1289
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:1288

步骤6：同步

在这一步，从服务器将向主服务器发送PSYNC命令，执行同步操作，并将自己的数据库更新至主服务器数据库当前所处的状态。在执行同步操作前，只有从服务器是主服务器的客户端。但是执行同步操作之后，主服务器也会成为从服务器的客户端：

如果PSYNC命令执行的是完整同步操作，那么主服务器只有成为了从服务器的客户端才能将保存在缓冲区中的写命令发送给从服务器执行
如果PSYNC命令执行的是部分同步操作，那么主服务器只有成为了从服务器的客户端才能将保存在复制积压缓冲区中的写命令发送给从服务器执行

因此，在同步操作执行之后，主从服务器双方都是对方的客户端，它们可以互相向对方发送命令请求，或互相向对方返回命令回复，如图1-22所示

Redis实现之复制（二） - 文章图片

图1-22 主从服务器之间互为客户端

正因为主服务器成为了从服务器的客户端，所以主服务器才可以通过发送写命令来改变从服务器的数据库状态，不仅同步操作需要用到这一点，这也是主服务器对从服务器执行命令传播操作的基础

步骤7：命令传播

当完成了同步之后，主从服务器就会进入命令传播阶段，这时主服务器只要一直将自己执行的写命令发送给从服务器，而从服务器只要一直接收并执行主服务器发来的写命令，就可以保证主从服务器一直保持一致了

心跳检测

在命令传播阶段，从服务器默认会以每秒一次的频率，向主服务器发送命令：REPLCONF ACK <replication_offset>。其中replication_offset是从服务器当前的复制偏移量，发送REPLCONF ACK命令对于主从服务器有三个作用：

检测主从服务器的网络连接状态
辅助实现min-slaves选项
检测命令丢失

检测主从服务器的网络连接状态

主从服务器可以通过REPLCONF ACK命令来检查两者之间的网络连接是否正常：如果主服务器超过一秒钟没有收到从服务器发来的REPLCONF ACK命令，那么主服务器就知道主从服务器之间的连接出现问题了。通过向主服务器发送INFO replication命令，在列出的从服务器列表的lag一栏中，我们可以看到相应从服务器最后一次向主服务器发送REPLCONF ACK命令距离现在过了多少秒：

127.0.0.1:6379> INFO replication
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=12345,state=online,offset=211,lag=0  
#刚刚发送过 REPLCONF ACK命令
slave1:ip=127.0.0.1,port=56789,state=online,offset=197,lag=15   
#15秒之前发送过REPLCONF ACK命令
master_repl_offset:211
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:210

在一般情况下，lag的值应该在0秒或者1秒之间跳动，如果超过1秒的话，那么说明主从服务器之间的连接出现了故障

辅助实现min-slaves配置选项

Redis的min-slaves-to-write和min-slaves-max-lag两个选项可以防止主服务器在不安全的情况下执行写命令。举个例子，如果我们向主服务器提供以下设置：

min-slaves-to-write 3
min-slaves-max-lag 10

那么在从服务器的数量少于3个，或者三个从服务器的延迟（lag）值都大于等于10秒时，主服务器将拒绝执行写命令，这里的延迟值就是上面提到的INFO replication命令的lag值

检测命令丢失

如果因为网络故障，主服务器传播给从服务器的写命令在半路丢失，那么当从服务器向主服务器发送REPLCONF ACK命令时，主服务器将发觉从服务器复制偏移量少于自己的复制偏移量，然后主服务器就会根据从服务器提交的复制偏移量，在复制积压缓冲区里面找到从服务器缺少的数据，并将这些数据重新发送给从服务器

内容总结

以上是互联网集市为您收集整理的Redis实现之复制（二）全部内容，希望文章能够帮你解决Redis实现之复制（二）所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/920900.html

来源：【匿名】

【上一篇】Redis实现之复制（一）【下一篇】redis可以做什么？

更多 ►

【Redis实现之复制（二）】教程文章相关的互联网学习教程文章

Redis主从复制（运维技术交流群：926402931，欢迎大家一起来交流。）【代码】

目录1.环境规划2.Redis添加配置文件3.启动Redis服务4.在从库上开启主从5.在从库上检查主从复制的状态6.在主库上检查主从复制的状态1.环境规划主机名角色IP地址db01Redis master172.16.1.51db02Redis slave172.16.1.52db03Redis slave172.16.1.532.Redis添加配置文件mkdir /data/6379 -p vim /data/6379/redis.conf daemonize yes port 6379 logfile /data/6379/redis.log dir /data/6379 dbfilename dump.rdb protected-mode no sa...

Redis学习-16两种主从复制的模式【图】

两种模式：1、一个主机下挂两个从机（一个主机一旦挂了，整个集群就不能进行写操作）2、一个主机下挂一个从机，一个从机下又挂一个从机...（层层链路）当一个主机挂了的时候，连接到它上面的从机充当主机。但在哨兵模式没有出现之前，需要手动选择主机，用 slaveof no one 命令。谋权篡位的手动版那么我们有没有办法在主机宕机的情况下，自动在从机中选择出一台当做主机呢？当然有，那就是下一节的利用哨兵模式可以实现原文：htt...

Redis 复制功能详解

Redis 复制功能的几个重要方面：1. 一个Master可以有多个Slave；2. Redis使用异步复制。从2.8开始，Slave会周期性（每秒一次）发起一个Ack确认复制流（replication stream）被处理进度；3. 不仅主服务器可以有从服务器，从服务器也可以有自己的从服务器，多个从服务器之间可以构成一个图状结构；4. 复制在Master端是非阻塞模式的，这意味着即便是多个Slave执行首次同步时，Master依然可以提供查询服务；5. 复制在Slave端也是非阻...

REDIS 主从复制【代码】

REDIS目前给出了一个异步的主从复制版本系统。在redis里提供了几种方式来完成这个工作。主从复制主要对应在redis/replication.c这个文件里。源码框架里分为3部分： Master部分/SLAVE部分/复制核心部分其实主从复制我个人觉得比较难的点就是在于每次重启之后 master/slave传递数据的模式方式首先对于slave来讲是主动连接他的masterint connectWithMaster(void) {int fd;fd = anetTcpNonBlockConnect(NULL,server.masterhost,ser...

Redis消息模式与主从复制【图】

第1章消息模式:1.1 redis发布消息有两种模式:1. 队列模式2. 发布订阅模式a) 任务队列:就是传递消息的队列,与任务队列进行交互的实体有两类,一类是生产者,另一类是消费者,生产者将需要处理的任务放在任务队里中,而消费者不断的从任务独立中读入任务消息并执行任务队列的好处:松耦合,生产者和消费者只需按照约定的任务描述格式,进行编写代码易于扩展,多消费者模式下,消费者可以分布在多个不通过额服务器中,由此降低...

redis 主从复制【图】

环境 rhel6.5 server1 server2[root@server1 ~]# yum install gcc[root@server1 ~]# tar zxf redis-4.0.8.tar.gz [root@server1 ~]# cd redis-4.0.8[root@server1 redis-4.0.8]# make && make install[root@server1 redis-4.0.8]# cd utils/[root@server1 utils]# ./install_server.sh [root@server1 utils]# vim /etc/redis/6379.conf [root@server1 utils]# /etc/init.d/redis_6379 restart [root@server1 utils]# netstat ...

Redis主从复制【图】

Redis的主从复制功能非常强大，一个master可以拥有多个slave，而一个slave又可以拥有多个slave，如此下去，形成了强大的多级服务器集群架构.实现步骤如下:1.在Windows某个磁盘上创建两个目录,例如; MasterRedis(存储的是Master服务) SlaveRedis(存储的是Slave服务).2.在Master服务中的配置文件redis.conf修改 :bind 127.0.0.1.3.在Slave服务中的配置文件redis.conf修改： port 6381（服务端口号要分开） bind 127.0.0.1...

三. Redis 主从复制【图】

特点1. Master可以拥有多个Slave2. 多个Slave除可以连接一个Master外，还可以连接多个Salve(避免Master挂掉不能同步，当Master挂掉，其中一个Slave会立即变成Master)3. 主从同步的时候不会阻塞Master，同步的时候Master仍然可以继续处理Client请求4. 提高伸缩性主从同步原理1. Slave向Master发起建立连接，发起同步请求命令2. Master会启动一个后台，将数据快照保存到文件中，同时Master主进程会收集新的写命令并缓存3. 后台完成保...

Redis主从复制（Master&Slave）【图】

什么是Redis主从赋值（Master&Slave）? 1、主从复制：主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主。　 2、主要作用： 1）、读写分离 2）、容灾恢复 Redis主从复制的配置使用（Windwos下） 1、安装主服务器，打开排至文件绑定ip 2、安装从服务器，并配置从服务器指定主服务器 3、下图是Redis同步时间的配置，900s有一个key发生改变时数据同步，300s有10个key...

Redis 复制、Sentinel的搭建和原理说明（转）【代码】【图】

背景： Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis本身(包括它的很多客户端)都没有实现自动进行主备切换，而Redis-sentinel本身也是一个独立运行的进程，它能监控多个master-slave集群，发现master宕机后能进行自动切换，更多的信息见前一篇说明。它的主要功能有以下几点：1，不时地监控redis是否按照预期良好地运行; 2，如果发现某个redis节点运...

redis 系列21 复制Replication (上)【代码】【图】

原文:redis 系列21 复制Replication (上)一. 概述　　使用和配置主从复制非常简单，每次当 slave 和 master 之间的连接断开时， slave 会自动重连到 master 上，并且无论这期间 master 发生了什么， slave 都将尝试让自身成为 master 的精确副本。这个系统的运行依靠三个主要的机制：　　(1) 当一个 master 实例和一个 slave 实例连接正常时， master 会发送一连串的命令流来保持对 slave 的更新，以便于将自身(master)数据集的改...

redis 复制，持久化，事务

持久化（数据存储到硬盘）有两种方式：快照 snapshotting、追加文件AOF、快照　　1、执行快照的两种方式（命令）　　　BGSAVE：redis调用fork来创建一个子进程将快照写入硬盘，父进程继续处理请求；（子进程是父进程的副本，它将获得父进程数据空间、堆、栈等资源的拷贝。父子进程之间不共享这些数据，但共享代码空间）　　　fork子进程，会耗费内存，尤其是数据量比较大（如几十GB），BGSAVE会导致系统停顿；　　　SAVE：直接创...

Redis复制的原理与优化【图】

1.什么是主从复制2.单机有什么问题？(1)机器故障(2)容量瓶颈(3)QPS瓶颈3.主从复制的模型：(1)一主一从模型(2)一主多从模型4.主从复制的作用(1)数据副本(2)扩展读性能5.主从复制需要注意的地方：一个master可以有多个slave一个slave只能有一个master数据流向是单向的，master到slave6.复制的配置(1)两种实现方式方式一：slaveof命令(优点：无需重启，缺点：不变于管理)<1>设置：master(主)：127.0.0.1端口6379slave(从)：127.0.0.1端...

Redis学习笔记四：主从复制和哨兵【代码】【图】

这里是Redis学习笔记的第四篇，主要讲Redis主从复制和哨兵。为什么需要主从复制单机redise风险与问题问题1 机器故障问题2 容量瓶颈为了避免单点redis服务器故障，准备多台服务器，互相连通。将数据复制多个副本保存在不同的服务器上，链接在一起，并保证数据是否同步的，即使有其中一台服务器宕机，其他服务器依然可以继续提供服务，实现Redis的高可用，同时实现数据冗余备份。但是多台服务器怎么保证这么多服务器的数据同步呢？让...

redis 主从复制【代码】【图】

redis 主从复制master 节点提供数据，也就是写。slave 节点负责读。不是说master 分支不能读数据，也能只是我们希望将读写进行分离。slave 是不能写数据的，只能处理读请求主从实现客户端 127.0.0.1:6379 服务器 212.64.89.173:6379方式一客户端发送请求同步命令slaveof masterip masterportslaveof 212.64.89.173 6379 方式二客户端启动服务器参数redis-server --slaveof masterip masterportredis-server --slaveof 212.64.89.1...

REDIS - 技术教程分类

Redis 教程 Redis 简介 Redis 安装 Redis 配置 Redis 数据类型 Redis 命令 Redis 键(key) Redis 字符串(String) Redis 哈希(Hash) Redis 列表(List) Redis 集合(Set) Redis 有序集合(sorted set) Redis HyperLogLog Redis 发布订阅 Redis 事务 Redis 脚本 Redis 连接 Redis 服务器 Redis GEO Redis Stream Redis 数据备份与恢复 Redis 安全 Redis 性能测试 Redis 客户端连接 Redis 分区 Redis 全部

REDIS - 最热教程

redis中批量删除key的方法 redis设置密码，取消密码 node.js利用redis数据库缓存数据 PHP swoole和redis异步任务实现方法分析 Laravel使用Redis共享Session步骤详解 mac下卸载干净redis 如何通过命令行修改redis的配置使用Port Forwarding连接k8s集群的pod（...实现商品秒杀之——Redis Watch机制 redis雪崩、穿透、击穿、热点分别代表什...

首页 / REDIS / Redis实现之复制（二）

Redis实现之复制（二）

内容导读

内容图文

内容总结

内容备注

内容手机端

【Redis实现之复制（二）】教程文章相关的互联网学习教程文章

Redis主从复制（运维技术交流群：926402931，欢迎大家一起来交流。）【代码】

Redis学习-16两种主从复制的模式【图】

Redis 复制功能详解

REDIS 主从复制【代码】

Redis消息模式与主从复制【图】

redis 主从复制【图】

Redis主从复制【图】

三. Redis 主从复制【图】

Redis主从复制（Master&Slave）【图】

Redis 复制、Sentinel的搭建和原理说明（转）【代码】【图】

redis 系列21 复制Replication (上)【代码】【图】

redis 复制，持久化，事务

Redis复制的原理与优化【图】

Redis学习笔记四：主从复制和哨兵【代码】【图】

redis 主从复制【代码】【图】

REDIS - 相关标签

REDIS - 技术教程分类

REDIS - 最新教程

REDIS - 最热教程