首页 / REDIS / redis系列：集群

redis系列：集群

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了redis系列：集群，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7947字，纯文字阅读大概需要12分钟。

内容图文

1 简介

Redis 集群是Redis 的一个分布式实现，它是一个网状结构，每个节点都通过 TCP 连接跟其他每个节点连接。现在来看看Redis集群实现了哪些目标？

在1000个节点的时候仍能表现得很好并且可扩展性（scalability）是线性的。集群之间使用异步复制，并且没有合并的操作。
可接受的写入安全（Write safety）级别：那些与大多数节点相连的客户端所做的写入操作，系统尝试全部都保存下来。不过还是会有小部分写入会丢失。
可用性（Availability）：在绝大多数的主节点（master node）是可达的，并且对于每一个不可达的主节点都至少有一个它的从节点（slave）可达的情况下，Redis 集群仍能进行分区（partitions）操作。

那么Redis集群环境与非分布式Redis环境在功能上有没有什么不同的呢？

集群的数据库只有0，且不支持SELECT
由于集群将键分布在不同的槽（slot）中，所以涉及到多键值的复制操作也是不支持的，像set里的并集（unions）和交集（intersections）操作

2 概念

在进入集群环境搭建时，先介绍集群的一些基本概念，例如节点、槽等等。

2.1 节点

节点（node）可以说是构成集群的基本元素.通常一个Redis集群中包含了多个节点，每个节点都有一个唯一的名字。

节点名字是一个十六进制表示的160 bit 随机数，这个随机数是节点第一次启动时获得的（通常是用 /dev/urandom）。节点会把它的ID保存在配置文件里，以后永远使用这个ID.如果想要更换ID有如下两种方式：

删除掉节点配置文件。
执行CLUSTER RESET命令。

那么这个节点ID有什么用处呢？

节点ID是用于每个节点。通过节点ID可以检测到节点 IP 或端口的变化。

如果节点发生了 IP 或端口变化时，其他节点是如何得知的呢？

集群会使用gossip 协议来发布广播消息，通知配置变更。

节点与节点之间知道对方的哪些信息？

节点的 IP 地址和 TCP 端口号。
各种标识。
节点使用的哈希槽。
最近一次用集群连接发送 ping 包的时间。
最近一次在回复中收到一个 pong 包的时间。
最近一次标识节点失效的时间。
该节点的从节点个数。
如果该节点是从节点，会有主节点ID信息。（如果它是个主节点则该信息置为0000000…）

我们可以通过使用CLUSTER NODES命令可以获得以上的一些信息,如下

redis系列：集群 - 文章图片

2.2 槽

Redis集群通过分片的方式来保存数据库中的键值对：整个键空间被分割为 16384 槽（slot），每个键都将存放在 16384 槽（slot）的其中一个位置上。

那么是什么决定一个键所存放的位置呢？

下方就是计算键存放的位置的算法。

HASH_SLOT = CRC16(key) mod 16384

通过CRC16算法获取键的16位输出结果，然后再对 16384 取余，结果就是键所在的位置。

既然整个键空间被分割为 16384 槽（slot），那么是如何将这些槽分配给不同的节点的？

可以通过以下命令将槽分片

CLUSTER ADDSLOTS slot1 [slot2] … [slotN]

3 搭建Redis集群

3.1 集群环境介绍

本文搭建的集群环境有3个主节点，每个主节点都有两个从节点，架构图如下

redis系列：集群 - 文章图片

3.2 修改配置文件

关于集群的配置如下

################################ REDIS CLUSTER ###############################

cluster-enabled yes

cluster-config-file nodes-6379.conf

cluster-node-timeout 5000

cluster-enabled表示是否开启集群模式

cluster-conf-file 表示保存节点配置文件的路径

cluster-node-timeout表示节点超时时间

完整的配置文件在https://github.com/rainbowda/learnWay/tree/master/learnRedis/cluster ，有需要的可以去下载

3.3 节点配置及启动

由于采用一个服务器运行三个Redis实例，所以每个节点的配置有些许不同，像端口号、文件位置、文件名称等等。这里就不将每个配置文件贴出来了，Github上有主节点和两个从节点的配置文件。

我在redis文件夹下创建一个cluster文件夹，然后在cluster文件夹下创建一个master文件，存放主节点的配置文件master.conf和一些其他文件；再然后创建两个从节点文件7001和7002，也是存放配置文件等。

mkdir cluster
cd cluster
mkdir master 7001 7002

将配置文件拷贝到相应文件夹后，根据配置文件启动Redis，这里就不在说明了。

3.4 使用集群命令行工具redis-trib

我们已经有九个正在运行中的 Redis 实例，接下来需要使用这些实例来创建集群。Redis中提供集群命令行工具 redis-trib 来简化集群操作

在执行redis-trib.rb文件之前需要安装ruby环境,嫌麻烦可以直接运行下面命令

yum install centos-release-scl-rh
yum install rh-ruby23 -y
scl enable rh-ruby23 bash
gem install redis

注：如果直接运行yum install ruby命令时，再运行gem install redis会显示redis requires Ruby version >= 2.2.2错误

执行命令如下

./redis-trib.rb create --replicas 2 192.168.17.101:6379 192.168.17.102:6379 192.168.17.103:6379 192.168.17.101:7001 192.168.17.101:7002 192.168.17.102:7001 192.168.17.102:7002 192.168.17.103:7001 192.168.17.103:7002

命令中的create表示创建集群，参数 replicas表示需要一个主节点有几个从节点，后面就是节点ip和端口号。

命令执行后，会输出已下内容，内容里面包括主从节点的信息

接下来需要用户输入yes确认
redis系列：集群 - 文章图片

输入yes后， redis-trib 就会将这份配置应用到集群当中,让各个节点开始互相通讯,最后可以得到如下信息：

redis系列：集群 - 文章图片

当输出已下内容时，表示集群环境已经搭建好了

[OK] All 16384 slots covered

接下来输入cluster info命令看看集群状态，输出的结果如下

redis系列：集群 - 文章图片

3.5 集群搭建过程

在使用redis-trib创建集群时，我们并不知道其内部发生了什么，接下来我将简单介绍下其过程。

接收到redis-trib创建集群命令后，检查传入的master节点数量是否大于等于3个。只有大于3个节点才能组成集群。
计算每个主节点需要分配的槽数量，以及给主节点分配从节点。
输出分配的信息，等待用户输入yes确认分配方案。
用户输入yes之后，便开始执行分配方案。
给主节点分配槽。
从节点复制主节点。
让节点加入到同一个集群中。（发送cluster meet 命令）

大致的过程如上，接下来介绍下cluster meet 命令

3.6 CLUSTER MEET 命令

在没有使用 CLUSTER MEET 命令时，每个节点都是相互独立的，它们都处于一个只包含自己的集群当中，通过使用 CLUSTER MEET 命令可以将各个独立的节点连接起来，构成一个包含多个节点的集群。使用 CLUSTER MEET 命令的格式如下

CLUSTER MEET <ip> <port>

看看这个命令的实现

3.7 CLUSTER MEET 命令实现

场景：有A(192.168.17.101)和B(192.168.17.102)两个节点，在B节点的客户端输入CLUSTER MEET 192.168.17.101 6379，表示B加入到A所在的集群中。A收到命令后便开始执行以下步骤

节点A为B创建一个节点结构，并添加到自己的节点字典中。
节点A向节点B发送一条MEET消息（消息后面会说明）
当节点B收到节点A的MEET消息时，节点B也会为A创建一个节点结构，并添加到自己的节点字典中。
节点B向节点A回复一条PONG消息。
当节点A收到节点B回复的PONG的消息时，表示节点B已经成功收到自己发送的MEET消息。
这时节点A会向节点B返回PING消息。
当节点B收到节点A返回的PING消息时，握手完成。

节点的握手过程如下

redis系列：集群 - 文章图片

4 故障检测和转移

这里将模拟一个主节点故障，通过向主节点发送DEBUG SEGFAULT 命令来实现主节点故障效果。

在主节点101上执行DEBUG SEGFAULT命令之后，到103客户端上查看节点状态

redis系列：集群 - 文章图片

可以从上图中看出101主节点多了个fail状态，而且103的一个从节点7001变成了主节点。现在再让101重新上线，再次查看状态

redis系列：集群 - 文章图片

可以看到之前的101主节点变成了从节点。好了接下来看看集群是怎么发现故障及故障如何转移的。

4.1 故障检测

集群是通过什么方式来发现某个节点出现故障？

答：可以分为如下几个步骤.

定义：发送PING消息的节点-->节点A;接受PING消息的节点-->节点B

集群中的A节点向B节点发送PING消息
如果节点B没有在NODE_TIMEOUT时间内返回PONG消息，那么节点A会将B节点标记为PFAIL** （疑似下线状态）
节点 A 通过 gossip 字段收集到集群中大部分主节点标识的节点 B 的状态信息。
如果大部分主节点标记节点 B 为 PFAIL 状态，或者在 NODE_TIMEOUT *FAIL_REPORT_VALIDITY_MULT 这个时间内是处于 PFAIL 状态。那么节点A会标记节点 B 为 FAIL （已下线状态）。
节点A向所有可达节点发送一个节点 B的 FAIL 消息。

4.2 故障转移

故障转移步骤：

下线主节点的所有从节点，会有一个从节点被选中。
被选中的从节点会执行SLAVEOF no one命令，成为新的主节点
新的主节点会撤销所有对已下线主节点的槽指派，并将这些槽全部指派给自己。
新的主节点向集群广播一条PONG消息，这条消息可以让集群中的其他节点立即知道这个节点已经由从节点变成了主节点，并且这个主节点已经接管了原本由已下线节点负责处理的槽。
新的主节点开始接收和自己负责处理的槽有关的命令请求，故障转移完成。

以下就是发生故障出现日志内容

2169:M 31 Jul 21:06:20.873 * Marking node 3c29beb7984b40a8c19b580362a0daf29dc349fb as failing (quorum reached).
2169:M 31 Jul 21:06:20.873 # Cluster state changed: fail
2169:M 31 Jul 21:06:21.546 # Failover auth granted to aba761321b40112c0b8de29d810767a40c59d27b for epoch 10
2169:M 31 Jul 21:06:21.586 # Cluster state changed: ok
2169:M 31 Jul 21:13:05.849 * Clear FAIL state for node 3c29beb7984b40a8c19b580362a0daf29dc349fb: master without slots is reachable again.

这篇文章主要介绍集群搭建和故障检测转移，当然集群中还有其他知识点像MOVED 重定向、ASK 重定向和重新分片等功能，这些功能官方文档都有相应的资料。

Redis官网：https://redis.io

Redis中文网：http://www.redis.cn

本篇的集群配置文件：https://github.com/rainbowda/learnWay/tree/master/learnRedis/cluster

作者：云枭zd
Github： Github地址
出处： https://www.cnblogs.com/fixzd/
参考原文地址：https://www.cnblogs.com/fixzd/p/9445668.html

内容总结

以上是互联网集市为您收集整理的redis系列：集群全部内容，希望文章能够帮你解决redis系列：集群所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/907099.html

来源：【匿名】

【上一篇】解决Redis集群条件下键空间通知服务器接收不到消息的问题【下一篇】redis可以做什么？

更多 ►

【redis系列：集群】教程文章相关的互联网学习教程文章

使用Tomcat+Redis来实现集群部署中的Session共享问题【代码】

一、工作中因为要使用到Tomcat集群部署，此时就涉及到了Session共享问题，主要有三种解决方案：1、使用数据库来存储Session2、使用Cookie来存储Session3、使用Redis来存储Sesssion 二、本文中主要讲一下第3种方案，也就是使用Redis来存储Session，Github中已经有该开源组件（tomcat-redis-session-manager），下面讲一下配置的步骤1、配置tomcat配置文件context.xml<Valve className="com.orangefunction.tomcat.redissessions.Red...

干货：一文详解Redis集群原理核心内容【代码】【图】

集群原理一个系统建立集群主要需要解决两个问题：数据同步问题和集群容错问题。Naive方案一个简单粗暴的方案是部署多台一模一样的Redis服务，再用负载均衡来分摊压力以及监控服务状态。这种方案的优势在于容错简单，只要有一台存活，整个集群就仍然可用。但是它的问题在于保证这些Redis服务的数据一致时，会导致大量数据同步操作，反而影响性能和稳定性。Redis集群方案Redis集群方案基于分而治之的思想。Redis中数据都是以Key-Val...

Docker快速构建Redis集群(cluster)【代码】

Docker快速构建Redis集群(cluster)以所有redis实例运行在同一台宿主机上为例子搭建步骤redis集群目录清单. ├── Dockerfile ├── make_master_slave.sh ├── run_master_slave.sh ├── compose_master_slave.sh ├── redis-trib.rb ├── master │?? ├── 7000 │?? │?? ├── data │?? │?? │?? ├── appendonly.aof │?? │?? │?? ├── dump.rdb │?? │?? │?? └── nodes.conf │?? │?? └── redi...

redis集群部署

环境变量添加vim /etc/profile.d/redis.sh内容如下export REDIS_HOME=/home/software/redis-5.0.4/srcexport PATH=$REDIS_HOME:$PATH刷新变量source /etc/profile.d/redis.sh 集群部署Master： 192.168.2.160Slave: 192.168.2.161 和192.168.2.162Sentinel: 192.168.2.161 ， 192.168.2.162和192.168.2.163 Master配置文件bind 192.168.2.160protected-mode yesport 6379tcp-backlog 511timeout 0tcp-keepalive 300daemonize ...

redis 安装集群主从哨兵 docker【代码】

安装redis 官方文档docker run -d --net host -v /opt/myconfig/redis/redis.conf:/usr/local/etc/redis/redis.conf --name redis redis redis-server /usr/local/etc/redis/redis.conf用集群网络用 --net host 主机模式用主机模式就不用指定端口映射。否则会报错 WARNING: Published ports are discarded when using host network moderedis.conf 官方文档高可用主从哨兵配置主从最少配置 replicaof masterip masterport单...

php操作redis cluster集群成功实例【代码】【图】

java操作redis cluster集群可使用jredisphp要操作redis cluster集群有两种方式：1、使用phpredis扩展，这是个c扩展，性能更高，但是phpredis2.x扩展不行，需升级phpredis到3.0，但这个方案参考资料很少2、使用predis，纯php开发，使用了命名空间，需要php5.3+，灵活性高我用的是predis，下载地址https://github.com/nrk/predis...下载好后重命名为predis，server1：192.168.1.198server2：192.168.1.199predis.php <?php require ‘...

Redis源码阅读（三）集群-连接初始化【代码】【图】

Redis源码阅读（三）集群-连接建立对于并发请求很高的生产环境，单个Redis满足不了性能要求，通常都会配置Redis集群来提高服务性能。3.0之后的Redis支持了集群模式。　　Redis官方提供的集群功能是无中心的，命令请求可以发送到任意一个Redis节点，如果该请求的key不是由该节点负责处理，则会返回给客户端MOVED错误，提示客户端需要转向到该key对应的处理节点上。支持集群模式的redis客户端会自动进行转向，普通模式客户端则只返回...

安装Redis 4.0.10集群

一、安装Ruby和Remgem 1、安装rvm 【Ruby Version Manager】到网站 https://rvm.io/　看看安装命令提示　　a.【安装密钥服务器】执行 #gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB 　　b.【安装rvm】执行 #\curl -sSL https://get.rvm.io | bash -s stable 按照输出提示，执行 # source /etc/profile.d/r...

02 . Redis哨兵和高可用集群【代码】

Redis高可用概述在 Web 服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999% 等等）。在 Redis 层面，高可用的含义要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术等），还需要考虑数据容量扩展、数据安全等等。在 Redis 中，实现高可用的技术主要包括持久化、复制、哨兵和集群，下面简单说明它们的作用，以及解决了什么样的问题：持久...

利用Redis发布订阅完成tomcat集群下的消息通知【图】

博主是刚入职半年的新手，如果有说的不对的地方请各位大佬见谅！这是博主的第一篇博客，可能排版以及一些描述有不合理的地方还请勿喷，希望大家尽可能的多给我这样的新手一些鼓励让我能在写博客的道路上走下去。进入正题，首先开发背景　　近期公司的一些项目上出现了内存溢出的问题，究其原因是缓存的数据量太大导致jvm内存溢出，产品的架构上比较老所以针对缓存这块，领导叫我去重构移植到Redis中，博主之前并没有学习过Redi...

redis集群配置【代码】

Spring配置文件中redis集群配置<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"><property name="maxTotal" value="1000"/><property name="maxIdle" value="50"/><property name="minIdle" value="20"/>...

Redis集群安装详细步骤【代码】【图】

环境：　　Centos7 redis3.0 三台虚拟机主机名分别为 master node1 node2如果单机的时候设置过密码最好把密码去掉，避免位置的错误。拍个快照方便恢复。1、创建安装目录在master ,node1 ,node2中分别创建1 mkdir /usr/local/soft/redis-cluster 2、将redis 复制到redis-cluster 目录下修改名字为7000cp -r /usr/local/soft/redis /usr/local/soft/redis-cluster 重命名方便区分mv /usr/local/soft/redis-cluster...

Ubuntu12.04 安装 redis-3.2.1集群

安装的整个过程参考:http://www.cnblogs.com/gomysql/p/4395504.html一. 环境信息1. redis-3.2.1:(http://redis.io/)?http://download.redis.io/releases/redis-3.2.1.tar.gztar xvf?redis-3.2.1.tar.gzmake && make install2.?ruby 2.3.1p112 (2016-04-26 revision 54768) [x86_64-linux]https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gztar xvf?ruby-2.3.1.tar.gz./configuremake && make install3.?gem --version2....

Redis集群的安装测试（伪分布模式 - 主从复制）【代码】

想跑一下Redis集群，但是没有那么多服务器，所以使用伪分布式模式，模拟一下，记录一下安装过程。软件： redis-3.0.3.tar.gz集群正常工作至少需要3个主节点（本示例创建6个节点，3主3从节点）安装前提，要有ruby、rubygems环境，先安装一下：#安装ruby yum --nogpgcheck -y install ruby yum --nogpgcheck -y install ruby-devel.x86_64#安装rubygem yum --nogpgcheck -y install rubygems#安装Ruby的redis接口gem-redis 安装Redi...

Redis 高可用篇：你管这叫 Sentinel 哨兵集群原理【代码】【图】

概要我们知道「主从复制是高可用的基石」，从库宕机依然可以将请求发送给主库或者其他从库，但是 Master 宕机，只能响应读操作，写请求无法再执行。所以主从复制架构面临一个严峻问题，主库挂了，无法执行「写操作」，无法自动选择一个 Slave 切换为 Master，也就是无法故障自动切换。深夜与女朋友么么哒……(此处省略 10000 字)，突然宕机，总不能提起裤子从床上爬起来手工进行主从切换，再通知其他程序员把地址重新改成新主库上...

首页 / REDIS / redis系列：集群

redis系列：集群

内容导读

内容图文

1 简介

2 概念

2.1 节点

2.2 槽

3 搭建Redis集群

3.1 集群环境介绍

3.2 修改配置文件

3.3 节点配置及启动

3.4 使用集群命令行工具redis-trib

3.5 集群搭建过程

3.6 CLUSTER MEET 命令

3.7 CLUSTER MEET 命令实现

4 故障检测和转移

4.1 故障检测

4.2 故障转移

内容总结

内容备注

内容手机端

【redis系列：集群】教程文章相关的互联网学习教程文章

REDIS - 相关标签

集群 - 相关标签

REDIS - 技术教程分类

REDIS - 最新教程

REDIS - 最热教程