首页 / REDIS / 利用redis-sentinel+keepalived实现redis高可用

利用redis-sentinel+keepalived实现redis高可用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了利用redis-sentinel+keepalived实现redis高可用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10971字，纯文字阅读大概需要16分钟。

内容图文

目标、需求：

为上层应用提供高可靠、低延迟、低（无限接近0）数据损失的Redis缓存服务

方案概述：

采用同一网络内的三台主机（可以是物理主机、虚拟机或docker容器），要求三台主机之间都能相互访问，每一台主机上都安装redis-server、redis-sentinel和keepalived。

redis-server负责提供Redis缓存服务，三台主机间的关系是master-slave-slave

redis-sentinel负责提供Redis高可用，三台主机间的关系与redis-server相同

keepalived负责提供VIP地址供上层应用使用，三台主机的关系是master-backup-backup，VIP始终在redis-server master上，保证对上层应用可写可读。

三台主机的冗余度是1，也就是说当有一台主机宕机时另外两台中至少有一台主机可以提供Redis缓存服务

方案原理：

redis-server提供单实例的Redis缓存服务，redis-sentinel能在一台主机挂掉时自动的将某一台可用主机上的redis-server由slave状态切换成master状态。

keepalived通过vrrp_script检测当前主机上的redis-server是否以master状态运行，如果当前主机上的redis-server正在以master状态运行，则将vrrp_instance标记为存活状态，并分配VIP；如果当前主机上的redis-server正在以slave状态运行，则将vrrp_instance标记为错误状态。当某台主机宕机后，其他两台主机上的keepalived会将VIP切换到新的master（当前主机上的redis-server正在以master状态运行）上。

由于keepalived的VIP切换有延迟（大约40ms），因此上层应用不能过分依赖Redis，例如大规模并发性的短时间内向Redis插入大量数据。

连接图

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020019527.jpg" width="606" height="357" />

如图所示，有三台主机，分别标识为Redis1、Redis2、Redis3，它们的角色和配置等信息如下：

主机标识 Redis1 Redis2 Redis3
IP地址 192.168.1.241 192.168.1.242 192.168.1.243
预设配置 redis-server master          
keepalived master		 redis-server slave          
keepalived backup		 redis-server slave          
keepalived backup
  VIP    

 

配置步骤：

步骤概述

  1. 安装：安装redis-server、redis-sentinel、keepalived

  2. 配置：配置Redis1、Redis2、Redis3，主要是编辑各个服务的配置文件

  3. 启动：先启动redis-server、再启动redis-sentinel、最后自动keepalived

  4. 验证：模拟一台主机宕机，主机网络中断，redis-server、redis-sentinel、keepalived三个服务任何一个发生故障的情况。

（1）设定主机名（建议设定为fqdn格式）、同步时间、更改文件描述符最大打开数量、更改内核参数、配置编译环境、配置防火墙在此就不赘述了。

（2）安装redis-server和redis-sentinel

Redis的安装由于只是bin二进制可执行文件和data目录比较重要，因此简化安装如下    

# http://download.redis.io/redis-stable.tar.gz     
wget -c http://download.redis.io/releases/redis-3.0.7.tar.gz     
tar zxf redis-3.0.7.tar.gz     
cd redis-3.0.7     
make     
cd     
\cp redis-3.0.7/src/redis-benchmark /usr/local/sbin/     
\cp redis-3.0.7/src/redis-check-aof /usr/local/sbin/     
\cp redis-3.0.7/src/redis-check-dump /usr/local/sbin/     
\cp redis-3.0.7/src/redis-cli /usr/local/sbin/     
\cp redis-3.0.7/src/redis-sentinel /usr/local/sbin/     
\cp redis-3.0.7/src/redis-server /usr/local/sbin/     
mkdir /etc/redis     
mkdir -p /data/redis-6379/

（3）安装keepalived

# http://www.keepalived.org/documentation.html     
wget -c http://www.keepalived.org/software/keepalived-1.2.19.tar.gz     
tar zxf keepalived-1.2.19.tar.gz     
cd keepalived-1.2.19     
./configure --prefix=/usr/local/keepalived     
make     
make install     
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/     
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/     
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/     
mkdir /etc/keepalived

keepalived的配置文件在后面添加

（4）Redis1上的redis-sentinel配置文件

cat >/etc/redis/sentinel.conf<<eof    
port 26379     
dir /tmp     
sentinel monitor mymaster 192.168.1.241 6379 2     
sentinel down-after-milliseconds mymaster 30000     
sentinel parallel-syncs mymaster 1     
sentinel failover-timeout mymaster 180000     
eof

Redis2和Redis3上的redis-sentinel配置文件与Redis1上的redis-sentinel配置文件内容相同。

（5）Redis1上的redis-server的配置文件

cat > /etc/redis/redis-6379.conf <<eof     
# maxmemory 268435456     
maxmemory 256mb     
daemonize yes     
pidfile /data/redis-6379/redis-6379.pid     
port 6379     
bind 0.0.0.0     
tcp-backlog 511     
timeout 0     

tcp-keepalive 0     
loglevel notice     
logfile /data/redis-6379/redis.log     
databases 16     
save 900 1     
save 300 10     
save 60 10000     
stop-writes-on-bgsave-error yes     
rdbcompression yes     
rdbchecksum yes     
dbfilename dumpredis-6379.rdb     
dir /data/redis-6379     
slave-serve-stale-data yes     
slave-read-only yes     
repl-diskless-sync no     
repl-diskless-sync-delay 5     
# repl-ping-slave-period 10     
# repl-timeout 60     
repl-disable-tcp-nodelay no     
# repl-backlog-size 1mb     
# repl-backlog-ttl 3600     
slave-priority 100     
# min-slaves-to-write 3     
# min-slaves-max-lag 10     

appendonly no     
appendfilename "appendonly.aof"     
appendfsync everysec     
no-appendfsync-on-rewrite no     
auto-aof-rewrite-percentage 100     
auto-aof-rewrite-min-size 64mb     
aof-load-truncated yes     
lua-time-limit 5000     
slowlog-log-slower-than 10000     
slowlog-max-len 128     
latency-monitor-threshold 0     
notify-keyspace-events ""     
hash-max-ziplist-entries 512     
hash-max-ziplist-value 64     
list-max-ziplist-entries 512     
list-max-ziplist-value 64     
set-max-intset-entries 512     
zset-max-ziplist-entries 128     
zset-max-ziplist-value 64     
hll-sparse-max-bytes 3000     
activerehashing yes     
client-output-buffer-limit normal 0 0 0     
client-output-buffer-limit slave 256mb 64mb 60     
client-output-buffer-limit pubsub 32mb 8mb 60     
hz 10     
aof-rewrite-incremental-fsync yes     
eof

（6）Redis2与Redis3上的redis-server配置文件

cat > /etc/redis/redis-6379.conf <<eof    
slaveof 192.168.1.241 6379     
# maxmemory 268435456     
maxmemory 256mb     
daemonize yes     
pidfile /data/redis-6379/redis-6379.pid     
port 6379     
bind 0.0.0.0     
tcp-backlog 511     
timeout 0     
tcp-keepalive 0     
loglevel notice     
logfile /data/redis-6379/redis.log     
databases 16     
save 900 1     
save 300 10     
save 60 10000     
stop-writes-on-bgsave-error yes     
rdbcompression yes     
rdbchecksum yes     
dbfilename dumpredis-6379.rdb     
dir /data/redis-6379     
slave-serve-stale-data yes     
slave-read-only yes     
repl-diskless-sync no     
repl-diskless-sync-delay 5 
    
# repl-ping-slave-period 10     
# repl-timeout 60     
repl-disable-tcp-nodelay no     
# repl-backlog-size 1mb     
# repl-backlog-ttl 3600     
slave-priority 100     
# min-slaves-to-write 3     
# min-slaves-max-lag 10     
appendonly no     
appendfilename "appendonly.aof"     
appendfsync everysec     
no-appendfsync-on-rewrite no     
auto-aof-rewrite-percentage 100     
auto-aof-rewrite-min-size 64mb     
aof-load-truncated yes     
lua-time-limit 5000     
slowlog-log-slower-than 10000     
slowlog-max-len 128     
latency-monitor-threshold 0     
notify-keyspace-events ""     
hash-max-ziplist-entries 512     
hash-max-ziplist-value 64     
list-max-ziplist-entries 512     
list-max-ziplist-value 64     
set-max-intset-entries 512     
zset-max-ziplist-entries 128     
zset-max-ziplist-value 64     
hll-sparse-max-bytes 3000     
activerehashing yes     
client-output-buffer-limit normal 0 0 0     
client-output-buffer-limit slave 256mb 64mb 60     
client-output-buffer-limit pubsub 32mb 8mb 60     
hz 10     
aof-rewrite-incremental-fsync yes     
eof

（7）Redis1上的keepalived配置文件(vim /etc/keepalived/keepalived.conf)

关于keepalived的配置文件

keepalived的配置文件默认是没有的，当然sample&example文件还是有的，通常在PREFIX/etc/sample目录下。

keepalived master和backup（backups）之间不同的是：

1.优先级的不同，master的优先级priority的数字要高一些

2.global_defs段的router_id都不一样，实际中可以用任意名字区分也可以用主机名区分

3.backup的配置文件中还有一个nopreempt字段，意思是设置为非抢占模式，作用是让master优先获取到VIP，并保证VIP是在原先的master上。

! Configuration File for keepalived     
global_defs {     
   notification_email {     
     root@localhost     
   }     
   notification_email_from keepalived@localhost     
   smtp_server 127.0.0.1     
   smtp_connect_timeout 10     
   router_id keepalivedha_1     
}     
vrrp_script chk_http_port {     
    script "redis-cli info | grep role:master >/dev/null 2>&1"     
    interval 1     
    timeout 2     
    fall 2     
    rise 1     
}     
vrrp_sync_group VG_1 {     
    group {     
        VI_1     
    }     
}     
vrrp_instance VI_1 {     
    state BACKUP     
    interface eth1     
    #use_vmac keepalived     
    #vmac_xmit_base     
    mcast_src_ip 192.168.1.241     
    smtp_alert     
    virtual_router_id 20    
    priority 100     
    advert_int 1     
    authentication {     
        auth_type PASS     
        auth_pass password     
    }     
    virtual_ipaddress {     
        192.168.1.245     
    }     
    track_script {     
        chk_http_port     
    }     
}

（8）Redis2上的keepalived配置文件

! Configuration File for keepalived    
global_defs {     
   notification_email {     
     root@localhost     
   }     
   notification_email_from keepalived@localhost    
   smtp_server 127.0.0.1     
   smtp_connect_timeout 10     
   router_id keepalivedha_2     
}     
vrrp_script chk_http_port {     
    script "redis-cli info | grep role:master >/dev/null 2>&1"     
    interval 1     
    timeout 2     
    fall 2     
    rise 1     
}     
vrrp_sync_group VG_1 {     
    group {     
        VI_1     
    }     
}     
vrrp_instance VI_1 {     
    state BACKUP     
    interface eth2     
    #use_vmac keepalived     
    #vmac_xmit_base     
    mcast_src_ip 192.168.1.242     
    smtp_alert     
    virtual_router_id 20    
    priority 99     
    advert_int 1     
    authentication {     
        auth_type PASS     
        auth_pass password     
    }     
    virtual_ipaddress {     
        192.168.1.245     
    }     
    track_script {     
        chk_http_port     
    }     
    nopreempt     
}

（9）Redis3上的keepalived配置文件

! Configuration File for keepalived    
global_defs {     
   notification_email {     
     root@localhost     
   }     
   notification_email_from keepalived@localhost     
   smtp_server 127.0.0.1     
   smtp_connect_timeout 10     
   router_id keepalivedha_3    
}     
vrrp_script chk_http_port {     
    script "redis-cli info | grep role:master >/dev/null 2>&1"     
    interval 1     
    timeout 2     
    fall 2     
    rise 1     
}     
vrrp_sync_group VG_1 {     
    group {     
        VI_1     
    }     
}     
vrrp_instance VI_1 {     
    state BACKUP     
    interface eth1     
    #use_vmac keepalived     
    #vmac_xmit_base     
    mcast_src_ip 192.168.1.243     
    smtp_alert     
    virtual_router_id 20    
    priority 98     
    advert_int 1     
    authentication {     
        auth_type PASS     
        auth_pass password     
    }     
    virtual_ipaddress {     
        192.168.1.245     
    }     
    track_script {     
        chk_http_port     
    }     
    nopreempt     
}

（10）启动redis-server

redis-server /etc/redis/redis-6379.conf
tail /data/redis-6379/redis.log

（11）启动redis-sentinel

redis-sentinel /etc/redis/redis-sentinel.conf
tail /data/redis-6379/redis-sentinel.log

（12）启动keepalived

service keepalived start
tail /var/log/messages

如果keepalived启动后日志如下图显示则表示启动成功。

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020019689.jpg" height="185" />

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020019908.jpg" width="684" height="456" />

测试

先不模拟故障，先测试一下redis的set、get和复制情况

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020020292.jpg" height="310" />

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020020400.jpg" height="350" />

再测试一下模拟故障出现时redis的set、get和复制情况

停掉Redis1上的redis-server

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020020610.jpg" height="122" />

Redis1上的VIP已经被移除

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020020808.jpg" height="195" />

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020021097.jpg" height="423" />

查看Redis2上的Redis状态和VIP状态

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020021385.jpg" height="56" />

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020021576.jpg" height="475" />

通过上图的黄色文字可以看出，VIP已经漂移到新的redis-server master了。

注意：VIP的漂移过程是需要时间的，时间大概需要10*4ms左右，如下图所示：

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020021765.jpg" height="262" />

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020021878.jpg" height="118" />

此时再次测试一下Redis的复制情况

技术分享650) this.width=650;" title="image" border="0" src="/upload/getfiles/default/2022/11/12/20221112020021983.jpg" height="183" />

由上图可见，Redis复制情况正常，上层应用依然可以使用Redis缓存服务。

故障切换的步骤

如果一台主机宕机，则主机启动后，先启动redis-server、再启动redis-sentinel、最后自动keepalived。

如果多台主机宕机，则按照一台主机宕机的步骤做同样处理。

如果一台主机的中的某台服务停止，则直接启动该服务即可。

参考

Redis Documention http://redis.io/documentation

Redis High Availability http://redis.io/topics/sentinel

Redis Replication http://redis.io/topics/replication


tag:Redis集群,Redis高可用,redis-sentinel,keepalived配置,Redis主从复制

--end--

本文出自 “通信，我的最爱” 博客，请务必保留此出处http://dgd2010.blog.51cto.com/1539422/1742766

原文：http://dgd2010.blog.51cto.com/1539422/1742766

内容总结

以上是互联网集市为您收集整理的利用redis-sentinel+keepalived实现redis高可用全部内容，希望文章能够帮你解决利用redis-sentinel+keepalived实现redis高可用所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1277781.html

来源：【匿名】