redis应用之主从架构配置

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了redis应用之主从架构配置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8780字，纯文字阅读大概需要13分钟。

内容图文

一、redis 主从复制安装配置

1、主从复制介绍

主从复制，当用户往Master端写入数据时，通过Redis Sync机制将数据文件发送至Slave，Slave也会执行相同的操作确保数据一致；且实现Redis的主从复制非常简单，但是redis的主从复制是异步的。

2、redis主从复制特点

同一个Master可以拥有多个Slaves。

Master下的Slave还可以接受同一架构中其它slave的链接与同步请求，实现数据的级联复制，即Master->Slave->Slave模式；

Master以非阻塞的方式同步数据至slave，这将意味着Master会继续处理一个或多个slave的读写请求；

Slave端同步数据也可以修改为非阻塞式的方式，当slave在执行新的同步时，它仍可以用旧的数据信息来提供查询；否则，当slave与master失去联系时，slave会返回一个错误给客户端；

主从复制具有可扩展性，即多个slave专门提供只读查询与数据的冗余，Master端专门提供写操作；

通过配置禁用Master数据持久化机制，将其数据持久化操作交给Slaves完成，避免在Master中要有独立的进程来完成此操作。

3、主从复制原理

当启动一个Slave进程后，它会向Master发送一个SYNC Command，请求同步连接。无论是第一次连接还是重新连接，Master都会启动一个后台进程，将数据快照保存到数据文件中，

同时Master会记录所有修改数据的命令并缓存在数据文件中。后台进程完成缓存操作后，Master就发送数据文件给Slave，Slave端将数据文件保存到硬盘上，然后将其在加载到

内存中，接着Master就会将所有修改数据的操作，将其发送给Slave端。若Slave出现故障导致宕机，恢复正常后会自动重新连接，Master收到Slave的连接后，将其完整的数据

文件发送给Slave，如果Mater同时收到多个Slave发来的同步请求，Master只会在后台启动一个进程保存数据文件，然后将其发送给所有的Slave，确保Slave正常。

4、主从架构介绍

Centos 6.6 x86_64  redis 3.0.7
master   IP:  10.0.18.145    redis port 6379
slave1   IP:  10.0.18.146    redis port 6379

配置主从之前先编译安装redis，优化内核参数，参数如下：

#vi /etc/sysctl.conf    #添加如下到文件末尾
vm.overcommit_memory = 1
net.core.somaxconn = 511
vm.swappiness = 0
net.ipv4.neigh.default.gc_stale_time=120
net.ipv4.conf.all.rp_filter=0
net.ipv4.conf.default.rp_filter=0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.all.arp_announce=2
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024 
net.ipv4.tcp_synack_retries = 2
net.ipv4.conf.lo.arp_announce=2
##修改以下参数为never
#echo never > /sys/kernel/mm/transparent_hugepage/enabled
修改打开最大文件数
#vim /etc/security/limits.conf 
* soft nofile 65535
* hard nofile 65535
* soft    nproc     10240         
* hard    nproc     10240

5、开始配置主从

为master端提供redis配置文件：

#cp /root/redis-3.0.7/redis.conf /usr/local/redis/conf/
#cat redis.conf | egrep -v "^#|^$"  #注释都是修改的，其他默认，如果有其他需求可以根据情况修改
daemonize yes            #以daemon后台模式运行
pidfile "/var/run/redis.pid"
port 6379
tcp-backlog 511
bind 10.0.18.145         #绑定master的地址
timeout 0
tcp-keepalive 0
loglevel notice
logfile "/usr/local/redis/log/redis.log"  #redis日志路径
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error no #修改为no，如果对数据要求比较高，不允许服务器出任何错误，保持默认yes。
rdbcompression yes
rdbchecksum yes
dbfilename "dump.rdb"
dir "/usr/local/redis"      #rdb文件存放目录
masterauth "abcd123"        #master验证密码
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 80           #slave优先级别,数字越小优先级别越高,当master宕机时优先选取slave，如果单纯是主从，可以不配置此项
                            #我这里配置了，是为了后面配置redisHA做准备！
requirepass "abcd123"       #redis的认证密码，如果设置进入redis必须通过密码认证才可以操作
appendonly yes              #改为yes，aof持久化,增量写disk,比aof慢,但更可靠.企业的默认选择,有的会两者均开启
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

为slave1提供redis配置文件：

#cp /root/redis-3.0.7/redis.conf /usr/local/redis/conf/
#cat redis.conf    #slave1的配置文件参数其他都和master端的一样，只有下面几项需要修改：
bind 10.0.18.146         #绑定slave1的地址
slaveof 10.0.18.146 6379 #此选项是主从配置的关键，指向master的ip和redis端口
slave-priority 90        #slave1服务器的优先级
然后启动主从端的redis服务！
#nohup /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf &  #在后台运行
补充：这里之所以从redis源码目录中拷贝redis.conf文件，而不直接建redis.conf并且写入参数是因为遇到了一个坑，后面会描述详情！

6、日志查看

在master上查看日志，如下：

#tail -f redis.log
……………………
10370:M 12 Oct 11:02:25.148 # Server started, Redis version 3.0.7
10370:M 12 Oct 11:02:25.148 * DB loaded from append only file: 0.000 seconds
10370:M 12 Oct 11:02:25.148 * The server is now ready to accept connections on port 6379
10370:M 12 Oct 11:02:45.243 * Slave 10.0.18.146:6379 asks for synchronization
10370:M 12 Oct 11:02:45.243 * Full resync requested by slave 10.0.18.146:6379
10370:M 12 Oct 11:02:45.243 * Starting BGSAVE for SYNC with target: disk
10370:M 12 Oct 11:02:45.244 * Background saving started by pid 10384
10384:C 12 Oct 11:02:45.254 * DB saved on disk
10384:C 12 Oct 11:02:45.255 * RDB: 0 MB of memory used by copy-on-write
10370:M 12 Oct 11:02:45.303 * Background saving terminated with success
10370:M 12 Oct 11:02:45.303 * Synchronization with slave 10.0.18.146:6379 succeeded
在slave 上查看日志，如下：
#tail -f redis.log
………………
20825:S 12 Oct 11:02:44.278 * DB loaded from append only file: 0.000 seconds
20825:S 12 Oct 11:02:44.278 * The server is now ready to accept connections on port 6379
20825:S 12 Oct 11:02:45.278 * Connecting to MASTER 10.0.18.145:6379
20825:S 12 Oct 11:02:45.278 * MASTER <-> SLAVE sync started
20825:S 12 Oct 11:02:45.279 * Non blocking connect for SYNC fired the event.
20825:S 12 Oct 11:02:45.280 * Master replied to PING, replication can continue...
20825:S 12 Oct 11:02:45.282 * Partial resynchronization not possible (no cached master)
20825:S 12 Oct 11:02:45.284 * Full resync from master: 80508d50892115ab7d158c643c6ee68cb9282c76:1
20825:S 12 Oct 11:02:45.343 * MASTER <-> SLAVE sync: receiving 46 bytes from master
20825:S 12 Oct 11:02:45.344 * MASTER <-> SLAVE sync: Flushing old data
20825:S 12 Oct 11:02:45.344 * MASTER <-> SLAVE sync: Loading DB in memory
20825:S 12 Oct 11:02:45.344 * MASTER <-> SLAVE sync: Finished with success
20825:S 12 Oct 11:02:45.345 * Background append only file rewriting started by pid 20828
20825:S 12 Oct 11:02:45.370 * AOF rewrite child asks to stop sending diffs.
20828:C 12 Oct 11:02:45.370 * Parent agreed to stop sending diffs. Finalizing AOF...
20828:C 12 Oct 11:02:45.370 * Concatenating 0.00 MB of AOF diff received from parent.
20828:C 12 Oct 11:02:45.371 * SYNC append only file rewrite performed
20828:C 12 Oct 11:02:45.371 * AOF rewrite: 0 MB of memory used by copy-on-write
20825:S 12 Oct 11:02:45.379 * Background AOF rewrite terminated with success
20825:S 12 Oct 11:02:45.379 * Residual parent diff successfully flushed to the rewritten AOF (0.00 MB)
20825:S 12 Oct 11:02:45.379 * Background AOF rewrite finished successfully
如果都可以正常启动，测试数据可以复制，表示主从复制就配置OK了！
注意：进入redis之后，需要认证后才能进去操作
#./redis-cli -h 10.0.18.145
10.0.18.145:6379> info
NOAUTH Authentication required.
10.0.18.145:6379> auth  abcd123    #输入密码
ok

7、查看复制信息

在master查看：

#./redis-cli -h 10.0.18.145
10.0.18.145:6379> auth abcd123
OK
10.0.18.145:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.18.146,port=6379,state=online,offset=14967,lag=0
master_repl_offset:14967
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:742

在slave查看

#./redis-cli -h 10.0.18.146
10.0.18.146:6379> auth abcd123
OK
10.0.18.146:6379> info replication
# Replication
role:slave
master_host:10.0.18.145
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:14967
slave_priority:90
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

注意：如果主从复制正常运行master_repl_offset:14967和slave_repl_offset:14967值是相同的，master_last_io_seconds_ago:的值小于等于10秒！

主从复制配置好之后，写操作是在master实现的，然后复制到slave服务器，所以是不能再slave上进行写操作的，或报错，如下：

10.0.18.146:6379> set class num1
(error) READONLY You can‘t write against a read only slave.

如果从服务器宕机，将自动从主服务器的主从关系中解除；但是如果是主服务器宕机了，从服务器无法工作也不能自动切换！！！

8、主从复制的健康检查

Slave按照repl-ping-slave-period的间隔（默认10秒），向Master发送ping。

如果主从间的链接中断后，再次连接的时候，2.8以前按照full sync再同期。2.8以后，因为有backlog的设定，backlog存在master的内存里，重新连接之前，如果redis没有重启，并且offset在backlog保存的范围内，可以实现从断开地方同期，不符合这个条件，还是full sync。

用monitor命令，可以看到slave在发送ping

10.0.18.146:6379> monitor
OK
1476252338.841551 [0 10.0.18.145:6379] "PING"
1476252348.871064 [0 10.0.18.145:6379] "PING"
1476252358.896442 [0 10.0.18.145:6379] "PING"
1476252368.923831 [0 10.0.18.145:6379] "PING"
……………………

到此，主从复制配置完成，其实挺简单！

二、redis的级联复制

所谓级联级复制是master-slave1-slave2，对于slave1来说，master是主；对于slave2来说，slave1就是主，具体方式如下：

假如ip地址如下：
master  192.168.8.7
slave1  192.168.8.8
slave2  192.168.8.9
在slave1上操作
#vim  redis.conf
# slaveof <masterip><masterport>
slaveof 192.168.8.7 6379       --指定master的IP和端口
在slave2上操作
#vim  redis.conf
# slaveof <masterip><masterport>
slaveof 192.168.8.8 6379       --指定slave1的IP和端口
然后启动redis-server进程
#nohup /usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf &
以上就实现了redis级联级复制！

不足之处，请多多指出！

原文：http://linuxg.blog.51cto.com/4410110/1862042

内容总结

以上是互联网集市为您收集整理的redis应用之主从架构配置全部内容，希望文章能够帮你解决redis应用之主从架构配置所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1211109.html

来源：【匿名】

【上一篇】Redis知识点小结【下一篇】redis可以做什么？

更多 ►

【redis应用之主从架构配置】教程文章相关的互联网学习教程文章

一、redis 主从复制安装配置1、主从复制介绍主从复制，当用户往Master端写入数据时，通过Redis Sync机制将数据文件发送至Slave，Slave也会执行相同的操作确保数据一致；且实现Redis的主从复制非常简单，但是redis的主从复制是异步的。2、redis主从复制特点同一个Master可以拥有多个Slaves。Master下的Slave还可以接受同一架构中其它slave的链接与同步请求，实现数据的级联复制，即Master->Slave->Slave模式；Master以非阻塞的方式同...

redis中stringRedisTemplate中opsForList中方法的简单应用【代码】

opsForList操作List集合push操作分为leftpush和rightpush，其中leftpush是在list的左侧添加，即列表的头部，right是在list的左侧添加，即在列表的尾部。可以根据业务酌情选择。pop操作也分为left和right，意思和push一样。pop是获取一个元素，并且删除这个元素。如果只想要查看某个元素。可以使用range，他有三个参数，第一个参数是key，后面是搜索范围，全集合搜索可以用（key,0,-1）；有时候希望给添加的缓存设置生命时间，到期...

nginx+lua+redis构建高并发应用

ngx_lua将lua嵌入到nginx，让nginx执行lua脚本，高并发，非阻塞的处理各种请求。url请求nginx服务器，然后lua查询redis，返回json数据。一.安装lua-nginx-module参见《LNMLGC》架构二.安装redis2-nginx-module模块get https://github.com/openresty/echo-nginx-module get https://github.com/openresty/redis2-nginx-module get https://github.com/agentzh/set-misc-nginx-module.git # ./configure --prefix=/usr/local/nginx ...

基于C#的MongoDB数据库开发应用（4）--Redis的安装及使用【代码】【图】

在前面介绍了三篇关于MongoDB数据库的开发使用文章，严格来讲这个不能归类于MongoDB数据库开发，不过Redis又有着和MongoDB数据库非常密切的关系，它们两者很接近，Redis主要是内存中的NoSQL数据库，用来提高性能的；MongoDB数据库则是文件中的NoSQL数据库，做数据序列号存储使用的，它们两者关系密切又有所区别。本篇主要介绍Redis的安装及使用，为后面Redis和MongoDB数据库的联合使用先铺下基础。1、Redis基础及安装Redis是一个开...

Redis内存数据库在Exchange会议室的整体应用架构

注：本文是别人写的，感觉写得很好就转过来，版权归原作者所有哦，谁知道出处可以告诉我，谢谢。根据以上的会议室应用现状分析，该架构的核心是把历史发生的会议室申请数据定时同步到Redis内存数据库中，对于现在和未来时间的会议室数据（目前可以提前7天申请数据）则通过专用接口在Exchange会议室数据库实时查询，根据用户选择查询时间，系统自动判断访问哪个数据库或进行数据合并（历史数据与现在或未来时间的数据），通过减少...

基于Redis+MySQL+MongoDB存储架构应用

摘要： Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加，可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能；依据切片键索引分片，位于各切片独立进行计算，使大数据下的实时分析成为现实。对于高频访问的数据放在了Redis中，有效地降低磁盘I/O，使业务系统响应更为敏捷，满足了高并发下应用服务的高呑吐要求。　　关键词：移动位置服务SaaS；Redis；Mon...

ASP.NET下跨应用共享Session和使用Redis进行Session托管【代码】【图】

在之前的博客中，我说到了Session的共享问题，其中说到了Web Farm和Web Garden两种情况下Session的处理。在ASP.NET提供的Session处理方法中，有以下四种模式：1、 InProc模式这是ASP.NET默认的Session管理模式，在应用进程内维护Session。2、 StateServer模式这是在服务器装了.NET环境后自带的一个StateServer服务，在应用进程外管理Session，可以进行多应用间的Session共享，在我看来这一模式最为适用于Web Garden模式。这在之...

使用 acl 库编写高效的 C++ redis 客户端应用

?一、概述????? redis 最近做为 nosql 数据服务应用越来越广泛，其相对于 memcached 的最大优点是提供了更加丰富的数据结构，所以应用场景就更为广泛。redis 的出现可谓是广大网络应用开发者的福音，同时有大量的开源人员贡献了客户端代码，象针对 java 语言的 jedis，php 语言的 phpredis/predis 等，这些语言的 redis 库既丰富又好用，而对 C/C++ 程序员似乎就没那么幸运了，官方提供了 C 版的 hiredis 作为客户端库，很多爱好者...

监控redis数据库应用状态:python,tornado实现【代码】

公司里最近redis服务器压力越来越大,其大概情况,只能从操作系统层面看,并不详尽,故同事在网上找了一个叫做 redis-live的开源项目,我配合部署了一下,还真有点意思,并解决了其中部分小debug, 原文来之这里目前来说，越来越多的使用多了NOSQL的业务，但是这方面的监控缺不多。今天给大家介绍几个专业监控redis服务的工具，便于大家进行redis性能分析。下面开始介绍安装redis-live：因为redis-live是基于python开发的，所以首先要部署...

redis数据类型和应用场景

Redis是什么？两句话可以做下概括： 1. 是一个完全开源免费的key-value内存数据库2. 通常被认为是一个数据结构服务器，主要是因为其有着丰富的数据结构 strings、map、 list、sets、 sorted sets redis 五种数据类型：string，hash（哈希类型），list(链表结构)，set(无序集合)及zset(sorted set --有序集合)。 Redis 应用场景：1、显示最新的项目列表下面这个语句常用来显示最新项目，随着数据多了，查询毫无疑问会越来越慢。SEL...

Redis在.net中的应用学习【代码】【图】

在Redis的官网（http://redis.io/clients#c）上可以看到支持Redis C#的客户端。redis的网络连接方式和传统的rdbms相似，一种是长连接，一种是连接池，此处使用长连接进行连接。目前redis官方版本不支持.net直接进行连接，需要使用一些开源类库。目前最流行的就是ServiceStack.redis，可以通过https://github.com/ServiceStack/ServiceStack.Redis下载最新版本。下载完成解压，在\ServiceStack.Redis-master\build\release\MonoDeve...

简单的redis 的list应用【代码】

error_reporting(E_ALL); if(empty($a)){echo 111; }else{echo 3333; }die; phpinfo();die;$redis = new Redis(); $redis->connect(‘localhost‘, 6379); $redis->set("name", ‘wensong.yu‘); var_dump($redis->get("name"));$key = "kucun"; for($i = 0;$i < 10; $i++){$redis->lPush($key, 1); }$res = $redis->lPop($key); if(!$res){return "没得库存"; }//luoji ....$flag = true;//...if(!$flag){$res->lPush($key, 1); }...

Redission锁的设计原理和应用【代码】

Redission锁的设计原理和应用一：基本使用方法<dependency><groupId>org.redisson</groupId><artifactId>redisson</artifactId><version>3.8.2</version> </dependency> @Test public void tt() {Config config = new Config();config.useSingleServer().setAddress("127.0.0.1:6399").setDatabase(0);// 构造RedissonClientRedissonClient redissonClient = Redisson.create(config);// 设置锁定资源名称RLock disLock = redisson...

2017-4-20/Redis的数据结构及应用场景

1. 谈谈你对redis的理解，它的应用场景。Redis是一个key-value存储系统，它支持存储的value类型包括string字符串、list链表、set集合、sorted Set有序集合和hash哈希等数据类型。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的，支持各种不同方式的排序。为了保证效率，Redis将数据都缓存在内存中，并周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，在此基础...

Redis应用【代码】【图】

1.1 特点内存数据库，速度快，也支持数据持久化Redis不仅仅支持简单的key-value类型的数据，同时还提供List、Hash、Set、Sorted Set等多种数据类型Redis支持数据的备份（master-slave）与集群（分片存储），以及拥有哨兵模式支持事务1.2 优势性能极高- Redis能读的速度是110000次/s,写的速度81000次/s丰富的数据类型-Redis支持String、List、Hash、Set、Sorted Set等数据结构原子操作，Redis所有操作都是原子性的,同时Redis还支持对...

REDIS - 技术教程分类

Redis 教程 Redis 简介 Redis 安装 Redis 配置 Redis 数据类型 Redis 命令 Redis 键(key) Redis 字符串(String) Redis 哈希(Hash) Redis 列表(List) Redis 集合(Set) Redis 有序集合(sorted set) Redis HyperLogLog Redis 发布订阅 Redis 事务 Redis 脚本 Redis 连接 Redis 服务器 Redis GEO Redis Stream Redis 数据备份与恢复 Redis 安全 Redis 性能测试 Redis 客户端连接 Redis 分区 Redis 全部

REDIS - 最热教程

redis中批量删除key的方法 redis设置密码，取消密码 node.js利用redis数据库缓存数据 PHP swoole和redis异步任务实现方法分析 Laravel使用Redis共享Session步骤详解 mac下卸载干净redis 如何通过命令行修改redis的配置使用Port Forwarding连接k8s集群的pod（...Redis入门（七）——Redis发布订阅 Redis学习笔记2-常用数据类型