亿级并发|day10-Redis进阶
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了亿级并发|day10-Redis进阶，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8692字，纯文字阅读大概需要13分钟。
内容图文
Redis进阶
1 Redis持久化策略
1.1 策略说明
说明：
redis作为内存数据库，需要保持大量用户的数据。但是redis中的数据保存在内存中，一旦遇上断电/宕机，肯定会导致内存数据丢失。
所以为了防止数据丢失，redis采用持久化的方式，实现内存数据的备份。
策略说明：
当redis内存中有数据时，自身支持两种策略模式：
- RDB模式
- AOF模式
redis根据相应模式的设置进行数据持久化，且RDB模式和AOF模式都有各自的持久化文件。当redis重启时，redis会根据配置文件中指定的持久化文件名称，加载持久化文件，为内存恢复数据。
1.2 RDB模式
1.2.1 模式说明
RDB模式定期将内存中的数据持久化。
如果用户允许丢失少量的数据则首选RDB模式，因为RDB模式定期为内存做快照，该方式的备份速度很快。
1.2.2 备份命令
**说明：**执行redis备份命令需要在redis客户端执行。
命令：
手动保存
save
后台备份
bgsave
区别：
save 会造成线程阻塞，只有当备份完成时，才允许执行redis更新操作。
bgsave 表示后台运行，不会造成线程阻塞，挑当前不忙的时间做数据备份。
1.2.3 备份方式
save 900 1
在900秒内，redis做一次更新操作，则备份一次
save 300 10
在300秒内，redis做10次更新操作，则备份一次
save 60 10000
在60秒内，如果redis做10000次操作则备份一次
1.2.4 配置文件说明
1.持久化文件名称
2.持久化文件保存路径
dir ./
表示当前文件夹，建议使用绝对路径。
1.3 AOF模式
1.3.1 模式说明
AOF模式可以做到实时数据备份，该模式相当于用配置文件记录了用户的全部操作过程。
特点：
- 可以实时备份数据，安全性好
- 持久化速度较RDB模式更慢
- AOF模式的持久化文件的体积会很大
- 当数据恢复时，需要消耗很长时间
- 持久化文件明文保存，没有加密
1.3.2 AOF模式持久化策略
1.开启AOF模式
注意：开启AOF模式后，RDB模式不生效。
2.AOF模式持久化文件保存路径
dir ./
3.持久化策略
# appendfsync always 每次操作都会备份
appendfsync everysec 每秒备份一次
# appendfsync no 不做操作
2 Redis内存策略
2.1 需求分析
question：
为了保证服务器正常运行，需要为redis设定最大内存空间，但是如果数据一直新增，内存很快就会占满，如何优化内存？
解决方案：
采用LRU算法，将内存中最近最不常用的数据清空，保存其他数据。
2.2 内存优化手段
1.设定内存空间
建议内存不要超过1G，通常256~512M足矣。
修改redis配置文件第537行
2.设定合适的内存策略
可选的内存策略：
-
volatile-lru
在已经设定超时时间的数据中，采用LRU算法进行删除。 -
allkeys-lru
在所有key中，采用LRU算法进行删除。 -
volatile-random
在已经设定超时时间的数据中，随机删除。 -
allkeys-radom
在所有key中，随机删除 -
volatile-ttl
在已经设定超时时间的数据中，根据TTL机制排序，将马上要过期的数据删除。 -
noviction
如果采用该机制，那么内存数据不会删除，将报错消息返回给用户。
策略设定：
2.3 缓存使用问题
1.缓存穿透
条件：访问一条不存在的数据
说明：当访问一个不存在的数据时，因为缓存中没有这个key，导致缓存形同虚设，最终访问后台数据库，但数据库中也没有该数据所以返回null。
隐患：如果有人恶意频繁查询一个不存在的数据，可能会导致数据库负载过高而宕机。
总结：业务系统访问一个不存在的数据，称之为缓存穿透。
防护：限定同一IP访问频率，如京东。
2.缓存击穿
条件：当一条缓存失效/过期/未命中时，高并发访问该key
说明：如果给一个key设置了失效时间，当key失效时有一万的并发请求访问这个key，此时缓存失效，所有的请求都会访问后台数据库，称之为缓存击穿。
场景：微博热点消息访问量很大，如果该缓存失效则会直接访问后台数据库，导致后台数据库负载过高。
3.缓存雪崩
前提：高并发访问，缓存命中较低或者失效时。
说明：假设缓存都设置了失效时间，在同一时间内缓存大量失效，如果这时用户高并发访问，缓存命中率过低，导致全部的用户访问都会访问后台真实的数据库。
场景：在高并发情况下，缓存动态更新时。
3 Redis分片技术
3.1 需求分析
1.如果将全部数据都保存到一台tomcat中，如果该服务器损坏，则将影响全部服务。
2.使用单台redis内存设定一般不要超过1G，但有些业务数据量很大，如果不修改内存则无法存储。
3.2 改进方案
方案：采用Redis分片技术实现。
优点：
- 使用redis分片可以实现内存数据的动态扩容。
- 使用分片，每台redis节点中尽可能存放1/n的数据，防止数据丢失。
- 对于用户而言，整个redis分片就是一个服务。
3.3 分片搭建
3.3.1 复制配置文件
说明：将redis.conf文件复制到shards中，并且复制3份名称为：
- redis-6379.conf
- redis-6380.conf
- redis-6381.conf
3.3.2 修改端口号
说明：分别修改6380/6381的配置文件为对应端口
3.3.3 重启Redis服务
3.3.4 分片测试
@Test
public void testShard(){
/**
* 创建分片的对象
* 1.poolConfig 标识池的大小
* 2.shards redis分片的节点信息
*/
JedisPoolConfig poolConfig = new JedisPoolConfig();
poolConfig.setMaxTotal(1000);
poolConfig.setTestOnBorrow(true); //获取链接时先检测
List<JedisShardInfo> shards = new ArrayList<>();
shards.add(new JedisShardInfo("192.168.126.166",6379));
shards.add(new JedisShardInfo("192.168.126.166",6380));
shards.add(new JedisShardInfo("192.168.126.166",6381));
ShardedJedisPool pool =
new ShardedJedisPool(poolConfig, shards);
//获取redis链接
ShardedJedis jedis = pool.getResource();
jedis.set("shards","保存分片数据");
System.out.println(jedis.get("shards"));
//将链接还回池中
pool.returnResource(jedis);
}
3.4 Hash一致性算法
3.4.1 数据如何保存
1.利用节点的IP+算法确定唯一的哈希值，之后在内存中确定节点的位置。
2.当保存数据时，根据key进行hash运算，确定唯一的一个位置。
3.根据当前key位置顺时针查找最近的node节点进行挂载。
3.4.2 均衡性
说明：根据redis节点的数量尽可能让数据均匀地分片，每个节点中的数据尽可能趋向1/n。
提升：为了保证均衡性，哈希一致性算法引入了虚拟节点的概念。为了平衡数据，如果一个节点不够则生成多个节点。
3.4.3 单调性
说明：如果node节点的新增，能动态地实现数据的迁移，这种特性被称之为单调性。
3.4.4 分散性
特点：由于分布式的原因，用户在使用内存时，不能够获取全部的内存空间，导致一个key对应多个位置。
3.4.5 负载
说明：负载是从另一个角度考虑分散性。
特点：一个位置对应多个key
如何解决：在进行架构设计时，要求使用全部的内存空间。
4 Spring整合分片
4.1 编辑pro文件
redis.host=192.168.126.166
redis.port.a=6379
redis.port.b=6380
redis.port.c=6381
redis.maxTotal=1000
4.2 编辑Spring配置文件
<!--实现spring整合分片 -->
<bean id="poolConfig" class="redis.clients.jedis.JedisPoolConfig">
<property name="maxTotal" value="${redis.maxTotal}"/>
</bean>
<!--定义三个redis节点 -->
<bean id="shardInfoA" class="redis.clients.jedis.JedisShardInfo">
<constructor-arg name="host" value="${redis.host}"/>
<constructor-arg name="port" value="${redis.port.a}"/>
</bean>
<bean id="shardInfoB" class="redis.clients.jedis.JedisShardInfo">
<constructor-arg name="host" value="${redis.host}"/>
<constructor-arg name="port" value="${redis.port.b}"/>
</bean>
<bean id="shardInfoC" class="redis.clients.jedis.JedisShardInfo">
<constructor-arg name="host" value="${redis.host}"/>
<constructor-arg name="port" value="${redis.port.c}"/>
</bean>
<!--定义连接池 -->
<bean id="jedisPool" class="redis.clients.jedis.ShardedJedisPool">
<constructor-arg name="poolConfig" ref="poolConfig"/>
<constructor-arg name="shards">
<list>
<ref bean="shardInfoA"/>
<ref bean="shardInfoB"/>
<ref bean="shardInfoC"/>
</list>
</constructor-arg>
</bean>
4.3 编辑工具API
@Service
public class RedisService {
//有的工程需要，有的工程不需要。设置required=false，有就注入，没有就不注入。
@Autowired(required = false)
private ShardedJedisPool shardedJedisPool;
public void set(String key,String value){
ShardedJedis jedis =
shardedJedisPool.getResource();
jedis.set(key, value);
shardedJedisPool.returnResource(jedis);
}
//添加超时时间
public void set(String key,String value,int seconds){
ShardedJedis jedis =
shardedJedisPool.getResource();
jedis.setex(key, seconds, value);
shardedJedisPool.returnResource(jedis);
}
//编辑get方法
public String get(String key){
ShardedJedis jedis =
shardedJedisPool.getResource();
String result = jedis.get(key);
shardedJedisPool.returnResource(jedis);
return result;
}
}
4.4 编辑业务层方法
1.修改自动注入对象
2.切换业务方法
5 Redis哨兵
5.1 业务需求
采用redis分片技术可以实现内存扩容，但是如果其中一台机器宕机，则整个redis分片将不能正常运行。
5.2 实现主从挂载
角色划分：
6379（主机）
6380（从机）
6381（从机）
1.检查节点状态
命令：
info replication
2.实现主从挂载
命令：
127.0.0.1:6380> SLAVEOF 192.168.126.166 6379
3.检查状态
5.3 哨兵实现
5.3.1 哨兵原理
- 哨兵监控主机的状态，并获取主机的全部信息，包括从机的信息。
- 通过心跳检测机制，如果3次连接没有响应，则断定主机宕机了。此时哨兵会从从机中选举一台从机充当从机，同时将另外的从机挂载到现在的主机。
- 当旧的主机修复完成后，继续充当从机，等待下次选举。
5.3.2 编辑哨兵配置文件
1.以原名保存文件
cp sentinel.conf sentinel
2.关闭保护模式
3.修改哨兵监听节点信息
sentinel master mymaster 127.0.0.1 1
说明：
mymaster 表示主机变量名称
IP:端口 表示主机信息
2 表示选举票数
4.修改推选时间
5.修改推选失败时间
5.3.3 哨兵测试
1.启动哨兵
redis-sentinel sentinel.conf
2.启动测试
3.关闭主机，检查哨兵能否推选
内容总结
以上是互联网集市为您收集整理的亿级并发|day10-Redis进阶全部内容，希望文章能够帮你解决亿级并发|day10-Redis进阶所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。