学习目标 目标1：能够说出redis中的数据删除策与略淘汰策略 目标2：能够说出主从复制的概念，工作流程以及场景问题及解决方案 目标3：能够说出哨兵的作用以及工作原理，以及如何启用哨兵 目标4：能够说出集群的架构设计，完成集群的搭建 目标5：能够说出缓存预热，雪崩，击穿，穿透的概念，能说出redis的相关监控指标 1.数据删除与淘汰策略 1.1 过期数据 1.1.1 Redis中的数据特征 Redis是一种内存级数据库，所有数据均存放在内存中...
分布式限流方案 概述 分布式锁 为什么要使用分布式锁 分布式锁应该具备的条件 分布式锁的实现方案 基于数据库实现 基于缓存redis实现 无论是分布式锁还是常规的锁，其目的都是在于：让多个线/进程在竞争某一个资源的时候，获取访问的权限。分布式锁无非是将线程竞争的层面拔高到进程竞争。 使用redis实现分布式锁的思想： 获取锁的时候，使用set命令加锁， Redis有个事务锁，就是如下的命令，这个命令的含义是将一个value设置到一个...
Redis热点Key发现及常见解决方案 转载自：Redis热点Key发现及常见解决方案 一、热点Key问题产生的原因 1、用户消费的数据远大于生产的数据（热卖商品、热点新闻、热点评论、明星直播）。 在日常工作生活中一些突发的的事件，例如：双十一期间某些热门商品的降价促销，当这其中的某一件商品被数万次点击浏览或者购买时，会形成一个较大的需求量，这种情况下就会造成热点问题。 同理，被大量刊发、浏览的热点新闻、热点评论、明星直播...
生产环境中的redis基本都是多节点部署，本文只讨论redis高可用的三种方案，不涉及实际操作。 一、主从复制（一主一从，一主多从，级联结构）（图来源于网络） 一个Master，两个Slave，Slave只能读不能写；当Slave与Master断开后需要重新slave of连接才可建立之前的主从关系；Master挂掉后，Master关系依然存在，Master重启即可恢复。 实现原理： 1、Slave启动成功连接到master后会发送一个sync命令； 2、Master接到命令启动后的存盘...
目录一 前言二 一致性方案三 先更新数据库，再更新缓存四 先删缓存，再更新数据库五 先更新数据库，再删缓存 一 前言 首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议 本文由以下三个部分组成 1、讲解缓存更新策略 ...
1.需求背景是什么？2.存储何种数据？3.数据特点是什么？4.存在哪些技术挑战？5.解决方案有哪些？6.md5散列桶的方法需要注意的问题？7.测试结果是什么？解决方案：1 需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称supperid）的mapping关系，还包括了supperid的人口标签、移动端id（主要是idfa和imei）的人口标签，以及一些黑名单id、ip等数据。在hdfs的帮助下...
问题一 ：somaxconn redis启动警告问题：WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.这句话的翻译大概就是：对一个高负载的环境来说tcp设置128这个值，太小了。 这是我的理解，绝对的还需到官网理解。然后我们可以手动设置，或者设置永久值 临时解决方案 echo 512 > /proc/sys/net/core/somaxconn 长期解决方案 sudo vim /etc/sysct...
1、集群的概念1.1、集群的两大能力负载均衡：负载均衡把任务比较均匀的分布到集群环境下的计算和网络资源，以提高数据吞吐量。错误恢复（高可用）：如果集群中的某一台服务器由于故障或者维护需要无法使用，资源和应用程序将转移到可用的集群节点上。这种由于某个节点的资源不能工作，另一个可用节点中的资源能够透明的接管并继续完成任务的过程，叫做错误恢复。 负载均衡和错误恢复要求各服务实体中有执行同一任务的资源存在，而且...
?redis 数据库主从不一致问题解决方案 在聊数据库与缓存一致性问题之前，先聊聊数据库主库与从库的一致性问题。 问：常见的数据库集群架构如何？ 答：一主多从，主从同步，读写分离。如上图： （1）一个主库提供写服务 （2）多个从库提供读服务，可以增加从库提升读性能 （3）主从之间同步数据 画外音：任何方案不要忘了本心，加从库的本心，是提升读性能。 问：为什么会出现不一致？ 答：主从同步有时延，这个时延期间读从库，...
关于reids集群会由于网络等原因出现脑裂的情况，所谓的集群脑裂就是，由于redis master节点和redis salve节点和sentinel处于不同的网络分区，使得sentinel没有能够心跳感知到master，所以通过选举的方式提升了一个salve为master，这样就存在了两个master，就像大脑分裂了一样，这样会导致客户端还在old master那里写入数据，新节点无法同步数据，当网络恢复后，sentinel会将old master降为salve，这时再从新master同步数据，这会导...
持久化：将内存中的数据存储硬盘进行保存，在特定的时间将保存的数据进行恢复，防止数据的意外丢失，比如服务器重启或者宕机，可以保证数据安全，Redis有两种持久化方案，一个是持久化数据，叫做RDB；一个是持久化命令，叫做AOFRDB定期将内存中的数据生成快照保存到磁盘里面，保存的文件为后缀为.rdb的压缩过的二进制文件，当redis重启后，会读取rdb文件恢复数据。RDB 功能最核心的是 rdbSave 和 rdbLoad 两个函数， 前者用于生成 ...
1 击穿: 指的是单个key在缓存中查不到，去数据库查询，这样如果数据量不大或者并发不大的话是没有什么问题的。 如果数据库数据量大并且是高并发的情况下那么就可能会造成数据库压力过大而崩溃 注意: 这里指的是单个key发生高并发!!! 解决方案: 1) 通过synchronized+双重检查机制：某个key只让一个线程查询，阻塞其它线程 在同步块中，继续判断检查，保证不存在，才去查DB。 例如: private static volaite Object...
原文链接：Redis实现消息队列的方案 Redis作为内存中的数据结构存储，常用作数据库、缓存和消息代理。它支持数据结构，如 字符串，散列，列表，集合，带有范围查询的排序集（sorted sets），位图（bitmaps），超级日志（hyperloglogs），具有半径查询和流的地理空间索引。Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel和Redis Cluster自动分区。 为了实现其出色的性能，Redis使用内存数...
一 引言 为什么是不完整的？因为有另一个不完整的管理脚本来做这个事情， 但是它是不完整的，实现简陋。我的如下的工作便是将整个流程补充 完整，并保证目标达成。所以我记录下来的是不完整的另一部分。 如下。 [classic_tong @ 20200321 https:////www.cnblogs.com/hugetong/p/12542153.html] 二 背景 目标系统的redis版本是4.0，之所以强调版本，是因为新版本中，拥有了命令 redis-cli --cluster。4.0版本中并没有，它的前任是脚...
目录 ELK--04 使用redis优化方案 1.filebeat引入redis缓存 (redis 单节点) 2.filebeat引入redis完善方案 （使用两台服务器完成redis高可用） 3.filbeat引入redis优化方案ELK--04 使用redis优化方案1.filebeat引入redis缓存 (redis 单节点)filebeat收集日志传给redis，因为redis和es不能直接通信，需要中间件logstash从redis中取数据传给es，es在传给kibana展示数据1.安装redis [root@db01 ~]# yum install redis [root@db01 ~]# s...