架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。前言为什么需要消息队列？当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。比如我们系统中常见的邮件、短信发送，把这些不需要及时响应的功能写入队列，异步处理请求，减少响应时间。如何实现？成熟的JMS消息队列中间件产品市面上有很多，但是基...
前言最近开发了几个微服务上线了，发现定时任务执行了很多次，查看rancher发现这几个微服务都是多实例的，也就是说定时任务执行了多次，恰好所用框架中使用的是Redisson, 正好记录下使用Redission实现分布式锁正文配置添加Redisson依赖 <dependency><groupId>org.redisson</groupId><artifactId>redisson</artifactId><version>3.6.5</version></dependency>添加配置类import org.redisson.Redisson;
import org.redisson.a...
Redis分布式锁分布式锁分布式锁的本质是要是实现在Redis里面占一个坑，当别的进程要占用时，发现被占用，就只好放弃或者稍后再试。Redis一般用setnx(set if not exists)指令，先来先占，用完在调用del指令释放掉。但是有个问题，如果执行过程中出现异常，可能会导致del指令没有被调用，这样会陷入死锁，锁永远得不到释放。于是我们可以在拿到锁后，给锁加一个过期时间，可以保证中间出现异常后锁也能自动释放。但是上面逻辑还是有个...
一、单进程多线程的锁--线程锁 锁住线程的锁叫线程锁，像C#中的lock，Monitor，让线程排队，同一时刻只能有一个线程进来，让线程同步排队。 二、多进程的锁--分布式锁锁住进程的锁就叫分布式锁，是锁住进程的一种机制，让进程排队。三、电商秒杀场景1、单体架构 并发量不够，秒杀服务只能并发1000，而客户端同时发送3000个请求。2、集群架构这时候就需要多两个角色，一个角色是网关，一个角色是秒杀集群，网关把用户请求转发到3个秒...
package com.tuling.jedis;import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;import java.io.IOException;
import java.util.Arrays;/*** 访问redis单机** @author*/publicclass JedisSingleTest {publicstaticvoid main(String[] args) throws IOException {JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();jedisPoolConfig.setMaxTotal(20);jedi...
绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。1、为什么使用 Redis 在项目中使用 Redis，主要考虑两个角度：性能和并发。如果只是为了分布式锁这些其他功能，还有其他中间件 Zookpeer 等代替，并非一定要使用 Redis。性能： 如下图所示，我们在碰到需要执行耗时特别久，且结果不频繁变...
新开发的系统需要控制每个时刻回收缓存的GC线程有且只有一个在运行，如果有多个线程同时运行，会造成系统崩溃。如果只有一个JVM进程那么很好办，简单的借助synchronized关键字就行了。可是我的系统要部署在多台服务器，每台服务器上部署多个实例上。而synchronized仅仅在单进程里有用。 考虑借助共享数据源redis实现功能。 redis提供一个方法，SETNX key value。将 key 的值设为 value ，当且仅当 key 不存在。若给定的 key ...
【学习目标】Scrapy-redis分布式的运行流程Scheduler与Scrapy自带的Scheduler有什么区别Duplication Filter作用源码自带三种spider的使用6. Scrapy-redis分布式组件Scrapy 和 scrapy-redis的区别Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。pip install scrapy-redisScrapy-redis提供了下面四种组件（components）：(四种组件意...
redis setnx cmmandjava object condition queue 条件队列retrycount 带有重试次数限制object wait time 带有超时时间的waitdelete lock 删除远程锁acquire lock 申请lockrelease lock 释放lockdemo 演示锁的粒度问题，锁分解、锁分段github https://github.com/Plen-wang/redis-lockredis setnx 命令特性当指定key不存在时才设置。也就是说，如果返回1说明你的命令被执行成功了，redis服务器中的key是你之前设置的值。如果返回0，...
问题项目采用spring-boot-starter-data-redis，RedisTemplate中没有同时设置NX和EX的方法，如果使用setIfAbsent()方法也就是NX，再设置过期时间expire()也就是EX,如果在设置EX时失败则会造成死锁。在jedis中提供了同时设置NX和EX的方法，这里通过RedisTemplate的execute()方法获取Jedis。存在问题解决方案可以可以参考Redisson哨兵模式下有问题，Master挂了可能没有复制到Slave导致锁丢失如果是多个系统redis配置的库不同会有问题因...
摘要: 第一：Redis 是什么？ Redis是基于内存、可持久化的日志型、Key-Value数据库 高性能存储系统，并提供多种语言的API. 第二：出现背景 数据结构(Data Structure)需求越来越多, 但memcache中没有, 影响开发效率 性能需求, 随着读操作的量的上升需要解决，经历的过程有: 数据库读写分离(M/S)–>数据库使用多个Slave–>增加Cache (memcache)–>转到Redis 解决写的问题： 水平拆分，对表的拆分，将有的用户放在这个表，有的用户放...
1. 前言2. 整合Redis快速入门3. StringRedisTemplate基本操作及测试4. 实现Redis事务5. Redis乐观锁(分布式锁）1. 前言这篇文章你能学到，SpringBoot整合Redis的最简单方式，不需要任何复杂的配置。还有完整的乐观锁，分布式锁，事务等实现样例代码供你选择。2. 整合Redis快速入门SpringBoot项目引入redis依赖<!-- 引入 redis 依赖 -->
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-d...
scrapy-redis 分布式爬虫爬取房天下网站所有国内城市的新房和二手房信息先完成单机版的爬虫，然后将单机版爬虫转为分布式爬虫爬取思路1. 进入 https://www.fang.com/SoufunFamily.htm 页面，解析所有的省份和城市，获取到城市首页链接
2. 通过分析，每个城市的新房都是在首页链接上添加newhouse和house/s/字符串，二手房 都死在首页链接上添加esf字段
以上海为例：
首页：https://sh.fang.com/
新房：https://sh.newhouse....
Redis持久化的取舍和选择持久化的作用 RDB AOF RDB和AOF的决择 原文：https://www.cnblogs.com/jiang910/p/10025879.html
众所周知, 在多线程中，因为共享全局变量,会导致资源修改结果不一致，所以需要加锁来解决这个问题，保证同一时间只有一个线程对资源进行操作但是在分布式架构中，我们的服务可能会有n个实例，但线程锁只对同一个实例有效，就需要用到分布式锁----redis setnx 原理： 修改某个资源时, 在redis中设置一个key，value根据实际情况自行决定如何表示 我们既然要通过检查key是否存在（存在表示有线程在修改资源，资源上锁，其他线程...
