分布式应用进行逻辑处理时经常会遇到并发问题，我们首先肯定会想到锁。关于锁大家都很熟悉。在并发编程中，我们通过锁，来避免由于竞争而造成的数据不一致问题。通常我们使用 synchronized 、Lock 来加锁。但是 Java中的锁，只能保证在同一个 JVM进程内中执行。如果在分布式集群环境下呢？一、分布式锁分布式锁的本质与 Java中的锁一样，就是在 Redis里面占了一个“坑”（一个固定 key 的值），当别的进程也要来占坑时（给key 设置...
一、分布式事务处理器的编译和运行1)Redis 的安装和启动(1)下载redis 解压缩 (2) 启动和测试redis 1进入redis 目录2 双击redis-server.exe 程序即可启动 3 启动客户端测试双击redis-cli.exe输入原文：http://blog.51cto.com/14048134/2310470
转载自http://www.linuxidc.com/Linux/2015-05/117661.htm1、为什么需要消息队列？当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。举个例子：业务系统触发短信发送申请，但短信发送模块速度跟不上，需要将来不及处理的消息暂存一下，缓冲压力。 再举个例子：调远程系统下订单成本较高，且因为网络等因素，不稳定，攒一批一起发送。 再举个栗子，交互模块5：00到24...
基于 Scrapy-redis 的分布式爬虫设计 目录前言安装环境Debian / Ubuntu / Deepin 下安装Windows 下安装基本使用初始化项目创建爬虫运行爬虫爬取结果进阶使用分布式爬虫anti-anti-spiderURL Filter总结相关资料前言在本篇中，我假定您已经熟悉并安装了 Python3。 如若不然，请参考 Python 入门指南。关于 ScrapyScrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等...
RedisLockHelper.java /*** Created by BingZhong on 2017/7/29.** 基于Redis实现的分布式锁*/ public final class RedisLockHelper {private static Logger logger = LoggerFactory.getLogger(RedisLockHelper.class);/*** redis操作帮助类,可以是其他封装了redis操作的类*/private RedisHelper redisHelper;public static final long DEFAULT_TIMEOUT = 30 * 1000;public static final long DEFAULT_SLEEP_TIME = 100;private Re...
如今，市面上的缓存解决方案已经逐步成熟了，选取其中一些代表性的方案包括Redis、Memcached和Tair进行对比，帮助大家在生产实践中更好地进行技术选型。一、常用的分布式缓存的对比常用的分布式缓存包括Redis、Memcached和阿里巴巴的Tair（见下表），因为Redis提供的数据结构比较丰富且简单易用，所以Redis的使用广泛。 下面我们从9个大方面来对比最常用的Redis和Memcached。1．数据类型Redis一共支持5种数据类型，每种数据类型对应...
Redis分布式锁原子操作原子操作是指不会被线程调度机制打断的操作。这种操作一旦开始，就会一直运行到结束，中间不会有任何的线程切换。原理分布式锁本质上要实现的目标就是在Redis里面占一个坑，当别的线程也要来进行占坑的时候，发现已经被别人占用了，只好放弃或者稍后重试。 占坑使用setnx(set if not exists)指令。使用完成使用del指令释放。第一步127.0.0.1:6379> setnx mylock true (integer) 1第二步执行某些逻辑操作第三步...
本次要分享的是利用windows+nginx+iis+redis+Task.MainForm组建分布式架构，由标题就能看出此内容不是一篇分享文章能说完的，所以我打算分几篇分享文章来讲解，一步一步实现分布式架构；下面将先给出整个架构的核心节点简介，希望各位多多点赞： . 架构设计图展示. nginx+iis构建服务集群. redis存储分布式共享的session及共享session运作流程. redis主从配置及Sentinel管理多个Redis集群. 定时框架Task.MainForm提供数据给redis集...
工作中，经常会遇到分布式环境中资源访问冲突问题，比如商城的库存数量处理，或者某个事件的原子性操作，都需要确保某个时间段内只有一个线程在访问或处理资源。因此现在网上也有很多的分布式锁的解决方案，有数据库、MemCache、ZoopKeeper等等的方式。 这次，我们要学习的是一个基于Redis分布式锁的插件，RedLock.Net。 首先必须要有一个Redis服务来支持此分布式锁，其次就当然是要获取此插件了。可以从Nuget中获取，也可以直接去...
在分布式系统中，为保证同一时间只有一个客户端可以对共享资源进行操作，需要对共享资源加锁来实现，常见有三种方式：基于数据库实现分布式锁基于 Redis 实现分布式锁基于 Zookeeper 实现分布式锁高并发下数据库锁性能太差，本文不做探究。仅针对Redis 和 Zookeeper 实现的分布式锁进行分析。实现一个分布式锁应该具备的特性：高可用、高性能的获取锁与释放锁在分布式系统环境下，一个方法或者变量同一时间只能被一个线程操作具备锁...
本例主要演示springboot和redis集成，主要实现的功能点有 - redis分布式锁 第一种方案：通过org.springframework.integration.redis.util.RedisLockRegistry进行实现第二种方案：通过lua脚本和redis实现，详情查看com.github.lybgeek.redis.util.RedisLockUtils- redis缓存第一种方案:通过与spring cache集成，@Cacheable、@CachePut 和 @CacheEvict，按不同业务配置不同的过期时间， 其配置可以查看com.github.lybgeek.redis.conf...
Redis 做分布式锁分布式锁也算是 Redis 比较常见的使用场景。问题场景：例如一个简单的用户操作，一个线城去修改用户的状态，首先从数据库中读出用户的状态，然后在内存中进行修改，修改完成后，再存回去。在单线程中，这个操作没有问题，但是在多线程中，由于读取、修改、存 这是三个操作，不是原子操作，所以在多线程中，这样会出问题。对于这种问题，我们可以使用分布式锁来限制程序的并发执行。基本用法分布式锁实现的思路很简...
最近在项目中遇到了类似“秒杀”的业务场景，在本篇博客中，我将用一个非常简单的demo，阐述实现所谓“秒杀”的基本思路。 业务场景所谓秒杀，从业务角度看，是短时间内多个用户“争抢”资源，这里的资源在大部分秒杀场景里是商品；将业务抽象，技术角度看，秒杀就是多个线程对资源进行操作，所以实现秒杀，就必须控制线程对资源的争抢，既要保证高效并发，也要保证操作的正确。一些可能的实现刚才提到过，实现秒杀的关键点是控制线...
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。前言为什么需要消息队列？当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。比如我们系统中常见的邮件、短信发送，把这些不需要及时响应的功能写入队列，异步处理请求，减少响应时间。如何实现？成熟的JMS消息队列中间件产品市面上有很多，但是基...
前言最近开发了几个微服务上线了，发现定时任务执行了很多次，查看rancher发现这几个微服务都是多实例的，也就是说定时任务执行了多次，恰好所用框架中使用的是Redisson, 正好记录下使用Redission实现分布式锁正文配置添加Redisson依赖 <dependency><groupId>org.redisson</groupId><artifactId>redisson</artifactId><version>3.6.5</version></dependency>添加配置类import org.redisson.Redisson; import org.redisson.a...