mongodb和memcached不是一个范畴内的东西。mongodb是文档型的非关系型数据库，其优势在于查询功能比较强大，能存储海量数据。mongodb和memcached不存在谁替换谁的问题。和memcached更为接近的是redis。它们都是内存型数据库，数据保存在内存中，通过tcp直接存取，优势是速度快，并发高，缺点是数据类型有限，查询功能不强，一般用作缓存。在我们团队的项目中，一开始用的是memcached，后来用redis替代。相比memcached：1、redis具有...
昨天分析完adlist的Redis代码。今天立即马不停蹄的继续学习Redis代码中的哈希部分的结构学习，只是在这里他不叫什么hashMap，而是叫dict。并且是一种全新设计的一种哈希结构，他仅仅是通过几个简单的结构体。再搭配上一些比較常见的哈希算法，就实现了类似高级语言中HashMap的作用了。也让我见识了一些哈希算法的实现。比方dbj hash的算法实现。俗称times33,算法，就是不停的*33,。这样的算是一种超级简单的哈希算法。 以下...
在分布式系统中，为保证同一时间只有一个客户端可以对共享资源进行操作，需要对共享资源加锁来实现，常见有三种方式：基于数据库实现分布式锁基于 Redis 实现分布式锁基于 Zookeeper 实现分布式锁高并发下数据库锁性能太差，本文不做探究。仅针对Redis 和 Zookeeper 实现的分布式锁进行分析。实现一个分布式锁应该具备的特性：高可用、高性能的获取锁与释放锁在分布式系统环境下，一个方法或者变量同一时间只能被一个线程操作具备锁...
过期时间设置在Redis中提供了Expire命令设置一个键的过期时间，到期以后Redis会自动删除它。这个在我们实际使用过程中用得非常多。EXPIRE命令的使用方法为EXPIRE key seconds其中seconds 参数表示键的过期时间，单位为秒。EXPIRE 返回值为1表示设置成功，0表示设置失败或者键不存在如果向知道一个键还有多久时间被删除，可以使用TTL命令TTL key当键不存在时，TTL命令会返回-2，而对于没有给指定键设置过期时间的，通过TTL命令会返回...
redis内存分析和清理web项目中经常会使用redis作为缓存，当项目了运行一段时间后，由于不恰当的使用方法和需求迭代频繁，导致redis内存快速增长，这时就需要对redis的key进行分析，删掉无用的key以节省空间使用redis自带的命令查看使用redis自带的info keyspace命令可以查看简略的key分布情况使用rdbtools工具分析rdbtools是用python开发的第三方工具，主要作用有：1.生成csv分析报告rdb -c memory dump.rdb > redis_memory_report...
https://www.cnblogs.com/liuzhen1995/p/9265383.htmlRedis：一个高性能的key-value数据库。支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用；提供string、list、set、zset、hash等数据结构的存储，并支持数据的备份。 本文适合使用的场景：当一个项目中Redis缓存的数据量逐渐增大，Redis缓存的数据占用内存也会越来越大，而且其中有很多很可能是价值不大的数据。由于Redis是一个key-value数据...
I/O操作对于每个系统来说都是必不可少的一部分。而且I/O操作的好坏，在一定程度上也会影响着系统的效率问题。今天我学习了一下在Redis中的I/O是怎么处理的，同样的，Redis在他自己的系统中，也封装了一个I/O层。简称RIO。得先看看RIO中有什么东西喽:struct _rio {/* Backend functions.* Since this functions do not tolerate short writes or reads the return* value is simplified to: zero on error, non zero on complete su...
redis-rdb-tools是由Python写的用来分析Redis的rdb快照文件用的工具，它可以把rdb快照文件生成json文件或者生成报表用来分析Redis的使用详情、使用标准的diff工具比较两个dump文件，总之是比较实用的工具，至于安装可以通过Python的pip来安装～ yum -y install python-pip python-redis ～ pip install rdbtoolsgit安装git clone https://github.com/sripathikrishnan/redis-rdb-tools cd redis-rdb-tools python setup.py install...
Redis是用C语言编写的。C语言处理字符串一向是个难点。很容易出现内存越界问题。其它高级语言很容易实现的字符串拼接，在C这里却是百般艰难。因为需要实现计算出字符串所占内存的大小。即不能过大（浪费内存），也不能太小（越界）。甚至在某个用C语言实现的项目中出现了这样的代码 即，先计算出字符串的大小。然后申请内存，再拼接字符串。这样的操作几乎是无法忍受的。特别是当我们的字符串构成比较复杂，或者字符串经常需要发生...
目录官网1. 分布式缓存技术的应用2. Redis的安装指引官网?redis.io ?redisDoc1. 分布式缓存技术的应用2. Redis的安装指引官网下载安装包 redis-5.0.4.tar.gz解压 tar -zxvf redis-5.0.4.tar.gz编译 make可能遇到的问题编译测试 make test可能遇到的问题安装 make install原文：https://www.cnblogs.com/Qkxh320/p/distributed_redis_1.html
1 Redis架构分析1.1 为什么要用nosqlàredis？1）存储方式的区别： nosql：使用K-V的方式存储数据例如：mset id 0001 name zhangsan age 18 关系型数据库：使用多表结构关联的方式存储数据例如：IdNameAge0001Zhangsan18……… 2）读写方式的区别： nosql：可以把不同类型的数据通过k-v的方式进行快速的读写操作，无关系性、数据结构简单。 关系型数据库：在不同类型的数据下需要进行多表关联的方式读写，造成性能上损...
1.scrapy+redis使用(1)应用这里redis与scrapy一起,scrapy作为crawler，而redis作为scrapy的调度器。如架构图中的②所示。图1 架构图(2)为什么选择redis redis作为调度器的实现仍然和其特性相关，可见《一淘搜索之网页抓取系统分析与实现（1）——redis使用》(http://blog.csdn.net/u012150179/article/details/38226711)中关于redis的分析。2.redis实现scrapy scheduler 关于此部分内容可见《scrapy-redis实现分布式爬取分析与实现...
一.Key 》Redis key值是二进制安全的，这意味着可以可以使用任何二进制序列作为key值。空字符串也是有效的key值。 》key取值原则 1.键值不需要太长，消耗内存，且在数据中查找这类键值计算成本较高 2.键值不宜过短，可读性较差，不宜数据分类和扩展 》过期 1.Redis中可以给key设置一个有效时间【秒或毫秒】，当达到这个时长后，这些键值将会被自动删除 》有效 1.查看剩余有效时间【TTL ke...
一、引言 学习之前先了解几个概念： SDS定义：简单动态字符串，Redis的基本数据结构之一，用于储存字符串和整型数据。二进制安全：C语言中用"\0"表示字符串结束，如果字符串本身就有这个字符，那么此字符串会被阶段，此时为非二进制安全；若通过某种机制保证读写字符串时不损害其内容，则称为二进制安全。字节对齐：字节按照一定规则在空间上排列。（不按规则排列有些架构CPU进行访问时会引起错误或者影响读取效率）。PS：如...
原创文章，链接：http://blog.csdn.net/u012150179/article/details/38226253 + (I) connection.py 负责依据setting中配置实例化redis连接。被dupefilter和scheduler调用。总之涉及到redis存取的都要使用到这个模块。(II) dupefilter.py 负责运行requst的去重。实现的非常有技巧性，使用redis的set数据结构。可是注意scheduler并不使用当中用于在这个模块中实现的dupefilter键做request的调度。而是使用queue.py模块中实现的queu...