Scrapy-Redis分布式策略：假设有四台电脑：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一台电脑都可以作为 Master端 或 Slaver端，比如：Master端(核心服务器) ：使用 Windows 10，搭建一个Redis数据库，不负责爬取，只负责url指纹判重、Request的分配，以及数据的存储Slaver端(爬虫程序执行端) ：使用 Mac OS X 、Ubuntu 16.04、CentOS 7.2，负责执行爬虫程序，运行过程中提交新的Request给Master首先Slaver端从Master...
Redis数据类型Redis支持五种数据类型: string(字符串) , hash (哈希) , list (列表) , set (集合) , 及zset (sorted set : 有序集合)类型简介特性场景string二进制安全可以包含任何数据,比如jpg图片或者序列化的对象,一个键最大能存储512M--hash键值对集合,即变成语言中的map类型适合存储对象,并且可以像数据库中updata一个属性一样只修改某一项属性值(Memcached中需要取出整个字符串反序列化成对象修改完再序列化存回去)存储、读取...
基本数据结构String：普通的set和get，做简单的KV缓存、计数器和共享用户session。Hash：类似Map，一般存储结构化的数据（简单的对象），Hash的应用场景比较单一（现在的对象内部也嵌套一堆对象不适合Hash）。List：有序列表（插入时的顺序）消息队列：生产者通过Lpush，多个消费者使用BRpop阻塞的“抢”列表尾部的数据。文章列表数据分页展示：通过lrange命令，读取某个闭区间内的元素，比如微博向下滑动刷新出页面。Set：无序集合...
Redis基础知识（单线程，类型，缓存） 1.Redis概念 Redis是一个用C语言开发的，开源的高性能非关系型的键值对数据库。 Redis可以存储 键 和 不同类型数据结构值 之间的映射关系。键的类型只能是字符串，而值除了支持最 基础的五种数据类型 外，还支持一些 高级数据类型基础数据类型：String字符串、List列表、hash字典、set集合，zset有序列表 高级数据类型：bitMap位图、Hyperloglog、布隆过滤器、GeoHash、Pub/Sub、Stream与传统...
基本知识 1、Redis的数据类型： 字符串、列表（lists）、集合（sets）、有序集合（sorts sets）、哈希表（hashs） 2、Redis和memcache相比的独特之处： （1）redis可以用来做存储（storge）、而memcache是来做缓存（cache）。这个特点主要是因为其有“持久化”功能 （2）存储的数据有“结构”，对于memcache来说，存储的数据，只有一种类型——“字符串”，而redis则可以存储字符串、链表、集合、有序集合、哈序结构 3、持久化的两...
redis常见的基本类型： 字符串，list，set，sortset，hash redis里面数据结构 sds（字符串的实现，定义字符数组，等长扩展），双端链表（list的内部实现），字典（为每个key分配一个空间），压缩表，跳跃表 redis常见异常 缓存穿透：查询不存在的值（可以做程序过滤） 缓存雪崩：大量的key同时过期（加时间的随机因子，热度大的因子，热度小的数据因子小） 缓存预热：上线前的工作 缓存降级：缓存失效或者缓存服务挂掉直接访问...
今日内容 1. redis1. 概念2. 下载安装3. 命令操作1. 数据结构4. 持久化操作5. 使用Java客户端操作redisRedis 1. 概念： redis是一款高性能的NOSQL系列的非关系型数据库1.1.什么是NOSQLNoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露...
运行redis服务，我们来使用熟悉redis的基础命令。 执行命令flushall是清空所有数据库。 记住Redis是单线程的，为什么单线程还这么快。 首先多线程不一定比单线程效率高，redis是将数据存储在内存中，所以说使用单线程操作是效率最高的，多线程（CPU上下文切换是耗时的操作），对于内存来说，如果没有上下文切换效率就是最高的。 存在回应1，否则回应0 move移除某个数据库的键值。 expire 可以将某个键值存在10s之后自动删...
文章目录 Redis的基础知识一些基本命令Redis的执行效率为什么那么快？以及为什么Redis是单线程的？Redis的基础知识 一些基本命令 redis默认有16个数据库,在redis.conf配置文件中可以看到，如下图：默认使用的是第0个，可以使用select切换数据库！如下图：set命令可以存储键格式set key value，get命令可以取出指定的键对应的值格式get key，如下图：dbsize命令可以查看当前数据库的大小，也即是当前数据库里面存放了多少条数据，如...
文章目录 1.redis的数据类型2.详解Redis 的持久化机制--RDB和AOF3.redis核心概念4.Redis 单key值过大 优化方式5.Redis的缓存穿透、缓存击穿、缓存雪崩6.redis之虚拟内存7.redis高级特性8.redis的应用场景1.redis的数据类型 Redis学习笔记整理（黑马程序员视频课程）2.详解Redis 的持久化机制–RDB和AOF 详解Redis 的持久化机制–RDB和AOF3.redis核心概念 Redis核心概念4.Redis 单key值过大 优化方式 Redis 单key值过大 优化方式5.R...
基础知识 5种基本数据类型 String（字符串）String是redis最基本的数据类型，一个key对应一个value。 String类型的值最大能存储512M。Hash（哈希）Hash相当于双重map。 每个Hash可以存储40多亿键值对。List（列表）redis列表是简单的字符串列表。 每个列表可以存储40多亿元素。Set（无序集合）每个集合可以存储40多亿元素。zSet（有序集合） 服务器操作命令 描述bgrewriteaof 异步执行一个AOF文件重写操作bgsave 在后台异步保存当前...
数据类型 常用的包括**String、List、Hash、Set、Sorted Set**,不常用的包含GEO、Bitmap、HyperLogLog；底层数据结构包括简单字符串，双向链表，数组，压缩数组，哈希表，跳表；数据类型跟数据结构的对应关系为下图所示；hash算法一个哈希表就是一个数组，数组中的每个元素称为一个哈希桶（Bucket）； 采用hash算法进行键值对的存储； 一个键值对对应一个entry，entry里包含键和 值的指针，并不存储实际的值；如下图所示：查找值时...
一、Redis简介 Redis是非关系型数据库，数据存储在内存中，这也就决定着Redis的存取速度要远远快于关系型数据库（如MySQL），除此之外，Redis还有一些特性： Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即m...
Redis事务 redis中的事务是一组命令的集合，事务中的命令要么全部执行，要么都不执行，Redis 通过 MULTI 、DISCARD 、EXEC 和 WATCH 四个命令来实现事务功能，multi表示事物的开启，exec表示事物的执行，exec执行后返回事务执行的结果，discard表示放弃事务执行，清空事务队列中已有的所有命令并退出队列，watch用于监视给定的键，如果键被其他客户端修改，将不会执行事务。 127.0.0.1:6379> multi OK 127.0.0.1:6379> set key 1 Q...
NoSQL概述 什么是NoSQL NoSQL不仅仅是SQL，它是Not Only SQL 的缩写，也是众多非关系型数据库的统称NoSQL和关系型数据库一样，也是用来存储数据的仓库。 为什么需要NoSQL？ 随着互联网的高速发展，数据量、访问量呈爆发式式增长。比如12306中国铁路票务系统。 一年售出车票有30多亿张； 网上售票比例超过了80%； 互联网高峰日售出车票达到了1282多万张； 高峰时每秒售票超出1000张； 网站高峰日访问量超过了1600亿次…… 12306售票...