简介 写爬虫有时会面临封ip的问题，使用代理就可以伪装我们的IP。那么我们爬虫请求的时候可能就需要非常多的IP，这里我们维护了一个代理池：池内有非常多的IP，代理IP队列，我们可以向池内放代理ip，也可以从代理池中请求ip。我们需要定期检查和更新，保证代理池中的ip可用。 Redis主要用于维护池，提供池的队列存储，flask主要用于实现代理池接口，使用flask可以从代理池拿出一个代理，这个过程就是使用flask做一个接口，通过web的...
1. redis的进阶操作1.1 redis的订阅操作发布订阅的命令PUBLISH channel msg将信息 message 发送到指定的频道 channelSUBSCRIBE channel [channel ...]订阅频道，可以同时订阅多个频道UNSUBSCRIBE [channel ...]取消订阅指定的频道, 如果不指定频道，则会取消订阅所有频道 PSUBSCRIBE pattern [pattern ...]订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所 有以 it 开头的频道( it.news 、 it.blog...
一、关于redis的基本说明 What does Redis actually mean? It means REmote DIctionary Server. Redis clients communicate with the Redis server using a protocol called RESP (REdis Serialization Protocol). While the protocol was designed specifically for Redis, it can be used for other client-server software projects. RESP is a compromise between the following things: Simple to implement. Fast to parse. ...
Selector负责监听文件是否可读或者可写从海量数据里查询某一固定前缀的key 1.使用Keys pattern。会影响线上业务，如果key的数量过大会导致客户端卡住，无法进行其他的操作。 2.使用scan，增量查找。（有可能获取到重复Key需要去重） 例： 例：例：例： Redis4.0默认持久化方式 Master主要负责写操作，Salve负责读
本文将从Redis的基本特性入手，通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍。之后概览Redis提供的高级能力，并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。本文适合使用Redis的普通开发人员，以及对Redis进行选型、架构设计和性能调优的架构设计人员。目录概述 Redis的数据结构和相关常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripti...
nohup /usr/local/mysql/bin/mysqld_safe --user=root > /dev/null 2>&1 & GRANT ALL PRIVILEGES ON *.* TO root@% WITH GRANT OPTION ; GRANT ALL PRIVILEGES ON *.* TO root@% identified by mysqladmin WITH GRANT OPTION ; flush privileges ; 生成SSH-KEY：ssh-keygen -t rsa； 先进行本机的免登录配置：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys。 测试本机登录：ssh root@hadoop-ha-journalnode-*； ssh-copy-id -i...
Redis是一个高性能的key-value型数据库。Redis能读的速度是110000次/s,写的速度是81000次/s ，性能极高。Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的，多个操作支持事务。 Redis是运行在内存中的，因此速度极快，由于数据是在内存中，关机后数据将丢失，但是redis是支持数据持久化的，将数据保存到磁盘中，重启的时候可以再次加载进行使用。 1.Redis使用场景： 数据实时性要求高，...
网上还是大牛多 https://www.cnblogs.com/huangxincheng/category/755864.html —— 详细介绍 http://doc.redisfans.com/ —— redis命令 稍微掌握下基础东西 1.存储 最小的存储单位为SDS(simple dynamic string) 存在三个属性，len - buf[]长度，free - 未使用元素个数，buf[] - 存放数据 redis中分为5中类型：list、set、zset、string、hash，这里使用枚举 最基本的RedisObject 就是通过type字段来区分类型的，其中存在指针字段*...
1、什么是Redis? Redis是一个基于内存的高性能key-value数据库，它通常被称为数据结构服务器。它是一种基于键值对（key-value）的NoSQL数据库，与很多键值对数据库不同的是，Redis中的值可以是由string（字符串）、hash（哈希）、list（列表）、set（集合）、zset（有序集合）、Bitmaps（位图）、HyperLogLog、GEO（地理信息定位）等多种数据结构和算法组成，因此 Redis可以满足很多的应用场景，而且因为Redis会将所有数据都存放在...
redis 5.0.3官方：https://redis.io/ 一 简介 Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. It supports data structures such as strings, hashes, lists, sets, sorted sets with range queries, bitmaps, hyperloglogs, geospatial indexes with radius queries and streams. Redis has built-in replication, Lua scripting, LRU eviction, tra...
一、简介 Redis有5种基本数据结构,分别是string、list(列表)、hash(字典)、set(集合)、zset(有序集合),这是必须掌握的5种基本数据结构.注意Redis作为一个键值对缓存系统,其所有的数据结构,都以唯一的key(字符串)作为名称,然后通过key来获取对应的数据. 二、.Net开发环境搭建 这个版本,暂时不考虑并发问题,后续的文章会说!第一步:安装StackExchange.Redis包,我用的是2.0.519版本的. 第二步:编写代码,采用扩展方法的链式编程模式+a...
操作数据：redis具备五种数据类型 String Hash List Set ZsetString类型（包含基础命令）keys * :查看当前redis节点（启动的每一个redis服务都叫redis节点。）所有已存在的key值。127.0.0.1:6379> keys *(empty list or set)127.0.0.1:6379> set name hanlaoshiOK127.0.0.1:6379> set location beijingOK127.0.0.1:6379> keys *1) "location"2) "name"127.0.0.1:6379> set key value:存储一个key-value结构的数据（...
Redis： Redis是什么： REmote DIctionary Server（远程字典服务器） 是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的（Key-Value）分布式内存数据库。 基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSQL数据库之一，也被人称为数据结构服务器。 Redis的三个特点： 1）Redis支持数据持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用 2）Redis不仅仅支持简单的key-value类型的...