HyperLogLog实现一个功能统计网站的UV (user view)，区别PV (page view)数据去重统计总数同一个用户的反复点击进入记为 1 次解决方案最简单的思路是记录集合A中所有不重复元素的集合S，当新来一个元素x，若S中不包含元素x，则将x加入S，否则不加入，集合A的基数就是集合S中元素的数量数据量大时存在的问题存储内存会线性增长集合S中的元素数量增多时，需要用布隆过滤器（检索一个元素是否在一个集合中）hashmap、set内存占用大假设...
高级数据类型和五种基本数据类型不同，并非新的数据结构。高级数据类型往往是用来解决一些业务场景。(一)BitMaps（1.1） BitMaps概述在应用场景中，有一些数据只有两个属性，比如是否是学生，是否是党员等等，对于这些数据，最节约内存的方式就是用bit去记录，以是否是学生为例，1代表是学生，0代表不是学生。那么1000110就代表7个人中3个是学生，这就是BitMaps的存储需求。Bitmaps是一个可以对位进行操作的字符串，我们可以把Bitm...
redis除了5种数据类型之外，还提供了其他功能，如：慢查询，pipeline，事务，发布订阅和消息队列，Bitmap，HyperLogLog，GEO1.Bitmap(位图)BitMap，即位图，其实也就是 byte 数组，用二进制表示，只有 0 和 1 两个数字。 就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以组成一个Byte，所以bitmap本身会极大的节省储存空间。API：命令含义getbit key offset对key所存储的字符串值，...
Redis 在 2.8.9 版本添加了 HyperLogLog 结构 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不...
HyperLogLog 什么是 HyperLogLog HyperLogLog 是基于 HyperLogLog 算法的一种数据结构，该算法可以在极小空间完成独立数量统计。 在本质上还是字符串类型。重要 API命令 含义pfadd key element1 [element2...] 向HyperLogLog中添加元素pfcount key1 [key2...] 计算HyperLogLog的独立总数pfmerge destKey key1 [key2...] 合并多个hyperLogLog到destKey中演示内存消耗 以百万独立用户为例 elements = "" key = "2019_06_02:unique:id...
统计功能是一类极为常见的需求，比如下面这个场景：为了决定某个功能是否在下个迭代版本中保留，产品会要求统计页面在上新前后的 UV 作为决策依据。 简单来说就是统计一天内，某个页面的访问用户量，如果相同的用户再次访问，也只算记为一次访问。下面我们将从这个场景出发，讨论如何选择的合适的 Redis 数据结构实现统计功能。 Redis与统计 聚合统计 要完成这个统计任务，最直观的方式是使用一个SET保存页面在某天的访问用户 ID，...
Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像...
1.bitmap位图 1.1 bitmap位图的概念 首先来看一个例子，字符串big， 字母b的ASCII码为98，转换成二进制为 01100010 字母i的ASCII码为105，转换成二进制为 01101001 字母g的ASCII码为103，转换成二进制为 01100111 如果在Redis中，设置一个key，其值为big，此时可以get到big这个值，也可以获取到 big的ASCII码每一个位对应的值，也就是0或1 例如： 127.0.0.1:6379> set hello big OK 127.0.0.1:6379> getbit hello 0 # b的二进...
原创转载请注明出处：https://www.cnblogs.com/agilestyle/p/11632490.html 背景 统计网站上每个网页每天的UV数据，UV和PV不一样，需要去重，同一个用户一天之内的多次访问请求只能计数一次。 Set方案 一个简单的方案，那就是为每一个页面设置一个独立的set集合来存储当天访问过此页面的用户ID。当一个请求过来时，使用sadd将用户ID塞进去就可以了。通过scard可以取出这个集合的大小，这个数字就是这个页面的UV数据。 但是，如...
Generally speaking, I love randomized algorithms, but there is one I love particularly since even after you understand how it works, it still remains magical from a programmer point of view. It accomplishes something that is almost illogicGenerally speaking, I love randomized algorithms, but there is one I love particularly since even after you understand how it works, it still remains magical fro...
目录 一、geospatial：地理位置 （1）添加地理位置：geoadd （2）查询某个值的地理位置：geopos （3）返回两个地址之间的距离：geodist （4）某个经纬度为中心，一个范围内查找：georadius （5）以某个城市为中心，一个范围内查找：georadiusbymember （6）将经纬度转换成一个字符串返回：geohash （7）删除一个经纬度：zrem 二、Hyperloglog：统计基数 （1）新增一个统计列表：pfadd （2）查看统计列表数量：pfcount （3）合并两个...
Redis HyperLogLog HyperLogLog一般用作基数统计，如统计网站访问量，视频播放量啊等。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 HyperLogLog怎么实现的 HyperLogLog只需要花费12kb，就可以计算这么多基数。很明显，不是通过直接存储元素值比较实现的。那么既然不存储元素，是否这种存储方式也有误差呢？ 查...
hyperloglog(基数统计) 简述 Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大 时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计 算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog ...
Redis三种特殊数据类型 BitmapsBitmaps类型的基础操作应用案例 HyperloglogHyperLogLog类型的基本操作 GeospatialGEO类型的基本操作Bitmaps Bitmaps这个数据结构可以实现对位的操作。Bitmaps实际上就是字符串，但是它可以对字符串的位进行操作。 可以把Bitmaps想象成一个以位为单位数组，数组中的每个单元只能存0或者1，数组的下标在bitmaps中叫做偏移量。单个bitmaps的最大长度是512MB，即2^32个比特位。 详细可以参考大佬写的 Bi...
/* ========================= HyperLogLog algorithm ========================= *//* Our hash function is MurmurHash2, 64 bit version.* It was modified for Redis in order to provide the same result in* big and little endian archs (endian neutral). */ 我们的hash函数用的是64位版本的MurmurHash2。 Redis使用时为了在大端和小端的结构中提供更好的结果修改了该算法uint64_t MurmurHash64A (const void * key, int ...