我的想法是把每条留言存在一个hash里面，然后用add_timestamp字段记录留言的时间戳，但是现在不知道在redis中如何按小时对hash里面的时间戳字段进行group by操作，或者说还有其他更好的方法吗？我不打算存mysql里面，因为这些留言都属于内容短小但是留言量和留言频率极高的。我看像BAT这类网站都有工单处理统计每小时提交工单数量之类的系统或者淘宝的团购统计系统，用于统计那些每秒销量极高的商品分别在不同时段的销售量，我的需...
前言 现在越来越多的网站开始注重统计和用户行为分析，作为网站经常使用的功能，如何让统计性能更加高，这也是我们需要考虑的事情。本篇通过Redis来优化统计功能（以注册人数统计为例）。 传统的统计功能都是直接操作数据库把数据插入表中。这样做，对数据库的性能消耗就会比较大。 思路： 这里我们用到了redis的队列，注册的时候先添加到队列，然后在处理的时候出队，并且把人数添加redis里。 代码： <?php //register.php $redi...
最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。id uv pv date hour1 155599 306053 2018-07-27 18关于什么是pv,uv，可以参见这篇博客:https://blog.csdn.net/petermsh/article/details/78652246 1、项目流程日志数据从flume采集过来，落到hdfs供其它离线业务使用，也会si...
如果 MySQL 数据库比较大的话，我们很容易就能查出是哪些表占用的空间；不过如果 Redis 内存比较大的话，我们就不太容易查出是哪 如果 MySQL 数据库比较大的话，我们很容易就能查出是哪些表占用的空间；不过如果 Redis 内存比较大的话，我们就不太容易查出是哪些（种）键占用的空间了。 有一些工具能够提供必要的帮助，比如 redis-rdb-tools 可以直接分析 RDB 文件来生成报告，可惜它不能百分百实现我的需求，而我也不想在它的基础...
先说一下工作场景，要求做一个服务，满足：处理千万级别数据，单个请求响应时间在20ms以下。由于是存储的数据式为key:list[]，所以很适合使用redis来存放数据，为了测试一下redis存储的效率问题，才有了这篇文章。 第一步：造数据。思路如下：（1）先产生三 先说一下工作场景，要求做一个服务，满足：处理千万级别数据，单个请求响应时间在20ms以下。由于是存储的数据格式为key:list[]，所以很适合使用redis来存放数据，为了...
安装redis#wgethttp://redis.googlecode.com/files/redis-2.6.14.tar.gz#tarxzfredis-2.6.14.tar.gz#cdredis-2.6.14#make执行make的时候报错，具体报错信息如下安装redis#wget #tar xzf redis-2.6.14.tar.gz #cd redis-2.6.14 #make执行make的时候报错，具体报错信息如下：zmalloc.o: In function `zmalloc_used_memory': /usr/local/redis-2.6.14/src/zmalloc.c:223: undefined reference to `__sync_add_and_fetch_4' collect2:...
首先我们看一个场景：一个网站，需要统计一周内连续登陆的用户，以及一个月内登陆过的用户。如果用传统的数据库如Mysql来实现的话，很难做到。但如果用Redis来做的话，就很简便。Redis的集合类型和Bitmap类型都可以很容易的做到。今天，我们主要来谈谈如何用Bitmaps来实现统计活跃用户的功能。Bitmaps在计算机系统中，最小的信息单位是字节，1个字节等于8位，每一位都只可能是0或1（计算机只认识这两个数）。使用Bitmaps可以直接对...
使用Redis shell可以完成许多有意思的操作，使用也非常的简单，下面开始介绍。Redis-cliredis-cli的选项非常多，除了常用的-h、-p、-a外，下面在介绍几个很常用的选项。想查看所有选项的话可以使用redis-cli --help查看。--version查看redis版本# redis-cli --version redis-cli 5.0.5可以看到我当前的版本是5.0.5-r，-ir是repeat的缩写，表示重复几次的意思。i是interval的缩写，表示间隔多久（单位为妙）。比如执行ping命令，共执...
hyperloglog(基数统计) 简述 Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大 时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计 算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog ...
如果现在要开发一个功能：统计APP或网页的一个页面，每天有多少用户点击进入的次数。同一个用户的反复点击进入记为 1 次，也就是统计 UV 数据。让你来开发这个统计模块，你会如何实现？ 如果统计 PV 数据，只要给网页一个独立的 Redis 计数器就可以了，这个计数器的 key 的格式为 puv:{pid}:{yyyyMMdd}。每来一个请求就 incrby 一次，就可以统计出所有的 PV 数据。 但是 UV 不一样，它要去重，同一个用户一天之内的多次访问请求只能...
先看一个场景：如果某网站有有1亿用户，用户访问过该网站标记为活跃，如何统计网站DAU(Daily Active Use)，根据DAU统计WAU或MAU。1.使用传统的数据库表可以实现，用户只要访问了该网站则按日期，用户号插入一条记录，至少需要两个字段：mobile/user_idvisit_date185202005012020-05-01185202005002020-05-02如果日活很高，表会迅速扩张，按日、周、月统计还需要count、sum、group效率较低，消耗了数据库资源还难以快速统计目标数据...
基数：不重复的元素 Redis Hyperloglog：用于做基数统计的算法 优点：占用的内容是固定的，2^64不同的元素的技术，只需要占用12kb内存！如果要从内存角度来比较的话Hyperloglog首选。 hyper log log命令以"pf"开头。 1.利用pfadd命令添加127.0.0.1:6379> pfadd mykey a b c d e f g h i j (integer) 1 127.0.0.1:6379> 2.利用pfcount 命令统计元素的基数数量127.0.0.1:6379> pfcount mykey (integer) 10 127.0.0.1:6379> ...
redis 2.8.9版本就更新了Hyperloglog数据结构！ Hyperloglog：基数统计算法！0.81%的错误率，不过统计大量数据可以忽略！ 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。 1、...
众所周至，拼多多的待遇也是高的可怕，在挖人方面也是不遗余力，对于一些工作3年的开发，稍微优秀一点的，都给到30K的Offer，当然，拼多多加班也是出名的，一周上6天班是常态，每天工作时间基本都是超过12个小时，也是相当辛苦的。废话不多说，今天我们来聊一聊拼多多的一道后台面试真题，是一道简单的架构类的题目：拼多多有数亿的用户，那么对于某个网页，怎么使用Redis来统计一个网站的用户访问数呢？ 使用Hash 哈希是Redis的...
最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。id uv pv date hour1 155599 306053 2018-07-27 18关于什么是pv,uv，可以参见这篇博客:https://blog.csdn.net/petermsh/article/details/78652246 1、项目流程日志数据从flume采集过来，落到hdfs供其它离线业务使用，也会si...