logstash + elasticsearch + Kibana+Redis+Syslog-ngElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。其实logstash是可以被别的替换，比如常见的fluent...
什么是 SLOWLOGSlow log 是 Redis 用来记录查询执行时间的日志系统。查询执行时间指的是不包括像客户端响应(talking)、发送回复等 IO 操作，而单单是执行一个查询命令所耗费的时间。另外，slow log 保存在内存里面，读写速度非常快，因此你可以放心地使用它，不必担心因为开启 slow log而损害 Redis 的速度。设置 SLOWLOGSlow log 的行为由两个配置参数(configurationparameter)指定，可以通过改写 redis.conf 文件或者用 CONFIG ...
Aof 的配置
appendonly no # 是否打开 aof日志功能
appendfsync always # 每1个命令,都立即同步到aof. 安全,速度慢
appendfsync everysec # 折衷方案,每秒写1次
appendfsync no # 写入工作交给操作系统,由操作系统判断缓冲区大小,统一写入到aof. 同步频率低,速度快,no-appendfsync-on-rewrite yes: # 正在导出rdb快照的过程中,要不要停止同步aof
auto-aof-rewrite-percentage 100 #aof文件大小比起上次重写时的大小,增长率...
redis默认不记录log文件，需要在Redis.conf文件，找到loglevel notice，在其后的logfile ""，双引号中，写redis的路径"/redis2.8/redis.log"，默认盘符是redis服务所在盘符
在保存文件时，提示readonly option is set
网上查询后总结：
方法一：
This is a vim issue, not a file permission issue. If you did not have read permission on the file, youd see a "Permission denied" error.
Do you invoke vi/vim with the -R op...
本篇文章主要讲述的是redis两种持久化方式，分别是rdb快照和aof日志，具有一定的学习价值，感兴趣的朋友可以看看。持久化就是即使断电/重启需要存储的数据不会丢失,即将数据存储在设备中,一般存在硬盘内redis的持久化有2种方式 :1-rdb快照 2-aof日志,可以通过配置redis.conf文件进行配置rdb快照的配置选项: 配置完成后重启redis即可生效,使用rdb持久化有一个弊端,假如在即将达到300秒时正好有了10个写入操作,这时就会生成快照,快照...
最近的项目用的是纯Redis数据库，数据量5G以上，每天定时rdb快照，1 - 2分钟拒绝服务，有点无法忍受。 也没有做M/S主从的机器预算； AOF日志流，测试过也不大靠谱； 之前看过wooga公司（www.wooga.com）的ppt，他们采用的方案是定时备份，过去10分钟内的活跃最近的项目用的是纯Redis数据库，数据量5G以上，每天定时rdb快照，1 - 2分钟拒绝服务，有点无法忍受。
也没有做M/S主从的机器预算；
AOF日志流，测试过也不大靠谱；
之前看过...
本篇文章主要讲述的是redis两种持久化方式，分别是rdb快照和aof日志，具有一定的学习价值，感兴趣的朋友可以看看。持久化就是即使断电/重启需要存储的数据不会丢失,即将数据存储在设备中,一般存在硬盘内redis的持久化有2种方式 :1-rdb快照 2-aof日志,可以通过配置redis.conf文件进行配置rdb快照的配置选项: 配置完成后重启redis即可生效,使用rdb持久化有一个弊端,假如在即将达到300秒时正好有了10个写入操作,这时就会生成快照,快照...
“特立独行是对的，融入圈子也是对的，重点是要想清楚自己向往怎样的生活，为此愿意付出怎样的代价。”我们通常将 Redis 作为缓存使用，提高读取响应性能，一旦 Redis 宕机，内存中的数据全部丢失，假如现在直接访问数据库大量流量打到 MySQL 可能会带来更加严重的问题。另外慢慢的从数据库读取放到 Redis 性能必然比不过从 Redis 获取快，也会导致响应变慢。Redis 为了实现无畏宕机快速恢复，设计了两大杀手锏，分别是 AOF（Appen...
使用好Redis，不仅仅要知道Api的使用，还要知道如何防止Redis阻塞及阻塞的查看和分析。今天，和大家聊聊如何发现Redis的阻塞——通过慢查询找到阻塞的命令。和Mysql一样，Redis也有慢查询记录。当命令的执行时间超过设定的值时，该命令就会记录到慢查询列表中。通过慢查询，我们可以改进我们的程序。防止redis阻塞。配置慢查询的配置参数有两个：slowlog-log-slower-thanslowlog-max-lenslowlog-log-slower-than用来设定一个阈值，...
使用Redis的列表数据类型可以实现多种数据结构，可以将它看做php中的索引数组。它可以实现栈、队列、消息队列的多种数据结构。今天，和大家介绍下，如何使用redis来保存系统日志及热门文章列表。存放日志大家知道，nginx日志默认不会自动切割，它会一直存放一个文件中，一直追加写入，需要我们自己做切割日志的操作。除了nginx外，很多地方都有用到日志。出了问题后，日志是我们是我们查找线索的主要途径之一。我们现在打算将系统的...
redis查看日志redis在默认情况下，是不会生成日志文件的，所以需要配置配置方法1、首先找到redis的配置文件2、打开配置文件，找到logfile（可能有多个logfile，认准旁边有loglevel的那个），或者直接搜logfile ""3、将路径填入logfile后面的引号内，例如：logfile "d:/redislog/redis.log" (注意斜杆的方向，这个和windows cmd中的斜杆方向是反的)4、根据自己写的路径，手动将日志文件夹建好，日志文件不用建，建到文件夹即可，比...
今天中间件接口响应时间很长，经过大致排查,发现是访问Redis慢，并且Redis的cpu确实已经飙到了98%左右，现在需要定位问题.先打开 今天中间件接口响应时间很长，经过大致排查,发现是访问Redis慢，并且Redis的cpu确实已经飙到了98%左右，现在需要定位问题.先打开redis的slowlog。
什么是 SLOWLOG
Slow log 是 Redis 用来记录查询执行时间的日志系统。
查询执行时间指的是不包括像客户端响应(talking)、发送回复等 IO 操作，而单单是执...
#先检查是否安装了iptablesservice iptables status#安装iptablesyum install -y iptables#升级iptablesyum update iptables #安装iptables-servicesyum install iptables-services禁用/停止自带的firewalld服务
#停止firewalld服务systemctl stop firewalld#禁用firewalld服务systemctl mask firewalld设置现有规则
#查看iptables现有规则iptables -L -n#先允许所有,不然有可能会杯具iptables -P INPUT ACCEPT#清空所有默认规则ip...
Redis的持久化有2种方式 1快照 2是日志
Rdb快照的配置选项：
save 900 1 // 900内,有1条写入,则产生快照
save 300 1000 // 如果300秒内有1000次写入,则产生快照
save 60 10000 // 如果60秒内有10000次写入,则产生快照
(这3个选项都屏蔽,则rdb禁用)
stop-writes-on-bgsave-error yes // 后台备份进程出错时,主进程停不停止写入?
rdbcompression yes // 导出的rdb文件是否压缩
Rdbchecksum yes // 导入rbd恢复...
之前的文档介绍了ELK架构的基础知识，日志集中分析系统的实施方案：- ELK+Redis- ELK+Filebeat - ELK+Filebeat+Redis- ELK+Filebeat+Kafka+ZooKeeperELK进一步优化架构为EFK，其中F就表示Filebeat。Filebeat即是轻量级数据收集引擎，基于原先Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是ELK Stack在shipper端的第一选择。这里选择ELK+Redis的方式进行部署，下面简单记录下ELK结合Re...
