简介 Graylog 是一个开源的日志管理系统。能够通过不同 Input 接口接收日志，并为用户提供 Web 访问接口，它使用 Elasticsearch 索引和保存日志，使用 MongoDB 作为配置信息的存储。 大致工作流程是日志信息通过 Inputs 进入 Graylog，如果有设置日志字段提取的话经过 Extractor，之后到达 Streams 日志流中,最后就是根据Streams 日志流设置写入指定 Index，然后根据日志流中设置的匹配信息触发 Alters 报警。 与当前流行的 ELK 相...
在 Linux 系统中，日志文件记录了系统中包括内核、服务和其它应用程序等在内的运行信息。 在我们解决问题的时候，日志是非常有用的，它可以帮助我们快速的定位遇到的问题。 在 Cent OS 7中，日志是使用rsyslogd守护进程进行管理的，该进程是之前版本的系统中syslogd的升级版，对原有的日志系统进行了功能的扩展，提供了诸如过滤器，日志加密保护，各种配置选项，输入输出模块，支持通过 TCP 或者 UDP 协议进行传输等。 rsyslog的配...
一、日志系统 信息详细程序：日志级别 子系统：facility，设施 syslog syslog-n:开源 1、syslog服务： syslogd：系统，非内核产生的信息 klogd：内核，专门负责记录内核产生的日志信息 kernel-->物理终端（/dev/console）-->/var/log/dmesg # dmeg #cat /var/log/dmeg 2、日志需要滚动（日志切割）: messages message.1 message.2 mess...
ELK日志系统（企业用了都说好） 一、ELK概述1、ELK日志分析系统2、ELK中日志处理步骤3、Elasticsearch概述4、LogStash概述5、Kibana概述 二、部署ELK日志分析系统1、关防火墙和系统安全机制2、配置elasticsearch环境3、部署elasticsearch软件4、安装elasticsearch-head插件5、安装logstash6、安装kibana总结一、ELK概述1、ELK日志分析系统2、ELK中日志处理步骤第一步：将日志进行集中化管理（beats） 第二步：将日志格式化（Logsta...
redo log 和 bin log redo log 是innodb引擎特有，当有一条记录需要更新时，innodb先把记录写到redo log中，并更新内存，此时更新完成， 同时，innodb会在适当的时候把这个操作记录更新到磁盘中。 binlog（归档日志）是server层的日志 这两种日志有以下三点不同： redo log 是 InnoDB 引擎特有的；binlog 是 MySQL 的 Server 层实现的，所有引擎都可以使用。 redo log 是物理日志，记录的是“在某个数据页上做了什么修改”；binlog...
数据库备份：MySQL可以恢复到半个月内任意一秒的状态。 MySQL查询语句和更新语句的异同？查询语句的执行流程更新语句也会走一遍。 执行语句前要先连接数据库，这是连接器的工作。 在一个表有更新时，跟这个表有关的查询缓存会失效，更新语句会把表上的所有缓存结果清空。因此，不建议使用查询缓存。 分析器会通过词法和语法解析知道这是一条更新语句。 优化器决定使用什么索引。 执行器负责具体执行。 与查询流程不同的是，更新流程...
bin-log & redo-log & undo log1. 避免从删库到跑路 - bin log 怎么避免从删库到跑路 – 详解 mysql binlog 的配置与使用 1.1 什么是bin log binlog 即二进制日志，他记录了引起或可能引起数据库改变事件，包括事件发生的时间、开始位置、结束位置等信息，select、show 等查询语句不会引起数据库改变，因此不会被记录在 binlog 中对于事务的执行，只有事务提交时才会一次性写入 binlog，对于非事务操作，则每次语句执行成功后都会直...
之前我们了解了一条查询语句的执行流程，并介绍了执行过程中涉及的处理模块。一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块，最后到达存储引擎。 那么，一条 SQL 更新语句的执行流程又是怎样的呢？ 首先我们创建一个表 user_info，主键为 id，创建语句如下： CREATE TABLE `T` (`ID` int(11) NOT NULL,`c` int(11) DEFAULT NULL,PRIMARY KEY (`ID`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 插入一...
Mysql 日志系统 文章目录 Mysql 日志系统二进制日志（binlog）简介作用内容：什么时候产生：什么时候释放：对应的物理文件：其他 重做日志（redo log）简介作用：内容：什么时候产生：什么时候释放：对应的物理文件：文件的大小和数量的配置：其他 回滚日志（undo log）简介作用：内容：什么时候产生：什么时候释放：对应的物理文件：MySQL5.7之后的独立undo 表空间配置参数：其他 普通查询日志（general log）错误日志（errorlog）...
前言：看了极客时间的Mysql实战45讲，觉得写的很好，做一下笔记。 在一个表上有更新的时候，跟这个表有关的查询缓存会失效，所有这条语句就会把表T上所有的缓存结果都清空。这是我们不推荐使用查询缓存的原因。 查询流程：连接器–》分析器–》优化器–》执行器–》存储引擎。 与查询流程不一样的是，更新流程还涉及两个重要的日志模块。redolog和binlog。 redo log日志模块 假如说你要开一家饭店，顾客到你开的饭店来吃饭消费。消...
MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。在任何一种数据库中，都会有各种各样的日志，记录着数据库工作的方方面面，以帮助数据库管理员追踪数据库曾 经发生过的各种事件。 在 MySQL 中，有 4 种不同的日志，分别是错误日志...
原文链接：https://time.geekbang.org/column/article/68633目录 概述 重要的日志模块：redo log 重要的日志模块：binlog 两阶段提交 比如这一条语句：update T set c=c+1 where ID=2; 假设c原来的值是1。 概述 上一节中查询语句的执行流程，更新语句也同样会走一遍。执行语句之前先要连接数据库，这是连接器的工作。 将表T上所有缓存结果都清空（这也是一般不建议使用查询缓存的原因）。 接下来分析器会通过词法分析和语法分析...
2 日志系统：一条sql更新语句是如何执行的？ 前面了解了一个查询语句的执行流程，并介绍了执行过程中涉及的处理模块，一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块，最后达到engine。 这里分析一个update语句的流程 mysql> create table T(ID int primary key, c int); 更新语句 mysql> update T set c=c+1 where ID=2; 查询语句的那一套流程，更新语句也是同样会走一遍 执行语句前要先连接db--连接...
下面是一个表的创建语句，这个表有一个主键id和一个整型字段c:create table t(id int primary key,c int);如果要将 id = 2 这一行的值加 1，sql语句就会这么写：update t set c = c+1 where id =2;上一篇文章介绍过sql语句几本的执行链路，首先可以确定的说，查询语句的流程，更新语句也是同样的会走一遍。我们执行语句之前都要先连接数据库，这是连接器的工作。 前面有说过，当更新一条语句的时候，跟这个表相关的查询缓存会失败，...
Linux-rsyslog日志系统和logrotate日志轮转 一. rsyslog日志管理1.1 linux的日志采集分为两大类：系统rsyslogd和第三方进程1.2. rsyslog的facility和level1.3. 开启接收其他主机的tcp或udp syslog1.4. 发送syslog函数logger 二. 日志轮转logrotate2.1 主配置文件/etc/logrotate.conf2.2 具体某个log文件的logrotate配置文件写在/etc/logrotate.d文件夹...