日志 - 技术教程文章
nginx 切割日志文件【代码】【图】
一、利用crontab 切割nginx日志文件(linux平台下)cat nginx_log.sh #!/bin/bash # 零点执行该脚本 # Nginx 日志文件所在的目录 LOGS_PATH=/data/opt/nginx/logs ## 获取昨天的 yyyy-MM-dd YESTERDAY=$(date -d "yesterday" +%Y-%m-%d) # 移动文件 mv ${LOGS_PATH}/access.log ${LOGS_PATH}/access_${YESTERDAY}.log # 向 Nginx 主进程发送 USR1 信号。USR1 信号是重新打开日志文件 kill -USR1 $(cat /data/opt/nginx/logs/nginx.pi...
(16)-Python3之--自定义logging日志模块【代码】
1.自定义的日志模块如下：import logging from logging.handlers import TimedRotatingFileHandler import datetime from common import dir_config # 存放日志的路径# 配置日志的显示内容格式 fmt = "%(asctime)s %(levelname)s %(filename)s %(funcName)s [ line:%(lineno)d ] %(message)s" datefmt = "%Y-%m-%d %H:%M:%S"# 获取当前时间 now_time = datetime.datetime.now().strftime(‘%Y-%m-%d‘) # 把当前时间转换成str n...
数据库日志报错问题分析【代码】
Thread 1 cannot allocate new log, sequence 466 Private strand flush not completeCurrent log# 7seq# 465 mem# 0: /home/app/oracle/oradata/orcl/redo07.log Thread 1 advanced to log sequence 466 (LGWR switch)Current log# 8seq# 466 mem# 0: /home/app/oracle/oradata/orcl/redo08.log Mon Jul 2815:27:422014 Thread 1 cannot allocate new log, sequence 467 Private strand flush not completeCurrent log# 8seq# 466...
PostgreSQL Replication之第二章 理解PostgreSQL的事务日志（5）
2.5 XLOG的内部结构我们将使用事务贯穿本书，并让您在技术层面上更深地洞察事情是如果工作的，我们已经增加了这部分专门处理XLOG的内部工作机制。我们会尽量避免前往下降到C级，因为这将超出本书的范围，但我们会为您提供希望足够深的见解。2.5.1 理解XLOG记录对XLOG所做的更改是基于记录的。这意味着什么？让我们假设您在给一个表添加一行数据：test=# INSERT INTO t_test VALUES (1, ‘hans‘);INSERT 0 1在这个例子中，我们正在...
netcore + docker + jenkins 持续集成日志【代码】【图】
要实现的目标 : 提交代码到github的master分支后, 触发webhook, jenkins从github上重新拉取代码=>编译=>打包成docker镜像=>重新发布机器: centos 7.41. 安装git,jenkins,docker-cegit可以直接yum 安装 : yum install git -y也可以安装新版本 参考文章: https://linuxize.com/post/how-to-install-git-on-centos-7/jenkins 安装参考文章 https://www.cnblogs.com/stulzq/p/9291237.htmldocker-ce 安装参考官网: https://docs.dock...
crontab命令行和日志查看【图】
1.基本命令行模式注意：非root用户 systemctl restart crond 失效，请使用最底层的驱动重启2.crontab日志cron日志保存在系统目录/var/log/cron命令：tail -n 2 /var/log/cron 注意：默认root权限才可以 原文：https://www.cnblogs.com/yangzailu/p/10137918.html
springboot配置Log4j(将输出日志打印在控制台)【代码】【图】
在springboot整合mybatis开发过程中，配置Log4j文件以便查看Mybatis操作数据库的过程编辑器：IDEA第一步：pom.xml中引入依赖（mybatis依赖和log4j2依赖）如下：#在spring-boot-starter-web中自动配置了logging依赖，在使用Log4j时需要先排除其依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><exclusions><exclusion><groupId>org.springframework.boot</groupId><a...
日志框架总结【代码】
1 日志框架简介(参考：http://xfhnever.com/2015/09/20/log-java-2/) 各种日志框架可以分为两类：日志实现框架：jdk自带的logging(jul)，log4j1、log4j2、logback日志门面，即提供统一的接口不提供实现：apache的commons-logging(jcl)、slf4j2 日志实现框架需要的jar包log4j: log4j:log4j1的全部内容log4j2: log4j-api:log4j2定义的APIlog4j-core:log4j2上述API的实现logback: logback-core:logback的核心包lo...
python 日志分割器 大文本处理【代码】
import math i=0 filename=‘‘ write=‘‘ Rline = ‘‘def writeFile(fileName,line):global filenameglobal writeglobal Rlineif filename!=fileName and filename==‘‘:write = open(‘D:/soft/apache-tomcat-7.0.47/logs/‘+fileName+".log", ‘a+‘)write.write(line)elif filename!=fileName and Rline!=‘‘:write.close()#新文件就关闭上个write的流else:write.write(line)filename = fileNameRline = line with open(...
开启mysql的监视日志【图】
1、查看监视文件日志开关和日志文件的具体位置：show global variables like ‘%general%‘; 2、开启监视：set global general_log=ON; 也可以设置 日志的保存位置：set global general_log_file=‘tmp/general.lg‘; 查看日志的保存位置：show variables like ‘general_log_file‘; 3、设置日志时间我在查询日志的时候发现时间和系统时间不一致；查看系统默认时间参数：select @@log_timestamps; 设置使用系统时间：set...
sudo+syslog日志审计+登陆用户操作统计【代码】
１、查询系统是否已安装sudo、syslog程序[root@shangke ~]# rpm -qa|egrep "sudo|syslog" rsyslog-5.8.10-10.el6_6.x86_64 sudo-1.8.6p3-19.el6.x86_64 如果没有安装，则用yum安装，yum install -y sudo syslog2、配置/etc/sudoers增加配置“Defaults logfile=/var/log/sudo.log”到/etc/sudoers中[root@shangke ~]# echo "Defaults logfile=/var/log/sudo.log" >>/etc/sudoers [root@shangke ~]# tail -1 /etc/sudoers ##检查...
shell 分析 nginx 日志统计
1.统计ip访问量前10的 ip地址 cat access.log | awk ‘{print $1}‘ | sort | uniq -c | sort -nr | head -n 102.查看当天ip访问量统计 cat access.log |grep "21/Apr/2016" |awk ‘{print $1}‘|sort|uniq -c|sort -nr3.查看访问前10的页面统计 cat access.log | grep "21/Apr/2016" | awk ‘{print $7}‘ | sort | uniq -c | sort -nr | head -n 104.查看当天访问次数最多的时间段 tail -n 1000 access.log | awk ‘{pri...
(38) 日志运用
当应用处于生产环境时，日志提供了有价值的运行时调试及监控信息，并且，也是一个有用的调试工具对于处于开发阶段的应用来说。此文描述在Odoo8.0中日志的配置、使用及实现日志配置 Odoo使用Python标准日志库logging。但是，它使用一种特殊的配置语法来为其模块配置日志级别。以下为Odoo日志配置的完整选项：logfile：日志文件名，比如opt/odoo.log. 如果不设置，则默认为stdout，即输出到控制台logrotate：True/False.如果设置T...
oracle11g安装日志文件
正在加载产品列表, 请稍候。正在加载产品, 请稍候。分析相关性设置安装类型执行先决条件 加载 Oracle Database 11g加载 Enterprise Edition Options加载 Oracle Partitioning加载 Oracle Spatial加载 Oracle OLAP加载 Oracle COM Automation Feature加载 Oracle Database 11g加载 Oracle Text加载 Oracle Net Services加载 Oracle Enterprise Manager Console DB加载 HAS Files for DB加载 Enterprise Manager Agent加载 Oracle Ad...
awstats日志分析系统部署【图】
awstats日志分析系统部署1.确认apache已经安装：netstat -utpln |grep 80650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108031819957.jpg" title="图片1.png" /> 2.下载与解压：lftp ftp.linuxfan.cn-->cd tools-->get awstats-7.3.tar.gztar zxvf awstats-7.3.tar.gz 650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108031820205.jpg" title="图片2.png" /> mv awstats-7.3 /usr/...
【Dojo】调试输出日志
页面中加上<script type="text/javascript"> djConfig = { isDebug: true, parseOnLoad: true };</script>isDebug: true，在页面中就可以看到Dojo的console了。parseOnLoad：在页面加载完成以后，是否启用 Dojo 的解析模块对页面中的 Dojo 标签属性（Dojo 标签属性是指由 Dojo 定义的一些标记，这些标记只有在被处理以后，才能为浏览器识别执行）进行解析。默认为false。Dojo console中常用的输出有四种级别：...
Kafka深入理解-3：Kafka如何删除数据（日志）文件【代码】
Kafka作为消息中间件，数据需要按照一定的规则删除，否则数据量太大会把集群存储空间占满。参考：apache Kafka是如何实现删除数据文件(日志)的Kafka删除数据有两种方式按照时间，超过一段时间后删除过期消息按照消息大小，消息数量超过一定大小后删除最旧的数据Kafka删除数据的最小单位：segmentKafka删除数据主逻辑：kafka源码def cleanupLogs() {debug("Beginning log cleanup...")var total = 0val startMs = time.milliseconds...
十分钟搭建和使用ELK日志分析系统【代码】【图】
前言 为满足研发可视化查看测试环境日志的目的，准备采用EK+filebeat实现日志可视化（ElasticSearch+Kibana+Filebeat）。题目为“十分钟搭建和使用ELK日志分析系统”听起来有点唬人，其实如果单纯满足可视化要求，并且各软件都已经下载到本地，十分钟是可以搭建一个ELK系统的。本文介绍如何快速安装、配置、使用EK+FILEBEAT去实现日志搜集。本文中没有使用LOGSTASH做日志搜集过滤,但为了后期需要先进行了安装。工作原理ElasticS...
linux日志查看命令
linux 日志查看vi、more、tail、grep、less、head、 cat、tac、sed、echovi模式：编辑模式：在命令模式下输入插入命令i、附加命令a、打开命令o、修改命令c、取代命令r或替换命令s都可以进入文本输入模式。命令模式：使用esc 到命令模式，然后使用命令来操作文本(简单的命令)末行模式：输入复杂的命令。需要输入: 冒号linux的行，表示的是换行符，并不是输出面板的数据vi进入：定位光标参考：vi属性设置命令 (biancheng.net)光标定位...
SpringBoot项目中使用Logback进行日志管理【代码】【图】
Logback简介logback是由log4j创始人设计的又一个开源日志组件 ， 优化了log4j存在的性能问题。logback包含了三个模块：logback-core、logback-classic、logback-access。logback-core 是其它模块的基础设施，其它模块基于它构建，显然，logback-core 提供了一些关键的通用机制。logback-classic 的地位和作用等同于 Log4J，它也被认为是 Log4J 的一个改进版，并且它实现了简单日志门面 SLF4J。logback-access 主要作为一个与 Servl...
springboot 使用日志
spring boot 默认使用日志打印到console添加application.properties文件在src/main/resoures文件夹下logging.file=my.log将日志写在文件中 详细使用方法：参考 application properties 官方配置文件示例原文：https://www.cnblogs.com/pangkang/p/8227859.html
查询指定时间内审核失败的事件日志【代码】
查询指定时间内审核失败的事件日志，必须要加namespace，否则无返回$s = get-date "3/30/2016 13:54:03"$e = get-date "3/30/2016 13:55:03"$stime = [System.Management.ManagementDateTimeConverter]::ToDmtfDateTime($s) $etime = [System.Management.ManagementDateTimeConverter]::ToDmtfDateTime($e) Get-CimInstance Win32_NTLogEvent -namespace"root\cimv2" -filter"logfile=‘security‘ and type=‘审核失败‘ and Time...
JVM学习--开启应用的gc日志功能【代码】【图】
一、开启方法For Java 1.4, 5, 6, 7, 8 pass this JVM argument to your application: -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:<file-path>For Java 9, pass the JVM argument: -Xlog:gc*:file=<file-path>file-path: is the location where GC log file will be written 二、测试 代码：public class testAllocation {private static final int _1MB=1024*1024;public static void main(String[] args) {byte[] allo...
Log4J日志配置详解【代码】
一、Log4j简介Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制日志输出的样式和位置。1、LoggersLoggers组件在此系统中被分为五个级别：DEBUG、INFO、WARN、ERROR和FATAL。这五个级别是有顺序的，DEBUG < INFO < WARN < ERROR < FATAL，分别用来指定这条日志...
robotframework日志输出中文乱码以及robotframework常用关键字-笔者亲测【图】
一、环境说明python版本：3.7.3robotframework版本：3.1robotframwork-ride版本：1.7.4.2二、问题描述?robotframework日志输出时出现中文以unicode编码方式，如下图所示：?三、解决方案(1) 找到目录：C:\python373\Lib\site-packages\robotide\contrib\testrunner下的testrunnerplugin.py文件。(2) 修改第565行，把 encoding[‘SYSTEM’]) 改为 encoding[‘OUTPUT’])(3) 重启ride工具，再运行，结果展示如下：?四、robotf...
nginx日志切割【代码】
作为一个初中级php程序员，也许懂一点Linux知识，下面操作下nginx日志切割 1 #!/bin/bash 2 base_path=/www/lisa/logs/lisa.log.log #nginx日志 3 log_path=/data/logs #备份目录 4 date=$(date -d yesterday +%Y%m%d%H).log #获取日期时间作为文件名 56 mv $base_path $log_path/$date #nginx日志更改名字 78 kill -USR1 `cat /usr/local/nginx/logs/nginx.pid` #-USER1发送信号给nginx重新打开日志当执行命令“kill -USR...
ZooKeeper的事务日志和快照
客户端对ZK的更新操作都是永久的，不可回退的，也就是说，一旦客户端收到一个来自server操作成功的响应，那么这个变更就永久生效了。为做到这点，ZK会将每次更新操作以事务日志的形式写入磁盘，写入成功后才会给予客户端响应。明白这点之后，你就会明白磁盘的吞吐性能对于ZK的影响了，磁盘写入速度制约着ZK每个更新操作的响应。为了尽量减少ZK在读写磁盘上的性能损失，可以考虑使用单独的磁盘作为事务日志的输出（使用单独的挂载点...
ELK日志分析系统【代码】【图】
理论部分 一：ELK平台介绍1.1：ELK概述ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：1：Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。2：Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用3：Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearc...
linux文件系统日志介绍
我们将inode 块与block块称为数据存放区域或普通数据块，superblock、block块位图、inode位图等称为中间数据或者元数据，因为元数据经常变化，会存在与实际数据不一致的情况。所以就有了文件系统日志功能。ext3文件系统日志:首先将待写的块的一个副本放入日志中，当发往日志的IO数据发送到日志中后(将数据提交到日志中)，块即将写入文件系统，当发往文件系统的IO数据完毕时，( 把数据提交到了文件系统中)，日志中的块副本就丢弃。事...
使用日志记录功能查看PHP扩展的执行过程【代码】
了解过PHP内核的同学都知道，PHP的一次请求的生命周期1.启动Apache后，PHP解释程序也随之启动。PHP调用各个扩展的MINIT方法，从而使这些扩展切换到可用状态2.当一个页面请求发生时，SAPI层将控制权交给PHP层。于是PHP设置了用于回复本次请求所需的环境变量。同时，它还建立一个变量表，用来存放执行过程 中产生的变量名和值。PHP调用各个模块的RINIT方法，即“请求初始化”。RINIT方法可以看作是一个准备过程， 在程序执行之间就会...