日志 - 技术教程文章
python清除数据库错误日志
# coding=gbk from encodings import gbk import re import sys import os import pyodbc import traceback import decimal #连接数据库 conn = pyodbc.connect(‘DRIVER={SQL Server};SERVER=192.168.1.43;DATABASE=master;UID=sa;PWD=passwd123!‘) # 获取cursor对象来进行操作 cursor = conn.cursor() #清除错误日志 #query="select username,userid from dbo.tbluser where username=‘%s‘" %(uname) query="EXEC ...
推荐快速恢复 binlog日志的方法
A:192.168.13.12 (原主库)B:192.168.13.13 (空实例) binlog server ，需要恢复的binlog在上面C:192.168.13.14 (从库用于恢复全备)A 是坏的库 现在用 B 和C 去恢复 用B去伪装A库 所以A和C的 server-id uuid要一样说明：192.168.13.14的server-id，uuid要与192.168.13.12一致,依次修改my.cnf 与 auto.cnf全备A实例：mysqldump -h127.0.0.1 -uroot -P3306 -pmysql --single-transaction -A --master-data=2 > all.sqlA实例多切换几...
日志同步
CREATE OR REPLACE PROCEDURE VOCATIONRECORD_Proc --同步HR休假记录表(passnum in varchar2, --日志批号 hardwareoid in number) --JOBS的作业ID as Beg_Date varchar2(20); --同步开始时间 End_Date varchar2(20); --同步结束时间 iCount number(8); --修改标识 jCount number(8); --汇总计数 record_count NUMBER; --计数begin beg_date := to_char(sysdate, ‘yyyy-mm-dd hh24:mi:ss‘); jCount := 0; decla...
LR单用户，重复操作日志
案例：假如你想在一个脚本中，实现登录执行1次，查询执行2次，插入执行3次，怎么办？录3个脚本？每个事务分别在脚本中复制N次？当然不用，LR早就想到了你的需求，下面让我们隆重推出Block。位置：Run-time Settings--General--Run Logic操作：1.将你所要考察的事务设置在不同的Action内。2.在Run Logic中的Run中删掉默认的Action。3.在Run中插入Block。4.在插入的Block中再插入我们要考察的Action。5.设置Block的properties。这里有...
分享oracle 审计日志清理 的清理方法及相关命令
分享oracle 审计日志清理 的清理方法及相关命令2017-07-06 20:42来源：中国存储网下面分享oracle 审计日志清理 的清理方法及相关命令--进入审计日志目录：cd $ORACLE_BASE/admin/$ORACLE_SID/adump--删除3个月前的审计文件：find ./ -type f -name "*.aud" -mtime +91|xargs rm -f--一次清空所有审计文件find ./ -type f -name "*.aud"|xargs rm-ffind ./ -mtime +7 -name "*.aud" -type f –delete通常我们新装好一个数据库中查询...
内存日志缓冲
innodb变更任何数据时，会写一条变更记录到内存日志缓冲在缓冲满的时候，事务提交的时候或者每一秒钟 innodb都会刷写缓冲区的内容到磁盘日志文件如果有大事务，可以增加日志缓冲区（默认1MB）大小可以帮助减少ioinnodb_log_file_size 控制日志缓冲区的大小通常不需要把日志缓冲区设置得非常大，推荐的范围是1M-8M，一般来说就足够了，除非需要写很多相当大的blob记录，相对于innodb的普通数据，日志条目是非常紧凑的，它们不是基于...
[Nginx] 1.17.9中的更改日志
1. 不允许多个Host请求头2. 忽略额外的Transfer-Encoding请求头3.修复在HTTP/2时的socket泄露4.修复使用OCSP时，工作进程中可能会发生分段错误5.更改使用“ error_page”指令重定向了494时，把状态码400换成4946.修复在njs模块和使用 “ aio”指令socket泄露原文：https://www.cnblogs.com/taoshihan/p/12680081.html
mysql日志文件在哪 如何修改MySQL日志文件位置
MySQL日志文件相信大家都有很多的了解，MySQL日志文件一般在:/var/log/mysqld.log，下面就教您修改MySQL日志文件位置的方法，供您参考。 今天需要改MySQL日志文件的位置，发现在/etc/my.cnf中怎么也改不了。 后来发现MySQL日志位是指定的: [root@localhost etc]# ps aux|grep mysqld root 11830 0.5 0.0 4524 1204 pts/0 S 03:03 0:00 /bin/sh /usr/bin/mysqld_safe --datadir=/data/mysql --socket=/var/lib/mysql/mysql.sock --l...
k8s使用EFK实现日志采集存储展示【代码】【图】
k8s集群上会跑各种各样的系统和应用程序的pod，而为了快速发现问题和更好的做日志监控，就必须要做日志的采集和集中存储展示了。综合考虑之下，我们推荐使用EFK技术栈来实现这个目的。 k8s日志采集架构选型1，每台节点采用DaemonSet部署agent：原理：每台节点采用DaemonSet部署一个采集日志的agent，从/var/log/containers/目录采集所有容器的日志，而容器中的日志需要遵循docker的日志规范，把日志打入stdout/stderr，这样k8s会自...
mysql的日志模块【图】
一条sql执行的过程： 连接器-------->分析器------->优化器--------->执行器-------->存储引擎 #如下图 不建议使用查询缓存的原因： 如果表有数据更新的话，这张表的缓存都会被清空 redo log日志（重做日志）：特性： innodb的引擎层日志，redo log日志大小时固定的（可通过参数设置），可配置日志个数，可重复写，存储的是脏页，写满后会读入到磁盘（读入的过程称之为刷脏）一家商店有一个记账板，当赊账顾客多的时候，...
数据库完整恢复模式下的日志增长问题【代码】【图】
最近在弄alwaysOn的时候有遇到磁盘满了的情况，这个是因为参与alwaysOn的数据库必须是完整恢复模式, 而完整恢复模式，数据库收缩还无效果，所以只能采用事务日志备份的方式来进行事务日志截断。 这个还要感谢@i6first大神和@桦仔大神的文章才了解到必须使用事务日志备份才可行（原谅我是小白一枚，竟然不知道完整恢复模式需要用事务日志备份才能解决日志大小问题。目前还在成长中..）。开此文章，用于记录完整模式下日志增长问题。...
自动清除过期的Tomcat日志的shell脚本【代码】
（友好提示：本文属于初级shell编程，高手可忽略此文） 在产品环境运行过程中，每天会切割产生按天计的日志文件，这些日志文件一般在过一定期限以后就没什么用处了，因此需要定期删除掉这些过期的日志文件。本文以CentOS下的Tomcat为应用环境基础，通过shell脚本的方式定时自动删除过期的Tomcat日志文件，以减少磁盘空间的占用、减轻管理员的日常工作。 一、shell脚本代码：#!/bin/bash # # filename: clearExpiredTomcatLogs...
收缩数据库日志
/*收缩数据库日志大小*/--数据库名称为 PTS2_NULL，请自行替换USE master GO ALTER DATABASE PTS2_NULL SET RECOVERY SIMPLE WITH NO_WAIT GO ALTER DATABASE PTS2_NULL SET RECOVERY SIMPLE GO USE PTS2_NULL GO --这里的2根据 select * from sysfiles 或 select * from sys.database_files 来查询 一般数据为1 日志为2；11代表指定收缩后日志大小为11MBDBCC SHRINKFILE (2 , 11, TRUNCATEONLY)GO USE master GO A...
入门篇：11.Android中日志系统和权限系统【代码】
一、安卓中的日志系统1.java中常用的两个日志System.out.println();//普通日志System.err.println();//警告日志2.android中常用的日志种类Log.e(Tag,"错误信息");Log.w(Tag,"警告信息");Log.i(Tag,"普通信息");Log.d(Tag,"调试信息");Log.v(Tag,"无用信息");ps：这个log.v神奇的地方就在于它没有用，它存在的意义竟然是供开发人员自娱自乐的，哦呵呵。。。二、安卓中的权限系统1.android常用的使用权限 在开发过程中，有时候我们...
oracle归档日志配置查询
归档日志(Archive Log)是非活动的重做日志备份.通过使用归档日志,可以保留所有重做历史记录,当数据库处于ARCHIVELOG模式并进行日志切换式,后台进程ARCH会将重做日志的内容保存到归档日志中.当数据库出现介质失败时,使用数据文件备份,归档日志和重做日志可以完全恢复数据库.日志操作模式:ARCHIVELOG NOARCHIVELOG1,改变日志操作模式:检查当前日志操作模式SELECT log_mode from v$database;关闭数据库,然后装载数据库SHUTDOWN IMMEDI...
Python3 -- 日志模块 logging【代码】
常用：import logging# logging 配置 LOG_FORMAT = "%(asctime)s - %(levelname)s - %(message)s - %(pathname)s - %(funcName)s - %(lineno)d" logging.basicConfig(filename=‘my.log‘, level=logging.WARNING, format=LOG_FORMAT)1. logging模块的日志级别logging模块默认定义了以下几个日志等级，它允许开发人员自定义其他日志级别，但是这是不被推荐的，尤其是在开发供别人使用的库时，因为这会导致日志级别的混乱。日志等级...
以日期为文件名来存储nginx日志
nginx是没有以日期格式作为文件名来存储的，所有的日志都是以一个名字来存储，长久以来日志文件会变得很大。这样非常不利于分析。 虽然nginx没有这个功能但我们可以写一个小脚本配合计划任务来达到这样的效果。 脚本代码如下（cutn/usr/local/tool/cutnginxlog.sh） #!/bin/sh# Program:# Auto cut nginx log script.# 2012/2/5 b4dboy First release QQ:137 51 52 53 # nginx日志路径 www.2cto.comLOGS_PATH=/var/wwwroot/bb...
java log日志的输出。【代码】
在Spring框架中添加日志功能：pom.xml1<dependency> 2 <groupId>log4j</groupId> 3 <artifactId>log4j</artifactId> 4 <version>1.2.17</version> 5</dependency>web.xml 1 <!-- 启动ｌｏｇ -->2 <servlet> 3 <servlet-name>Log4JInitServlet</servlet-name> 4 <servlet-class>com.rain.log.Log4JInitServlet</servlet-class> 5 <init-param> 6 <param-name>log4j-propertie...
LOGMNR-日志分析的强大工具
Oracle数据库中，LGWR进程将数据库中进行的DML操作记录在日志中，oracle数据库提供了一个LOGMNR工具，容易实现对于日志的解析。 找到redo log 的文件：select from v$log where status=‘CURRENT‘ ;/select from v$logfile ;A.创建列表EXECUTE dbms_logmnr.add_logfile( ‘/opt/oracle/oradata/redo02.log‘,dbms.logmnr.new);B.使用LogMiner进行日志分析 EXECUTE dbms_logmnr.start_logmnr( option=>dbms_logmnr.dict_from_onl...
4.16访问日志不记录静态文件，访问日志切割以及静态元素过期时间【代码】
访问日志不记录静态文件 一个网站会有很多元素，尤其是图片、js、css等静态文件非常多，每个用户请求一个页面都会访问诸多的图片，这些元素都会被记录在日志中，如果一个网站访问量很大，那么这些日志会增长的非常快，这样不仅会对服务器的磁盘造成影响，更会影响磁盘的读写速度。所以我们要限制这些惊天文件的记录。具体方法如下：编辑配置文件vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf然后在ErrorLog "logs/111.co...
linux系统安全日志【代码】【图】
2007-04-13 10:36:37分类： LINUX 转载我们主要讲一下Linux环境中的系统记帐和系统日志管理以及怎么用一些工具更加方便有效的管理日志信息。当我们用上面的方法进行了 Linux 服务器的安装和一些基本的设置后，我们的服务器应该说来是比较安全的。但是总是还会有黑客可以通过各种方法利用系统管理员的疏忽侵入我们的系统。他们的一举一动都会记录到系统的日志之中，尽管他们可能可以改变这些日志信息，甚至用自己的程序替换掉我们系...
关于日志打印的几点建议以及非最佳实践【代码】【图】
日志的打印在软件开发过程中必不可少，一般分为两个大类：操作日志系统日志 操作日志，主要针对的是用户，例如在Photoshop软件中会记录自己操作的步骤，便于用户自己查看。 系统日志，主要针对的是软件开发人员（包括测试、维护人员），也就是说这部分的日志用户是看不到的，也就是我们通常所说的debug日志。 在大学中所谓的实践项目或者老师布置的作用中，通常是不会在意日志，除非在作业中有特别的需要，往往在开发过程...
Zabbix日志监控之监控Windows用户登录【代码】【图】
Zabbix监控Windows用户登录是通过对Windows日志的监控来实现。在登录审核失败或者登录成功时发出告警。 告警邮件示例：650) this.width=650;" src="/upload/getfiles/default/2022/11/12/20221112123700084.jpg" title="9.png" /> 下面给出监控思路和步骤：一、分析登录日志 打开事件查看器，依次选择“Windows日志”->“安全”。650) this.width=650;" src="/upload/getfiles/default/2022/11/12/20221112123700196.jpg"...
day10_日志文件【图】
日志完全性：归档日志：日志镜像：日志文件：(1)在线日志文件记录所有数据变化信息利用日志文件快速写功能提升数据库写入性能(写100W行数据，写磁盘要10分钟，写日志只要1分钟，库认为日志写完了，数据就写完了。)(2)为实例失败与介质失败提供恢复机制日志建立的2种方式(库中什么时候产生日志)： 1、按物理条件：只要块发生变化，就把块记录到日志中(记录内容多，还原速度快) 2、逻辑操作：操作动作，你做了哪些操作动作(记录的少，...
毕设开发日志2017-11-30【代码】
【前言】 28号完成了预测模型的雏形之后由于性能问题几经修改，在上次的日志里也说到了，今天还是这个主题：性能的优化。【问题描述】 在28号之后，由于预测模型的工作速度仍不满意，于是考虑是频繁的文件读写造成了计算速度慢，于是在数据库里新建了一个表，专门存放各个城市的预测模型数据。同时也编写了该表对应的Dao层，能够支持对模型数据的插入和更新，以及多种方式的查询。然后基于该数据表我对预测过程做了对应的修改...
SQL中減少日志文件大小
SQL中減少日志文件大小 编写人：CC阿爸 2014-6-14 在日常SQL数据库的操作中，常常会出现SQL日志文件超大，大小都超过正常MDF数据库文件，作为一般用户来讲，LDF太大，只会影响服务器的硬盘空间。以下有一个快捷的方法，可在几秒内将日志文档减少为500多K。 但笔者提醒大家，为保险起见，请在操作前，先备份一下数据库，以免数据丢失。这也是IT人员良好的操作习惯。 DUMP TRANSACTION FILECENTER WITH NO_LOGBACKUP LOG FILECENTE...
log4j输出日志到文件【代码】
输出端AppenderAppender用来指定日志信息输出到哪个地方，可以同时指定多个输出目的地。Log4j允许将信息输出到许多不同的输出设备中，一个log信息输出目的地就叫做一个Appender。每个Logger都可以拥有一个或多个Appender，每个Appender表示一个日志的输出目的地。可以使用Logger.addAppender(Appender app)为Logger增加一个Appender，也可以使用Logger.removeAppender(Appender app)为Logger删除一个Appender。以下为Log4j几种常用...
2018-3-14 12周3次课 Nginx访问日志、日志分割、日志不记录静态文件和过期时间【代码】【图】
12.10 Nginx访问日志·日志格式：[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf搜索log_format（虽然红框中有三行，但实际上时一行配置，以分号为结尾）combined_realip 定义日志格式名字，此处定义成什么，那么后面引用时就要写成什么公网ip(出口ip)·除了在主配置文件nginx.conf里定义日志格式外，还需要在虚拟主机配置文件中增加access_log /tmp/1.log combined_realip（combined_realip就是nginx.conf中的日志格式名...
PYTHON上海分享活动小记---SQUID日志分析项目开发【图】
上周末有幸跑到上海为小伙伴们分享了《SQUID日志分析项目》，主要是带大家用PYTHON迅速实现一个SQUID日志分析平台的前后端开发，一天的课程太紧张，导致有些细节不能完全实现，但整体思路啥的基本都OK啦，可惜的是由于电脑没配置好，导致没法录像。。。。，要不然就可以放到网上与大家一起分享了，现在只能上几张图了。。。650) this.width=650;" src="/upload/getfiles/default/2022/11/16/20221116011533694.jpg" title="4466d53...
日志管理【代码】
其它的日志文件 /var/log/secure ： 系统安装日志，文本格式，应周期性分析/var/log/btmp ： 当前系统上，用户的失败尝试登录相关的日志信息，二进制格式，lastb命令进行查看/var/log/wtmp ： 当前系统上，用户正常登录系统的相关日志信息，二进制格式，last命令可以查看/var/log/lastlog : 每一个用户最近一次的登录信息，二进制格式，lastlog 命令可以查看/var/log/dmesg ： 系统引导过程中的日志信息，文本格式，专用命...